Adobe Super Resolution на смартфонах

Когда Adobe впервые представила суперразрешение, оно дало фотографиям возможность увеличиваться в размере без потери качества, но было неясно, распространяется ли такая магия на множество изображений на смартфонах людей.

Короткий ответ заключается в том, что Adobe признает, что оптимизировала и разработала Super Resolution с учетом файлов RAW, но также "обучила" ее работе с уже обработанными файлами, включая те, которые обрабатываются устройствами, которые все носят с собой. Как и камеры, смартфоны с годами увеличились в мегапикселях, а в некоторых случаях были оснащены более крупными датчиками изображения. Но когда дело доходит до того, чтобы сделать больше с фотографией с телефона, часто возникает стена. Достаточно легко опубликовать его в социальных сетях, где небольшие дисплеи могут скрыть некоторые недостатки. С другой стороны, распечатка может раскрыть все.

По умолчанию телефоны всегда делают фотоснимки в формате JPEG или HEIC (для iPhone), и с ростом количества мегапикселей теоретически они могут быть достаточно большими для печати или отображения на больших экранах. За исключением самых больших датчиков изображения на телефонах сегодня, это не то же самое, что полнокадровые датчики или датчики APS-C на обычных камерах, даже более десяти лет назад.

Производители телефонов обратились к программному обеспечению для увеличения изображений, используя закулисные инструменты, такие как HDR, резкость и цветокоррекцию, среди прочего, для рендеринга изображений, которые люди предварительно просматривают, сразу после их съемки. Adobe считает, что с помощью этих изображений Super Resolution может исправить ситуацию.

Разбор пикселей

Эрик Чан, старший научный сотрудник отдела цифровых изображений в Adobe, освещает многие технические детали того, как эта технология работает, в сообщении в блоге, но не уточняет, как это может относиться к смартфонам.

"Мы, безусловно, обучили наших моделей работе с большим количеством изображений, которые поступают с сенсоров разного размера, поэтому они охватывают вещи, связанные с действительно маленькими пикселями, которые можно найти в обычном смартфоне", - говорит Чан в интервью. "Тем не менее, если вы примените суперразрешение к высококачественному файлу DSLR, а затем примените его к изображению смартфона, оба улучшатся, но вы не должны ожидать, что улучшения будут точно такими же. Это как бы пропорционально качеству источника ".

На то есть ряд причин. Смартфоны иногда применяют агрессивное шумоподавление, особенно в условиях низкой освещенности, которое может смазывать или смягчать элементы. Технология Adobe не сможет восстановить детали внизу, особенно если у рассматриваемого объекта есть текстура. Одежда может больше походить на однотонную, чем на детализированную ткань, даже после применения к ней дополнительного разрешения. То же самое можно сказать, скажем, об облаках в ночном небе или, например, в скалах.

JPEG для смартфонов также может иметь более сильное сжатие, что затрудняет поиск всех деталей изображения. Super Resolution может обрабатывать артефакты сжатия как содержимое изображения, а это означает, что их нужно сохранить или сделать более заметными, а не очищать или исправлять. Вот почему "самый чистый из возможных источников" часто дает наилучшие результаты при использовании этой функции, говорит Чан.

"Результаты могут отличаться, если была более детальная обработка, но вы можете не увидеть такой большой разницы, потому что вы в основном замечаете то, что камера изначально применила к снимку", - говорит он.

Будет RAW

Различия в соотношении сигнал / шум, плюс размер пикселей или фотосайтов на сенсоре телефона уже заставляют мобильные телефоны делать снимки более высокого качества с более высоким разрешением. Они добавляют нюансов, упрощая работу с файлами JPEG и HEIC.

По словам Чана, хотя изображения в формате RAW с датчиков телефона не будут соответствовать деталям изображений с камер, они содержат гораздо больше, чем нужно.

"У нас просто гораздо больше свободы с RAW на смартфоне", - говорит он. "Одна из причин заключается в том, что в RAW Super Resolution включает в себя еще одну часть конвейера, который мы представили в 2019 году, а именно функцию Enhanced Details, которая действительно оптимизировала детали на уровне пикселей, когда мы интерполируем из пространства RAW в RGB. Итак, когда вы применяете какое-то разрешение к файлу RAW, вы действительно получаете обе функции за один шаг, и именно здесь происходит большая часть улучшенного разрешения и качества на уровне пикселей ".

Существует предостережение относительно того, как рабочий процесс может достичь наилучших результатов. Чан говорит, что использование Photoshop или других инструментов для применения дополнительных разрушительных правок к изображению, таких как повышение резкости или улучшение краев, может не дать больших изменений при последующем применении суперразрешения.

"Любые артефакты или вещи, которые вы можете получить от возни с краями, могут просто стать более заметными", - говорит Чан. "Мы по-прежнему рекомендуем, когда это возможно, если вы когда-либо стремитесь к качеству с намерением добиться максимально возможного результата, начинать с RAW, потому что таким образом вы получите более чистые края. Но у многих людей уже есть изображения, которые они снимали в прошлом и которые уже в формате JPEG, и они все еще могут использовать для них сверхвысокое разрешение ".

Однако предварительная обработка изображения с помощью Lightroom не вызовет таких же потенциальных проблем, потому что эти изменения выполняются как часть неразрушающего или параметрического конвейера. Другими словами, запуск Super Resolution для изображения, поступающего из Lightroom, применяет некоторое разрешение к пикселям исходного исходного изображения, тем самым копируя и вставляя изменения - будь то предварительные настройки, четкость, цветокоррекция, температура и т. Д. - поверх полученного файла DNG. . Или вы можете сначала запустить нетронутое исходное изображение через Super Resolution и добавить полученный файл DNG в Lightroom для редактирования. В любом случае разницы в выходе нет.

Adobe планирует добавить суперразрешение в Lightroom CC и Lightroom Classic, хотя еще не подтвердила дату выпуска, поэтому эта функция в настоящее время доступна только в Camera RAW.

По сравнению со старыми фотографиями DSLR

Джош Хафтель, директор по управлению продуктами и фотографиями Adobe, говорит, что действительно высокое значение ISO часто является причиной шума и артефактов, искажающих изображение телефона. Ночные режимы и режимы низкой освещенности пытаются исправить это за счет захвата HDR с брекетингом, который снижает значения ISO, но если процесс также включает в себя повышение резкости и шумоподавление, это может затруднить работу со сверхвысоким разрешением. По его словам, HDR-рендеринг, который сейчас очень популярен среди производителей телефонов, сам по себе не представляет тех же проблем.

"Файлы, на которые вы окажете наибольшее влияние, даже если они были в формате JPEG или HEIC, - это те файлы, в которых ISO было как можно более низким, и к ним не применялось шумоподавление", - говорит Хафтель. "Вы увидите больше впечатлений, потому что больше деталей в файлах с действительно хорошим освещением. С практической точки зрения представьте, что вы применяете суперразрешение к фотографии, сделанной внутри бара. Он не будет таким заметным и лучше, чем идеально освещенная фотография снаружи".

Однако результаты даже для хорошо освещенных изображений могут быть субъективными, особенно если светлые участки размыты или фотография была сделана некачественным датчиком. Например, изображения, сделанные на iPhone 5 в 2012 году, могут дать отличные результаты в сверхразрешении от снимков, сделанных на iPhone 11 Pro в 2019 году.

Этот диапазон не такой широкий, как у зеркалок прошлого. JPEG-файлы, полученные с датчиков в 2006-07 годах, обычно "намного чище", чем современные смартфоны, даже если они оба снимают с разрешением 12 мегапикселей. По словам Чана, эти датчики изображения DSLR были в несколько раз больше, чем современные смартфоны, поэтому проблемы с шумом не будут такими серьезными. Хотя файлы RAW с этих прошлых камер по-прежнему будут лучше всего, JPEG все равно должен выходить с сохранением большей визуальной информации, чем большинство изображений со смартфонов.

Чтобы компенсировать ограничения своих датчиков изображения, производители телефонов прибегли к оптимизации программного обеспечения, чтобы попытаться улучшить фотографию еще до того, как пользователь сделает ее снимок, применив к ним такие термины, как "ИИ" или "распознавание сцены". Это создает дополнительную обработку, которая может повлиять на то, что Super Resolution может и не может делать.

"Оптимизация цвета и контраст, по большей части, не имеют одинаковых видов воздействия, это больше касается деталей", - говорит Хафтель. "Единственное, что отличает повышение резкости от контрастности, - это радиус того, что вы делаете, потому что все это просто контрастные отношения от пикселя к пикселю, поэтому вы можете утверждать, что некоторые из этих оптимизаций сцены могут привести к снижению воспринимаемого деталь. Но по большей части оптимизация сцены, которая не фокусируется на деталях, таких как лицо или сглаживание кожи, не должна сильно влиять на способность Super Resolution работать ".

Изменение восприятия

Формат Adobe DNG широко используется производителями смартфонов, которые предлагают съемку в формате RAW. Apple разработала собственный формат ProRAW, когда выпустила свои устройства iPhone 12 Pro и 12 Pro Max, что стало первым разом, когда компания официально включила RAW в собственное приложение камеры. Раньше пользователям требовалось стороннее приложение, которого было много в App Store, чтобы таким образом захватывать изображения.

Формат не будет работать с портретным режимом Apple, но будет работать с другими функциями, такими как ночной режим, Deep Fusion и Smart HDR. Эти параметры в значительной степени были взяты из того, что уже делали другие на стороне Android. Если на телефоне Android есть профессиональный или ручной режим, велика вероятность, что доступен захват в формате RAW, и хотя телефоны Google Pixel не поддерживают ручную съемку, они могут сохранять в формате RAW практически все доступные режимы, включая Night Sight.

Но львиная доля фотографий все еще поступает в формате JPEG, пока съемка в формате RAW не станет еще более демистичной для обычного фотографа с телефона.

"Если намерение с точки зрения потребителя или фотографа состоит в том, чтобы сделать с фотографией что-то действительно замечательное, будь то напечатанное, превращенное в подарок или представленное действительно большим по телевизору для всеобщего обозрения, то отнеситесь серьезно к тому, чтобы начать с самого лучшего. "возможно", - говорит Хафтель.

Даже для смартфона в формате JPEG размер может быть огромным. Тестовое изображение размером 1,2 МБ с Pixel 2 превратилось в гигантского DNG размером 126 МБ после прохождения процесса суперразрешения - увеличение размера файла в 100 раз. Трудно было сказать, есть ли какая-то серьезная разница в выводе, пока не увеличили масштаб и не рассмотрели детали вблизи.

Когда его спросили, можно ли масштабировать эту функцию, Чан ответил, что Adobe рассматривает другие разрешения помимо того, что есть сейчас. В настоящее время это в четыре раза больше пикселей, хотя он отмечает, что компания открыта для отзывов, которые ищут больше.

"Когда у вас есть обучающие образцы изображений, вам необходимо обучить их повышать разрешение до заданного масштабного коэффициента, а изменение его разрешения приводит к тому, что модель становится намного больше и медленнее работает. И мы чувствовали, что иногда бывает очень сложно, если вы смотрите на изображение для предварительного просмотра, чтобы определить правильный масштабный коэффициент для пользователя, - говорит Чан. "Это, а также тот факт, что модели становятся намного больше и медленнее в работе, казалось, что нам не стоило этого делать. Если четырехкратного увеличения количества пикселей недостаточно, что люди захотят увидеть? "