Google делится своей технологией HDR +

Google поделились статьей в своем блоге AI, в которой подробно рассказывается о тонкостях HDR-возможностей своих последних устройств Pixel. В ней Google объясняет, как их технология HDR + с брекетингом работает для получения изображения наилучшего возможного качества с помощью умных методов захвата и вычислительного редактирования.

В начале статьи Google объясняет, как новый "скрытый" HDR + с технологией брекетинга, впервые запущенный на Pixel 4a 5G и Pixel 5 еще в октябре, "работает путем объединения изображений, снятых с разным временем выдержки, для улучшения качества изображения ( особенно в тенях), что приводит к более естественным цветам, улучшенным деталям и текстуре, а также уменьшению шума ".

Прежде чем погрузиться в то, как выполняется закулисная работа для захвата изображений HDR + с брекетингом, Google объясняет, почему сцены с высоким динамическим диапазоном (HDR) трудно снимать, особенно на мобильных устройствах. "Из-за физических ограничений датчиков изображения в сочетании с ограниченным сигналом в тенях мы можем правильно экспонировать либо тени, либо светлые участки, но не то и другое одновременно".

Google утверждает, что одним из способов борьбы с этим является захват двух разных экспозиций и их объединение - что "Фотографы иногда делают, чтобы обойти эти ограничения". Хотя это довольно хорошо работает с камерами с более крупными сенсорами и более мощными процессорами внутри планшетов и ноутбуков, чтобы объединить изображения. Google говорит, что это сложно сделать на мобильных устройствах, потому что для этого требуется "Захват дополнительных кадров с длинной выдержкой при сохранении быстрого и предсказуемого опыта захвата камеры Pixel" и "Использование преимуществ кадров с длинной выдержкой, избегая артефактов ореола, вызванных движение между кадрами".

Google смог смягчить эти проблемы с помощью своей оригинальной технологии HDR +, установив приоритет светлых участков на изображении и используя серийную съемку для уменьшения шума в тенях. Google объясняет, что метод HDR + "хорошо работает для сцен с умеренным динамическим диапазоном, но не подходит для сцен HDR". Что касается того, почему, Google разбивает два разных типа шума, которые попадают в изображение при съемке серий фотографий: снимаемый шум и читаемый шум.

Google подробно объясняет различия: "Один из важных типов шума называется дробовым шумом, который зависит только от общего количества захваченного света - сумма N кадров, каждый из которых имеет время экспозиции E секунд, имеет такое же количество дробового шума, что и один кадр, экспонированный для N × E секунд. Если бы это был единственный тип шума, присутствующий в захваченных изображениях, серийная съемка была бы столь же эффективной, как и более длительные выдержки. К сожалению, каждый раз при захвате кадра датчик вносит второй тип шума, шум чтения. Шум чтения не зависит от количества захваченного света, а зависит от количества снятых кадров, то есть с каждым взятым кадром добавляется дополнительное фиксированное количество шума чтения".

Как видно на изображении выше, Google подчеркивает, "почему использование серийной фотографии для уменьшения общего шума не так эффективно, как простая съемка с большей выдержкой: съемка нескольких кадров может уменьшить эффект дробового шума, но также увеличит шум чтения".

Чтобы устранить этот недостаток, Google объясняет, как им удалось использовать "концентрированные усилия", чтобы максимально использовать последние "дополнительные улучшения"  в брекетинге экспозиции, чтобы объединить компонент серийной фотографии HDR + с более традиционным методом HDR брекетинга экспозиции, чтобы получить максимальную отдачу.

Google объясняет, как их технология Night Sight также была улучшена за счет использования передовой технологии брекетинга. Как видно на рисунке ниже, в исходном режиме Night Sight было снято 15 кадров с короткой выдержкой, которые были объединены для создания окончательного изображения. Теперь ночной прицел с брекетингом захватит 12 коротких и 3 длинных экспозиции перед их объединением, что приведет к большей детализации в тенях.

Что касается процесса слияния, Google говорит, что "один из коротких кадров в качестве опорного кадра, чтобы избежать потенциально подрезанными бликов и размытость. Его технология выбирает оставшиеся кадры затем совмещена с опорной рамой, прежде чем они объединены.

Чтобы уменьшить артефакты ореола, вызванные движением, Google заявляет, что разработал новый алгоритм пространственного слияния, аналогичный тому, который используется в его технологии Super Res Zoom, "который решает на пиксель, следует ли объединять содержимое изображения или нет". Однако, в отличие от Super Res Zoom, этот новый алгоритм сталкивается с дополнительными проблемами из-за снимков с длинной выдержкой, которые труднее согласовать с опорным кадром из-за размытых светов, размытия при движении и различных шумовых характеристик.

Google уверен, что смог преодолеть эти проблемы, при этом объединяя изображения даже быстрее, чем раньше:

Все это делается за кулисами, и пользователю не нужно менять настройки. Google отмечает, что "в зависимости от динамического диапазона сцены и наличия движения HDR + с брекетингом выбирает наилучшую экспозицию для максимального качества изображения".

HDR + от Google с технологией брекетинга можно найти на устройствах Pixel 4a 5G и Pixel 5 с приложением камеры по умолчанию, режимами Night Sight и Portrait. Устройства Pixel 4 и 4a также имеют его, но только в режиме Night Sight. Также можно с уверенностью предположить, что в будущем на устройствах Pixel будут доступны дальнейшие улучшения.