Камера со световым полем с невероятной глубиной резкости

Исследователи разработали нанофотонную камеру со световым полем на основе глаза вымершего трилобита кембрийской эпохи Dalmanitina socialis, которая обеспечивает невероятную глубину резкости. Камера имеет глубину резкости от сантиметра до километра. В камере используется многомасштабный алгоритм реконструкции на основе сверточной нейронной сети для устранения оптических аберраций, возникающих из-за массива «металинз» камеры. Проект очень подробно описан в новой исследовательской статье «Нейронная нанофотонная камера светового поля, вдохновленная трилобитами, с чрезвычайной глубиной резкости». Полный текст исследования доступен на сайте Nature.

Dalmanitina socialis вымерли несколько сотен миллионов лет назад. Однако исследования ископаемых останков показали, что трилобит был одним из первых членистоногих, имевших сложные глаза. Многие современные организмы имеют сложные глаза, в том числе насекомые и ракообразные. Однако у Dalmanitina socialis была уникальная зрительная система сложного глаза. Он имел два оптически однородных линзовых блока с разными показателями преломления, верхний линзовый блок с центральной выпуклостью из кальцита и нижний линзовый блок из органического соединения. В результате каждый сложный глаз Dalmanitina socialis способен одновременно фокусировать падающий свет в ближнюю и дальнюю точку, по аналогии с коаксиальной бифокальной линзой…» Такое своеобразное строение глаза позволяло организму одновременно видеть добычу вблизи и дальних хищников. Вместо этого все современные членистоногие имеют единую систему фокального зрения.

На рис. 1.а показано уникальное строение глаз Dalmanitina socialis.

Обратим наше внимание на камеры светового поля, они способны собирать информацию о световом поле сцены и измерять интенсивность света и направление, в котором распространяется свет. В исследовательской работе описывается: «Камеры светового поля могут измерять богатое 4D-представление света, которое кодирует цвет, глубину, зеркальность, прозрачность, преломление и окклюзию. Глубина резкости и пространственное разрешение — два ключевых системных параметра в фотосъемке со световым полем». Обычные камеры также регистрируют интенсивность света, но не направление света.

a Концептуальный эскиз предлагаемой камеры формирования изображения светового поля. b Схематическая диаграмма принципа работы системы с массивом металинз, обеспечивающей спин-зависимую бифокальную визуализацию светового поля. Либо компонент LCP близкого объекта, либо компонент RCP удаленного объекта могут быть хорошо сфокусированы на идентичной плоскости изображения. Номинальное расстояние между первичной линзой и массивом металинз составляет ????=47,5 L = 47,5 мм. Номинальное расстояние между плоскостью изображения и массивом металинз составляет ????=0,83 l = 0,83 мм. Фокусное расстояние и размер апертуры основной линзы составляют ????=50 F = 50 ?мм и ????=6 D = 6 ?мм соответственно. c Захваченные PSF на разных глубинах для LCP, RCP и UP (неполяризованного) падающего света. d Демонстрация рабочего диапазона для различных состояний поляризации. Голубая область и светло-красная область представляют рабочий диапазон компонентов LCP и RCP соответственно. Вертикальная ось представляет ранги PSF, для которых меньшее значение соответствует лучшему качеству изображения. Погрешности представляют собой стандартное отклонение для повторных измерений (всего шесть).

Существуют разные подходы к линзам для камер со световым полем, но один из вариантов заключается в использовании массива микролинз в фокальной плоскости. Это подход, который Lytro применила со своей камерой светового поля. Микролинзовый подход хорошо подходит для глубины резкости, но имеет ограничения в отношении разрешения. Перемещение линз дальше от фокальной плоскости улучшает разрешение за счет глубины резкости. Исследователи, вдохновленные Dalmanitina socialis, описывают свой дизайн:

Здесь, вдохновленные оптической структурой бифокальных составных глаз, обнаруженных у Dalmanitina socialis, мы демонстрируем нанофотонную камеру, включающую массив металинз со спиновым мультиплексированием, способный получать изображения светового поля высокого разрешения с рекордной глубиной резкости. Предлагаемая матрица металинз со спиновым мультиплексированием обеспечивает две полностью развязанные модуляции передачи на пару входов с ортогональной круговой поляризацией и, таким образом, может одновременно захватывать информацию о световом поле как для близких, так и для дальних диапазонов глубины, сохраняя при этом высокое поперечное пространственное разрешение. Следовательно, информация о световом поле с большой глубиной резкости может быть восстановлена с помощью вычислений из одной экспозиции. Кроме того, вдохновленные биологическим механизмом компенсации нейронных аберраций, мы вводим нейронную сеть коррекции искажений для устранения аберраций, что значительно ослабляет ограничения дизайна и производительности оптики метаповерхностей. В результате предлагаемая система камер способна получать полноцветные изображения светового поля с непрерывной глубиной резкости в диапазоне от 3 см до 1,7 км с разрешением, близким к дифракционно-ограниченному. Мы полагаем, что эта интеграция нанофотоники с вычислительной фотографией может стимулировать разработку оптических систем для науки о изображениях, которые выходят далеко за рамки традиционной технологии визуализации светового поля.

Возвращаясь к упомянутому ранее термину «металинза». Это относится к специальной оптической конструкции, которая является плоской, но использует «метаповерхности» для фокусировки света. Метаповерхности работают на субволновом уровне и используют чрезвычайно крошечные структуры для рассеивания света. Миллионы этих наноструктур, диаметр которых составляет две сотые доли человеческого волоса, расположены параллельно, так что свет проходит через разные части линзы. Наноструктуры, вдохновленные сложными глазами древнего трилобита, преломляют свет от ближних и дальних объектов в одну фокальную плоскость.

а захват PSF и создание обучающих данных. b Удаление аберраций с помощью предлагаемой многомасштабной глубокой сверточной нейронной сети. Расстояние между главным объективом и матрешкой-матрешкой: 0,3 м, 0,5 м, 1,0 м, 1,5 м, 2,3 м и 3,3 м. На вставках показаны ближайшая и самая дальняя матрешки. c Обработка светового поля на основе полученных полностью сфокусированных изображений светового поля, включая оценку диспаратности и перефокусировку изображений на разной глубине.

Само изображение предлагает достойные результаты. Однако благодаря использованию сверточной многомасштабной нейронной сети для коррекции аберраций конечное изображение получается впечатляюще резким. Оптика и программное обеспечение работают рука об руку, что типично для камер светового поля. Что нетипично для предыдущих камер, так это впечатляющее разрешение в сочетании с экстремальной глубиной резкости.

a, b Захваченные фрагменты светового поля всей сцены при естественном освещении (a) до и (b) после коррекции аберрации . c, d Увеличенные фрагменты изображений различных объектов, соответствующих отмеченным на (a, b) соответственно. e Полностью сфокусированное изображение с исправлением аберраций после рендеринга. Реконструированные персонажи NJU были разумно смещены и масштабированы для удобства просмотра.

Более подробная информация содержится в полной исследовательской статье в Nature. Исследовательская работа называется «Вдохновленная трилобитами нейронная нанофотонная камера светового поля с чрезвычайной глубиной резкости», и ее авторами являются Цинбин Фан, Вейчжу Сюй, Вэньци Чжу, Тао Юэ, Ченг Чжан, Фэн Янь, Лу Чен, Анри Дж. Лезек, Янцин Лу, Амит Агравал и Тинг Сюй.

Все рисунки и изображения взяты из исследовательской работы «Нейронная нанофотонная камера светового поля, вдохновленная трилобитами, с экстремальной глубиной резкости».