Исследователи уменьшили цветную камеру высокого разрешения до размера скепсиса

Исследователи из Принстонского и Вашингтонского университетов разработали цветную камеру высокого разрешения размером примерно с крупицу соли.

Эта новая сенсорная технология сочетает в себе оптику мета-поверхности и модели машинного обучения для восстановления изображений с помощью нанооптического формирователя изображений. В частности, в исследовательском документе, подробно описывающем технологию, говорится: «Нанооптические устройства формирования изображений, которые модулируют свет на субволновых масштабах, могут открыть новые приложения в различных областях, от робототехники до медицины. Хотя метаповерхностная оптика предлагает путь к таким сверхмалым устройствам формирования изображений, существующие методы позволили добиться гораздо худшего качества изображения, чем громоздкие преломляющие альтернативы, которые в основном ограничены аберрациями при больших апертурах и низких числах f. В этой работе мы ликвидируем этот пробел в производительности, представив нейронный нанооптический формирователь изображения»,

Предыдущие микрокамеры (слева) снимали изображения с низкой детализацией, ложными цветами и искажениями. Новая система, нейронная нанооптика (справа), позволяет получать более четкие полноцветные изображения. Изображение предоставлено исследователями.

В основе камеры лежит технология, называемая метаповерхностью, которая включает 1,6 миллиона цилиндрических столбов. Размер каждого поста примерно равен размеру вируса иммунодефицита человека (ВИЧ). Каждый столб имеет уникальную геометрию и функционирует как оптическая антенна. Пер Принстон: «Изменение дизайна каждой стойки необходимо для правильной формы всего оптического волнового фронта».

Алгоритмы на основе машинного обучения превращают световую информацию из каждого поста в реальное изображение. Кроме того, качество изображения превосходит все, что удалось достичь другим предыдущим сверхкомпактным камерам. «Ключевым нововведением при создании камеры стала интегрированная конструкция оптической поверхности и алгоритмы обработки сигналов, которые создают изображение. Это повысило производительность камеры в условиях естественного освещения, по сравнению с предыдущими метаповерхностными камерами, которым требовался чистый лазерный свет лаборатории или другие идеальные условия для получения высококачественных изображений, - сказал Феликс Хайде, старший автор исследования и доцент кафедры. информатика в Принстоне.

«Наша научная ультратонкая метаоптика, как показано на (а), имеет толщину и диаметр 500 мкм, что позволяет создать миниатюрную камеру. Изготовленная оптика показана на (б). Увеличение показано на (c), а размеры нанопоста показаны на (d). Наш конвейер непрерывной визуализации, показанный на e, состоит из предложенной эффективной модели формирования изображения метаповерхности и алгоритма деконволюции на основе признаков. На основе оптимизируемого фазового профиля наша дифференцируемая модель создает пространственно изменяющиеся PSF, которые затем поэтапно свертываются с входным изображением для формирования измерения сенсора. Затем показания датчика деконволюционируют с использованием нашего алгоритма для получения окончательного изображения. Иллюстрации над «Meta-Optic» и «Sensor» в (e) были созданы авторами с использованием Adobe Illustrator. Изображение и подпись предоставлены: Итан Ценг, Шейн Колберн, Джеймс Уайтхед, Луоченг Хуанг, Сын-Хван Бэк, Арка Маджумдар и др. Феликс Хайде / Принстонский и Вашингтонский университет

Предыдущие микроскопические камеры снимали нечеткие, искаженные изображения. Новая технология нанооптики позволяет получать более четкие и качественные изображения с более точными цветами и расширенным полем зрения. «Было непросто спроектировать и сконфигурировать эти маленькие наноструктуры, чтобы они делали то, что вы хотите», - сказал Итан Ценг, доктор компьютерных наук. студент Принстона, который был одним из руководителей исследования. «Для этой конкретной задачи захвата изображений RGB с большим полем обзора ранее было неясно, как совместно разработать миллионы наноструктур вместе с алгоритмами постобработки».

Со-ведущий автор Шейн Колберн, доктор философии. Студент факультета электротехники и вычислительной техники Вашингтонского университета решил эту проблему, создав компьютерное моделирование для автоматизации тестирования различных конфигураций наноантенн. Колберн в настоящее время является ассоциированным профессором Вашингтонского университета.

«По сравнению с существующими современными конструкциями, предлагаемая нейронная нанооптика дает высококачественные реконструкции с широким полем обзора с поправкой на аберрации. Показаны примеры реконструкции натюрморта с фруктами ( a ), зеленой ящерицей ( b ) и синим цветком ( c ). Под каждой строкой показаны вставки. Мы сравниваем наши реконструкции с получением достоверных данных с использованием высококачественной шестиэлементной составной рефракционной оптики и демонстрируем точные реконструкции, даже несмотря на то, что объем нашей метаоптики в 550 000 раз меньше, чем объем составной оптики ». Изображение и подпись предоставлены: Итан Ценг, Шейн Колберн, Джеймс Уайтхед, Луоченг Хуанг, Сын-Хван Бэк, Арка Маджумдар и др. Феликс Хайде / Принстонский и Вашингтонский университет

Научный сотрудник Ph.D. студент и соавтор Джеймс Уайтхед изготовил метаповерхности на основе нитрида кремния. Согласно исследованию, конструкция метаповерхности может производиться серийно с меньшими затратами, чем линзы в традиционной камере.

Сам по себе подход команды не нов. Однако сочетание поверхностной оптической технологии с нейронной обработкой дает. Микрокамера может найти широкое применение в медицинских учреждениях для проведения минимально инвазивной эндоскопии. Он также может улучшить визуализацию роботов с ограничениями по размеру и весу. Возможно, тысячи крошечных камер можно было бы разместить в виде массива, превратив поверхность в камеру.

Полную версию исследования можно прочитать здесь. Его авторами являются Итан Ценг, Шейн Колберн, Джеймс Уайтхед, Луоченг Хуанг, Сын-Хван Бэк, Арка Маджумдар и Феликс Хайде.