Резюме последних исследований NVIDIA
Мы освещали обширную коллекцию исследовательских проектов NVIDIA на протяжении многих лет. Однако один интересный инструмент, который мы не рассмотрели при запуске, — это GANverse3D. GANverse3D, впервые представленный в апреле 2021 года, превращает плоские 2D-изображения в «реалистичные 3D-модели, которые можно визуализировать и контролировать в виртуальных средах». Инструмент может помочь архитекторам, создателям, разработчикам игр и дизайнерам. Имея всего одну фотографию, кто-то может быстро добавить 3D-модель к макету или рендеру, не требуя каких-либо знаний или дополнительных затрат времени или денег.
Как и технология Nvidia GauGAN2, которую мы рассмотрели еще в ноябре 2021 года, GANverse3D использует мощь генеративно-состязательной сети или GAN. GANverse3D был обучен с помощью GAN синтезировать дополнительные изображения существующего изображения с несуществующих точек зрения, как фотограф, фотографирующий объект с разных ракурсов. Различные искусственные изображения помещаются в структуру рендеринга для обратной графики для создания трехмерных моделей сетки. NVIDIA впервые поделилась информацией о создании 3D-моделей из 2D-изображений в 2019 году.
После обучения на многоракурсных изображениях GANverse3D может прогнозировать модель трехмерной сетки на основе одного двухмерного изображения. При использовании NVIDIA Omniverse на графических процессорах NVIDIA RTX GANverse3D может воссоздать любое 2D-изображение в 3D. NVIDIA продемонстрировала пример своей впечатляющей технологии искусственного интеллекта, используя фотографию знаменитого автомобиля с поддержкой искусственного интеллекта KITT из телесериала 1980-х годов «Рыцарь дорог».
Как указывает NVIDIA, предыдущие модели инверсной графики требовали обучения трехмерным фигурам. GANverse3D не требует обучения работе с 3D-фигурами или моделями. «Мы превратили модель GAN в очень эффективный генератор данных, поэтому мы можем создавать 3D-объекты из любого 2D-изображения в Интернете», — сказал Вэньчжэн Чен, научный сотрудник NVIDIA и ведущий автор проекта.
«Поскольку мы тренировались на реальных изображениях, а не на типичном конвейере, который опирается на синтетические данные, модель ИИ лучше обобщается для реальных приложений», — добавил исследователь NVIDIA Джун Гао, автор проекта.
Превратив свою модель GAN в набор данных, манипулируя слоями своей нейронной сети, исследователи NVIDIA смогли заставить нейронную сеть генерировать изображения со стандартных точек зрения, например, «фотографировать» транспортные средства с определенных высот и расстояний камеры. Окончательная модель была обучена на 55 000 изображений автомобилей, созданных GAN. После обучения на этих многоракурсных изображениях, созданных ИИ, технология GANverse3D превзошла инверсную графическую сеть, которая была обучена на популярном наборе данных Pascal3D. Если вы хотите углубиться в технологии и исследования, прочитайте полный исследовательский документ здесь.
Пока мы с нетерпением ждем новых результатов от NVIDIA Research, компания объявила на прошлой неделе, что теперь есть бесплатная версия NVIDIA Omniverse, доступная для миллионов людей, использующих NVIDIA Studio на графических процессорах GeForce RTX и NVIDIA RTX. NVIDIA пишет: «Благодаря Omniverse, платформе NVIDIA для совместной работы в области 3D-дизайна и моделирования виртуального мира в реальном времени, художники, дизайнеры и создатели могут использовать ведущие дизайнерские приложения для создания 3D-ресурсов и сцен со своего ноутбука или рабочей станции».
На выставке CES в этом году NVIDIA также обновила свое приложение Canvas. В июне прошлого года мы увидели первую полную бета-версию NVIDIA Canvas, проекта, управляемого искусственным интеллектом, построенного на основе GauGAN. NVIDIA Canvas использует искусственный интеллект для преобразования эскизов, рисунков и мазков в реалистичные пейзажные изображения.
Недавнее обновление включает в себя совершенно новую модель искусственного интеллекта, которая обеспечивает в четыре раза большее разрешение фона и добавляет пять новых материалов для рисования. Новые материалы включают в себя грязь, грязь, солому, цветы и кусты, объединяя существующие материалы, такие как вода, трава, снег и горы. Обновление NVIDIA Canvas обеспечивает более реалистичные изображения с меньшим количеством артефактов, что еще больше усиливает стремление приложения к истинному фотореализму. Приложение теперь предлагает разрешение до 1K пикселей, а экспорт можно легко интегрировать в существующие рабочие процессы, например, импортировать вашу работу NVIDIA Canvas в Adobe Photoshop.
Если вы хотите ознакомиться со всеми последними новостями и объявлениями NVIDIA о выставке CES 2022, вы можете посмотреть повтор «Специального обращения компании на выставке CES 2022» ниже. Презентация включает обсуждение игр, новых графических процессоров, новых мониторов, NVIDIA Omniverse и многого другого. Вы также можете прочитать письменный обзор CES 2022 здесь.
