NVIDIA Research создает инструмент для преобразования серии 2D-изображений в 3D-модели

Исследователи NVIDIA разработали новый конвейер обратного рендеринга, NVIDIA 3D MoMa, который позволяет пользователям реконструировать серию неподвижных фотографий в компьютерную 3D-модель объекта или даже сцены. Ключевым преимуществом этого рабочего процесса по сравнению с более традиционными методами фотограмметрии является его способность выводить чистые 3D-модели, которые можно импортировать и редактировать прямо из коробки с помощью 3D-игр и визуальных движков.

В то время как существуют другие программы фотограмметрии, которые преобразуют 2D-изображения в 3D-модели, технология NVIDIA 3D MoMa делает еще один шаг вперед, создавая сетку, информацию о материале и освещении объектов и выводя ее в формате, совместимом с существующими 3D-графическими движками и моделями. инструменты. И все это делается в относительно короткие сроки: NVIDIA заявляет, что 3D MoMa может генерировать модели треугольной сетки в течение часа с использованием одного графического процессора NVIDIA Tensor Core.

Эти пять моделей были созданы с помощью NVIDIA 3D MoMa. Кредит: NVIDIA

Выходная модель состоит из трех основных компонентов: трехмерной модели сетки, параметров материалов, из которых сделан объект, и параметров освещения в сцене. Этот универсальный вывод упрощает переход от захвата к воплощению в конечный продукт, будь то видеоигра или визуальные эффекты.

Чтобы продемонстрировать 3D MoMa и отпраздновать богатую историю джаза в Новом Орлеане, где документ, лежащий в основе 3D MoMa, будет представлен на конференции по компьютерному зрению и распознаванию образов, NVIDIA сделала около 100 изображений каждого из пяти инструментов джазового оркестра с разных ракурсов. Затем с помощью MoMa были смоделированы труба, тромбон, саксофон, ударная установка и кларнет. Вы можете увидеть результаты выше.

Ранее в этом году NVIDIA Research продемонстрировала Instant NeRF, который может превращать 2D-изображения в 3D-сцену «за считанные секунды». Это еще не все, пока что в 2022 году мы также увидели знаменательное достижение NVIDIA в обучении нейронной графике и впечатляющее новое обновление NVIDIA Canvas. Нет никаких сомнений в том, что ИИ предлагает создателям некоторые важные преимущества, особенно когда речь идет об экономии времени при создании иллюстраций и моделей.