GAUGAN VR

Внутренний прототип

Задача проекта:
Сделать нейросетевой рендер

Особенности проекта:
Использование нейронной сети в качестве финального элемента рендеринга в графическом конвейере Unity

Что и как было сделано:
Сцена в Unity, состоящая из объектов, рендерится с помощью обычного графического конвейера. На выходе получается специальная маска для каждого объекта на сцене. Маска представляется в виде изображения. Эта маска отправляется на обработку нейронной сети, которая генерирует финальное изображение. Сгенерированное изображение является результатом финального рендера, которое отображается на экране.
Нейронная сеть работает на сервере. Unity выступает клиентским приложением. Это позволяет использовать более слабые компьютеры для работы. Особенно это актуально для автономных VR устройств.
Со стороны VR использовался HTC Vive и SteamVR, однако потенциально можно использовать любое PC VR устройство.

Была построена целая сцена с различными масками и получен реалистичный эффект визуализации от нейронной сети.
Дальнейшие планы на разработку – создание приложения с инструментом рисования в виртуальной реальности и получение фотореалистичного результата.

Команда проекта
Александр Крючков, Аполлинария Орлова, Евгений Хомутов

Сроки: 5 дней

Год реализации проекта: 2019