Ученые научили ИИ генерации трехмерных голограмм из двумерных изображений

Исследователи предлагают новый подход, использующий глубокое обучение для генерации трехмерных голограмм из цветных двумерных изображений.

Глубокое обучение — совокупность методов машинного обучения, основанных на обучении представлениям, а не специализированных алгоритмах под конкретные задачи. 

Голограммы, позволяющие получить трехмерное (3D) представление об объектах, обеспечивают уровень детализации, недостижимый для обычных двумерных (2D) изображений. Благодаря своей способности создавать реалистичное и захватывающее представление о трехмерных объектах, голограммы обладают огромным потенциалом для использования в различных областях, включая медицинскую визуализацию, производство и виртуальную реальность. Традиционно голограммы строятся путем записи трехмерных данных объекта и взаимодействия света с объектом. Однако этот метод требует больших вычислительных затрат, поскольку для получения трехмерных изображений необходимо использовать специальную камеру. Это делает создание голограмм сложной задачей и ограничивает их широкое применение.

В последнее время для генерации голограмм также было предложено множество методов глубокого обучения. Они позволяют создавать голограммы непосредственно из 3D-данных, полученных с помощью RGB-D-камер, которые фиксируют как цветовую, так и глубинную информацию об объекте. Такой подход позволяет обойти многие вычислительные проблемы, связанные с традиционным методом, и представляет собой более простой подход к созданию голограмм.

Теперь группа исследователей под руководством профессора Томоёси Шимобабы (Tomoyoshi Shimobaba) из Высшей инженерной школы Университета Чиба предлагает новый подход, основанный на глубоком обучении, который еще больше упрощает процесс создания голограмм, позволяя получать 3D-изображения непосредственно из обычных цветных 2D-изображений, снятых с помощью обычных камер. Йошиюки Ишии и Томоёши Ито из Высшей инженерной школы Университета Чиба также принимали участие в этом исследовании, результаты которого были опубликованы 2 августа 2023 года в журнале Optics and Lasers in Engineering.

Объясняя смысл этого исследования, профессор Шимобаба сказал: “При реализации голографических дисплеев существует ряд проблем, включая получение трехмерных данных, вычислительные затраты на голограммы и преобразование голограммных изображений в соответствии с характеристиками голографического устройства отображения. Мы провели это исследование, поскольку считаем, что глубокое обучение в последние годы развивается быстрыми темпами и имеет потенциал для решения этих проблем”.

В предлагаемом подходе используются три глубокие нейронные сети (ГНС, англ. DNN — Deep neural network) для преобразования обычного двумерного цветного изображения в данные, которые могут быть использованы для отображения трехмерной сцены или объекта в виде голограммы. Первая ГНС использует в качестве входных данных цветное изображение, полученное с помощью обычной камеры, а затем предсказывает соответствующую карту глубины, предоставляя информацию о трехмерной структуре изображения. Как исходное RGB-изображение, так и карта глубины, созданная первой ГНС, затем используются второй ГНС для создания голограммы. Наконец, третья ГНС дорабатывает голограмму, созданную второй ГНС, делая ее пригодной для отображения на различных устройствах.

Исследователи обнаружили, что время, затрачиваемое предложенным подходом на обработку данных и создание голограммы, превосходит время работы современного графического процессора.

“Еще одним немаловажным преимуществом нашего подхода является то, что воспроизводимое изображение конечной голограммы может представлять собой естественное трехмерное воспроизводимое изображение. Более того, поскольку информация о глубине не используется при генерации голограммы, данный подход является недорогим и не требует использования устройств формирования трехмерных изображений, таких как RGB-D камеры, после обучения”, – добавляет профессор Шимобаба, рассказывая о полученных результатах.

В ближайшем будущем этот подход может найти потенциальное применение в head-up и head-mounted дисплеях для генерации 3D-дисплеев высокой четкости. Аналогичным образом, он может революционизировать создание автомобильного голографического дисплея, который сможет представлять пассажирам необходимую информацию о людях, дорогах и знаках в 3D. Таким образом, предполагается, что предложенный подход откроет путь к развитию повсеместной голографической технологии.

Yoshiyuki Ishii, Fan Wang, Harutaka Shiomi, Takashi Kakue, Tomoyoshi Ito, Tomoyoshi Shimobaba. Multi-depth hologram generation from two-dimensional images by deep learning. Optics and Lasers in Engineering. https://doi.org/10.1016/j.optlaseng.2023.107758