В последние годы некоторые ученые изучают потенциал методов глубокого обучения для виртуального оформления трехмерных цифровых версий людей. Такие методы могут иметь множество ценных применений, особенно для онлайн-покупок, игр и создания 3D-контента.
Два исследователя из TCS Research, Индия, недавно создали метод глубокого обучения, который может предсказать, как предметы одежды будут адаптироваться к форме тела и, следовательно, как они будут выглядеть на конкретных людях. Было обнаружено, что этот метод, представленный на семинаре ICCV, превосходит другие существующие методы визуализации виртуальной одежды для тела.
«Интернет-магазины одежды позволяют потребителям получать доступ к широкому ассортименту товаров и покупать их, не выходя из дома, не посещая обычные магазины», — сказал TechXplore Броджешвар Бхоумик, один из исследователей, проводивших исследование. «Однако есть одно серьезное ограничение: магазин не позволяет покупателям примерить одежду физически. Концепция виртуальной примерки помогает устранить это ограничение».
Инструменты виртуальной примерки позволяют людям, покупающим одежду в Интернете, получить представление о том, как одежда будет соответствовать и выглядеть на них, путем визуализации ее на трехмерном аватаре (т. е. в цифровой версии самих себя). Потенциальный покупатель может сделать вывод о том, насколько подходит предмет, который он / она собираются купить, посмотрев на себя в разных положениях или под разными углами.
«Предыдущая работа в этой области, такая как разработка техники TailorNet, не принимает во внимание основные измерения человеческого тела; поэтому ее визуальные предсказания не очень точны и не подходят», — сказал Бхоумик. «Вдобавок к этому, благодаря своей конструкции, TailorNet занимает очень много памяти, что ограничивает ее использование в приложениях реального времени с меньшей вычислительной мощностью».
Основная цель недавнего исследования Боумика и его коллег заключалась в создании легкой системы, которая учитывает размеры человеческого тела и покрывает трехмерную одежду аватаром, который соответствует этим размерам тела. В идеале они хотели, чтобы эта система требовала небольшого объема памяти и вычислительной мощности, чтобы ее можно было запускать в режиме реального времени, например, на веб-сайтах онлайн-одежды.
«DeepDraper — это система драпировки одежды, основанная на глубоком обучении, которая позволяет покупателям виртуально примерять одежду из цифрового гардероба на собственное тело в 3D», — пояснил Боумик. «По сути, в качестве исходных данных требуется изображение или короткий видеоклип с изображением покупателя и одежда из цифрового гардероба, предоставленного продавцом».
Первоначально DeepDraper анализирует изображения или видео пользователя, чтобы оценить его / ее трехмерную форму тела, позу и размеры тела. Впоследствии он передает свои оценки нейронной сети, которая предсказывает, как одежда будет выглядеть на теле пользователя, накладывая ее на виртуальный аватар.
Исследователи оценили свою технику в серии тестов и обнаружили, что система превосходит другие современные подходы, поскольку предсказывает, насколько одежда лучше и реалистичнее подойдет пользователям. Кроме того, их система могла задрапировать одежду любого размера на человеческое тело любой формы и с различными характеристиками.
«Другой важной особенностью DeepDraper является то, что система работает очень быстро и может поддерживаться устройствами низкого уровня, такими как мобильные телефоны или планшеты», — сказал Боумик. «Точнее, DeepDraper почти в 23 раза быстрее и почти в 10 раз меньше занимаемой памяти по сравнению со своим ближайшим конкурентом Tailornet».
В будущем виртуальная техника драпировки одежды, созданная этой командой исследователей, может позволить компаниям, занимающимся одеждой, улучшить опыт своих пользователей при совершении покупок в Интернете. Позволяя потенциальным покупателям лучше понять, как одежда будет выглядеть на них перед покупкой, это также может уменьшить количество запросов на возврат денег или обмен товаров. Кроме того, DeepDraper может использоваться разработчиками игр или создателями трехмерного медиаконтента для более эффективного и реалистичного одевания персонажей.
«В наших следующих исследованиях мы планируем расширить DeepDraper, чтобы виртуально примерить другую сложную, свободную и многослойную одежду, такую как платья, халаты, футболки с куртками и т. д. В настоящее время DeepDraper драпирует одежду на статичном человеческом теле, но в конечном итоге мы планируем задрапировать и оживить одежду в движении».
Дополнительная информация: DeepDraper: быстрое и точное трехмерное обтягивание одежды трехмерным человеческим телом. Фонд компьютерного зрения (2021 г.).
