3D по фото: Как сделать 3D-фотографии • sdelano.media

alexxlab
Разное |

Содержание

3D-модели из фотографий. ReCap 360.

Доброго времени суток, друзья! Хочу рассказать вам об одном интересном, но почему-то не слишком популярном, способе создания трехмерных моделей. Речь пойдет о программе Autodesk ReCap 360, которая является бюджетной альтернативой дорогостоящим сканерам. Она позволяет создавать текстурированные модели из фотографий. Нужно только пройтись несколько кругов с фотоаппаратом вокруг объекта, сделать несколько десятков снимков и загрузить их на сервер Autodesk через программу. К слову, у них есть версия как для браузеров, так и для установки на компьютер. Каких-то жестких требований к качеству снимков нет. Фотография должна быть четкой, а сканируемый объект всегда должен быть в фокусе, модель не должна быть прозрачной или отдавать бликов — вот и все требования. Снимки можно делать и с телефона, никаких проблем в этом нет, свои первые модели я делал на Samsung Galaxy Y Duos 2012 года. Разница между телефонной камерой и нормальным фотоаппаратом только в детальности прорисовки каких-либо мелких деталей вроде складок на одежде или деталей лица человека.

Вот одна из моделей, сделанная из снимков телефонной камеры:

Тут было сделано 64 снимка, сетка получилась на 563 тыс. треугольников.

А вот такие модели я делаю с довольно простеньким цифровым фотоаппаратом Samsung L73:

Тут я сделал 46 снимков. На скриншоте с редактора уже упрощенная модель из 150 тыс. треугольников. Изначально было 1,7 млн. Чем выше разрешение снимка, тем плотнее сетка.

Но есть, конечно, и косячные случаи. Какие-то плоские предметы или скажем, ствол пушки, получаются не всегда. Но такие штуки легко нарисовать самому.

Но с опытом таких косяков становится меньше.

После того, как вы загрузили фотографии, они обрабатываются на сервере autodesk, иногда там бывает очередь минут на 10-20. По времени ожидания подготовки самой модели всегда выходит по разному, это зависит от количества снимков и их разрешения. У меня модели из, грубо говоря, 50 снимков получаются минут за 30-40, бывали модели, где по 120 снимков — там дело затягивается на несколько часов. Тут ничего контролировать не надо, наше дело загрузить фотки, а дальше можно вообще выключить комп и идти гулять. Когда модель будет готова всегда приходит уведомление на электронную почту. Для работы нужно иметь свою учетную запись.

Вообще, у Autodesk есть 3 программы с подобным функционалом: ReCap 360, о которой эта статья, 123D Catch для смартфонов и ReMake, в котором еще есть простенький редактор. Не хочу подробно описывать условия приобретения этого ПО. 123D вроде бесплатный, но там, наверное, стоит ограничение до 20 снимков для одной модели. Сам не пробовал, потому точно не скажу. У ReMake есть двухнедельный пробный период и возможность грузить до 50 снимков. ReCap бесплатный, количество снимков неограниченно, но все это модели низкого качества, а за высокое качество нужно платить какими-то кредитами, есть 1 месяц бесплатного пользования без ограничений. Так же у Autodesk некоторые продукты распространяются совершенно бесплатно для студентов и преподавателей, сроком пользования на 3 года.

Я уже пару десятков моделей получил, ни рубля не потратив.

Есть и другие разработчики аналогичного ПО, вроде у всех есть пробный период. Но там, снимки проходиться обрабатывать вручную, что довольно муторно. Пробовал PhotoScan, на счет качества ничего не скажу, у меня модель кривой получилась и больше я эту прогу не открывал. Есть еще Starta, ее я даже не пробовал, уж слишком много в ней всего, а я не очень то дружу с иностранными языками.

Надеюсь, было интересно.

PhotoMechanics — Оборудование для 3D фото

Способы добавления 3D фотографий на сайт

В данном разделе описывается, как добавить 3D фотографию на web-сайт. Этот процесс достаточно прост и, как правило, не занимает много времени. Существуют различные варианты интеграции 3D фото.

FTP iframe – самый простой способ

Даже если Вы добавляете 3D фото на сайт впервые, у Вас займет это не более 10 минут.  «Фотомеханика» рекомендует использовать данный метод интеграции для получения максимально быстрого результата. Этот способ не требует каких-либо знаний и навыков web-программирования.

Добавление JavaScript-плеера на страницы сайта

Этот метод позволяет обойтись без помощи iframe, но требует минимальных знаний о структуре сайта и HTML-разметке. JavaScript-файлы добавляются в заголовки страниц, а в текст вставляется специальный HTML-тэг, который вызывает проигрыватель 3D фотографий.

Форматы 3D фотографий для публикации на сайте

Кроме метода интеграции 3D фотографий с интернет-сайтом Вам необходимо выбрать формат, в котором Вы будете сохранять 3D фото. Программа Photo3D Studio предоставляет следующие форматы для использования в Интернет:

HTML JavaScript

В данном формате 3D фотография встраивается в HTML-страницу и проигрывается JavaScript-проигрывателем. Внешний вид проигрывателя может настраиваться через CSS-стили. Код JavaScript-проигрывателя является открытым. Это позволяет вам менять его внешний вид и настройки, заменять, добавлять или убирать визуальные элементы (кнопки, рамки и т.

п.)

Видео

В Photo3DStudio 2 появилась возможность сохранять 3D фото в формате видеоролика, в том числе и в формате WebM. Видео в таком формате поддерживается большинством современных браузеров, значительно эффективнее формата GIF и может быть встроено напрямую в HTML аналогично обычным изображением с помощью тега <video>.

GIF

Наиболее простой формат. 3D фотография сохраняется одним файлом, работа с которым ведется как с обычным изображением. Элементы управления отсутствуют, 3D-ролик невозможно остановить или запустить.

Другие форматы 3D фото (использование сторонних программ для создания 3D-ролика)

Если для ваших целей необходимы форматы 3D фотографий, отличные от создаваемых программой Photo3D Studio, то вы можете сохранить оригиналы фотографий и воспользоваться программами других разработчиков, позволяющими генерировать анимированные 3D-ролики и имеющими расширенные настройки.

Ученые сделали первое 3D-фото коронавируса SARS-CoV-2 | Коронавирус нового типа SARS-CoV-2 и пандемия COVID-19 | DW

Это изображение является 3D-фото настоящего коронавируса SARS-CoV-2,  полученного из мгновенно замороженной пробы. Его сделала фирма Nanographics, дочерняя компания Технического университета Вены.

Она использовала данные ученых университета Цинхуа в Пекине. Китайским ученым удалось выделить из проб неповрежденные частицы SARS-CoV-2, отсканировать их и сохранить в цифровом формате. Они постарались это сделать так, чтобы по возможности не была изменена структура спайковых белков в образце вируса.  

На снимках фирмы Nanographics коронавирусы плотно прилегают один к другому, однако возможно выделить отдельные экземпляры, как на этом изображении.

Смотрите также:

  • Микромир крупным планом

    На макроснимках Валентина Гутекунста крошечные насекомые производят большое впечатление.

  • Микромир крупным планом

    Цветы — нередкий мотив, как, например, эта осенняя анемона. Свои снимки биолог из Штутгарта размещает на сайте Makro-Treff. Этот экологический фотопроект, основанный им, привлекает десятки тысяч любителей и профессионалов.

  • Микромир крупным планом

    Снежные кристаллы могут быть размером всего пару миллиметров. Но сложность сфотографировать их заключается еще и в том, чтобы найти отдельно лежащую снежинку на подходящей поверхности. Кроме того, часто хлопья начинают таять, еще не долетая до земли.

  • Микромир крупным планом

    В макрофотографии снимки объектов делаются в натуральную величину (то есть 1:1) или еще крупнее.

  • Микромир крупным планом

    Гутекунст считает, что чем больше человек видит фотографий насекомых, тем больше он хочет о них знать, а значит, тем меньше их боится.

  • Микромир крупным планом

    Проект Гутекунста был отмечен ООН в рамках программы сохранения биоразнообразия.

  • Микромир крупным планом

    Объекты для съемки фотограф находит спонтанно. По словам Гутекунста, чтобы увидеть восхитительную природу, достаточно выйти за дверь дома.

  • Микромир крупным планом

    Автор проекта Makro-Treff увлекся макрофотографией, когда увидел снимок такого же паука-скакуна в журнале. Тогда студент-биолог решил, что хочет его повторить.

  • Микромир крупным планом

    В макрофотографии важен не только момент съемки, но и процесс обработки. Чтобы получить одно резкое изображение насекомого, часто приходится объединять несколько кадров с разным фокусом. На фото — ногохвостка.

  • Микромир крупным планом

    Еще один портрет ногохвостки. Этим насекомым студент из Штутгарта собирается посвятить свою дипломную работу.

    Автор: Виктория Взятышева


Как опубликовать 3D-фото на Facebook. Спойлер: нужен iPhone

31 Октября, 2018, 19:00

9664

В начале октября Facebook добавила поддержку 3D-фотографий в новостной ленте и клиенте Facebook VR.

В трехмерных фото, соцсеть с помощью алгоритмов имитирует эффект глубины изображения, разделяя объекты по слоям. Поворачивая смартфон, курсор или виртуальный шлем при просмотре такого снимка, виден мнимый 3D-эффект. Редакция AIN.UA рассказывает, как самостоятельно запостить 3D-фото.

  1. Нужен iPhone. Сейчас функция работает только на iPhone со сдвоенной камерой: модель 7 Plus и новее. 
  2. Поставьте лайк странице Facebook 360 и перезапустите приложение Facebook.
  3. Зайдите в поле создания нового поста, нажмите на троеточие в левом верхнем углу или поле «Добавить в пост». В списке, после чекина, появится 3D-фото.
  4. Откроется просмотр галереи. Для 3D-фото подходят только снимки, сделанные в портретном режиме. В них, при помощи TrueDepth-камеры, записывается информация о «глубине» областей кадра. Facebook использует ее, чтобы делить картинку на слои и разделять между собой объекты. 
  5. После выбора и добавления кадра, соцсеть обработает и покажет превью 3D-снимка. Откроется поле для добавления подписи, локации или статуса.
  6. Можно публиковать. Фото будет доступно для просмотра во всех современных клиентах Facebook, веб- и VR-интерфейсах.

Поскольку 3D-фото — это обработанные портретные снимки, рекомендации по их созданию от Facebook не слишком отличается от того, чему учит Apple.

Объект съемки лучше расположить на расстоянии 1-1,2 метров. Желательно позаботиться о его контрасте с окружающим фоном, а также качестве освещения. Портретным кадрам нужно много света. Гораздо легче сделать портретное фото объекта с ровными очертаниями, но стоит избегать прозрачных или блестящих материалов.

Напомним, ранее AIN.UA сообщал, что Facebook обновила интерфейс Messenger.

Новое приложение LucidPix 3D фото, бесплатно создает 3D изображения, которыми можно поделиться в Инстаграм

LucidPix 3D Photo Generator — это простое, очень простое в использовании Android приложение для создания высококачественных 3D-фотографий с помощью камеры или используя фотографии, уже находящиеся в вашей галерее.

Из заметки разработчика это приложение имеет следующие функции:

  1. Мощный 3D-просмотрщик фотографий в реальном времени.
  2. Разнообразные 3D фильтры, чтобы бесплатно улучшить свои фотографии.
  3. 3D фотографии, которые вы можете рассматривать, вращая телефон.
  4. Улучшайте свои 2D фотографии одним касанием.
  5. Эффекты глубины и разнообразные фильтры для творчества.
  6. Создавайте хроники своих 3D-фотографий, чтобы поделиться ими где угодно.
  7. Первое приложение для поддержки 3D-захвата фотографий и обмена ими между платформами.
  8. Простой в использовании пользовательский интерфейс.
  9. Общий доступ ко всем платформам с записью экрана.
  10. Легко делитесь своими 3D фотографиями в Facebook и Instagram


Как пользоваться LucidPix

На главном экране у вас есть возможность сделать новую фотографию или выбрать 1 из вашей галереи. Затем можно выбрать предварительно определенные 3D-эффекты.
домашний экран

В бета-версии большинство кадров работает отлично и генерирует хорошее качество 3D-изображений. 3D эффектов довольно много и, возможно, с выходом приложения в релиз добавятся новые.

Плюсы

  • Простое и удобное в использовании.
  • Очень быстрое, не замедляет ваш телефон и не «жрет» батарею.
  • Есть возможность использовать как галерею фотографий, так и вновь снятые фото.
  • Легко поделиться фото в Инстаграме.

Минусы

  • Небольшое количество 3D эффектов в бета-версии
  • Проблемы с визуализацией в некоторых фильтрах
  • Невозможно изменить размер исходного изображения в соответствии с рамкой.

Надеюсь, что эти проблемы будут решены в полной версии, и это приложение станет вирусным.

Нейросети научили строить 3D-модель объекта всего по одной фотографии

{«id»:108203,»url»:»https:\/\/dtf. ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii»,»title»:»\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438″,»services»:{«vkontakte»:{«url»:»https:\/\/vk.com\/share.php?url=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii&title=\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438″,»short_name»:»VK»,»title»:»\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435″,»width»:600,»height»:450},»facebook»:{«url»:»https:\/\/www. facebook.com\/sharer\/sharer.php?u=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii»,»short_name»:»FB»,»title»:»Facebook»,»width»:600,»height»:450},»twitter»:{«url»:»https:\/\/twitter.com\/intent\/tweet?url=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii&text=\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438″,»short_name»:»TW»,»title»:»Twitter»,»width»:600,»height»:450},»telegram»:{«url»:»tg:\/\/msg_url?url=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii&text=\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438″,»short_name»:»TG»,»title»:»Telegram»,»width»:600,»height»:450},»odnoklassniki»:{«url»:»http:\/\/connect. ok.ru\/dk?st.cmd=WidgetSharePreview&service=odnoklassniki&st.shareUrl=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii»,»short_name»:»OK»,»title»:»\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438″,»width»:600,»height»:450},»email»:{«url»:»mailto:?subject=\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438&body=https:\/\/dtf.ru\/life\/108203-neyroseti-nauchili-stroit-3d-model-obekta-vsego-po-odnoy-fotografii»,»short_name»:»Email»,»title»:»\u041e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0447\u0442\u0443″,»width»:600,»height»:450}},»isFavorited»:false}

8277 просмотров

Как сделать 3D-фото для Facebook с ЛЮБОГО устройства

В этом уроке мы научим вас делать 3D-фото для Facebook с любого смартфона или настольного компьютера. Теперь ЛЮБОЙ может сделать 3D-фото, в том числе и большинство владельцев телефонов Android!

Функция 3D-фото Facebook

В октябре 2018 года Facebook запустил функцию 3D-фото для новостной ленты, виртуальной реальности и историй.

3D Photos позволяет изображениям выглядеть еще более реалистично за счет увеличения глубины изображения, придавая исходным 2D-изображениям ощущение движения и реализма.3D-эффект оживает, когда пользователи прокручивают ленту, наклоняют телефон или наводят указатель мыши на 3D-фотографии.

Вот пример:

Как сделать 3D-фотографию

Вот что действительно удивительно в 3D-фотографиях: теперь ЛЮБОЕ 2D-изображение можно превратить в 3D-фотографию.

В зависимости от того, откуда взято ваше изображение, процесс создания / загрузки может выглядеть по-разному. Мы выделяем три пути:

  • Использование мобильных устройств с поддержкой Facebook (более новые модели iPhone, Samsung Galaxy)
  • Использование других мобильных устройств, хранящих данные о глубине (многие устройства Android, iPhone XR)
  • Использование старых мобильных устройств, не хранящих данные о глубине, или компьютер

Как сделать 3D-фото с помощью устройств с поддержкой Facebook

Если у вас iPhone 7 Plus, 8 Plus, X, XS, XS Max, Samsung Galaxy Note 8, Galaxy Note 9, Galaxy S9 +, Galaxy S10e, Galaxy S10 +, Galaxy S10 5G или Galaxy Fold, сделать 3D-фото можно. легко.

Facebook в настоящее время поддерживает прямую загрузку изображений на телефон с указанных выше устройств, которые хранят данные о глубине для сделанных изображений, которые затем используются для автоматического рендеринга 3D-фото. Чтобы сделать 3D-фото:

1. Сделайте снимок на свой телефон, используя портретный режим или режим Live Focus

2. Публикуйте сообщения прямо в Facebook с помощью мобильного приложения, выбрав «3D-фото» в качестве типа сообщения.

Как сделать 3D-фото с помощью телефонов , хранящих данные о глубине

Если вы делаете снимок на телефоне, который не поддерживает Facebook (пользователи iPhone XR и Android — это для вас!), Вы все равно можете опубликовать его на Facebook как трехмерное фото, выполнив следующие действия.

Здесь наиболее важно проверить, сохраняет ли телефон данные о глубине изображений.

1. Сделайте снимок на свой телефон. Проверьте, есть ли у вас возможность сделать снимок в режиме диафрагмы, портрета или Live Focus. Скорее всего, эти режимы захватывают глубину.

2. Загрузите фотографию своего телефона в OmniVirt 3D Photo Creator. Инструмент автоматически извлечет данные о глубине из вашего изображения.

3. Нажмите «Создать 3D-фото», и ZIP-файл, содержащий фотографию и извлеченную карту глубины, будет автоматически загружен.

4.Определите, требуется ли дальнейшее редактирование карты глубины. Качество данных карты глубины зависит от телефона! (Нам пришлось отредактировать нашу карту глубины в примере с GIF, потому что устройство Samsung, которое мы использовали, не хранило самые точные данные о глубине!)

5. Перетащите оба файла в поле «Создать сообщение» Facebook с помощью компьютера.

Как сделать 3D-фото с помощью Старые телефоны / настольные компьютеры

Для изображений, не связанных с данными о глубине, вам потребуется создать карту глубины. Некоторые старые телефоны не хранят данные о глубине для изображений, сделанных на них. Мы предлагаем протестировать инструмент OmniVirt, чтобы узнать, содержит ли ваше изображение данные о глубине или нет. Если нет:

1. Создайте свою собственную карту глубины в программе для редактирования изображений или, если на вашем изображении изображено человеческое лицо, используйте функцию «Прогноз глубины» OmniVirt.

2. Перетащите карту глубины и исходное изображение в поле Facebook Create Post на вашем компьютере.

Используйте эту инфографику в качестве удобного руководства:

Советы по съемке 3D-фотографий с телефона

  • Убедитесь, что ваши фотографии содержат перспективу и реальное ощущение глубины.Изображение ручки на столе может не ожить в 3D. Но фотография человека, идущего по мосту, может. Почему? Мост уходит вдаль, которую камера может запечатлеть как глубину.
  • Стремитесь делать снимки с элементами движения. Определенные типы движений могут передать глубину.
  • Оптимизация для соотношения сторон Facebook. Стремление к соотношению 4: 3 означает, что ваши фотографии могут занимать больше места в ленте новостей, а это значит, что люди смогут увидеть ваши работы более подробно!

Автоматически конвертируйте ваши фотографии в 3D-изображения с AI

Чтобы преобразовать одиночное входное изображение RGB-D в 3D-фотографию, группа исследователей из Virginia Tech и Facebook разработала основанную на глубоком обучении модель рисования изображений, которая может синтезировать структуры цвета и глубины в областях, закрытых в исходном виде.

«Классические методы реконструкции и рендеринга на основе изображений требуют сложных настроек захвата, включающих множество изображений с большими базовыми линиями и / или специальное оборудование», — заявили исследователи в своей статье «3D-фотография с использованием контекстно-зависимой послойной рисования глубины». «В этой работе мы представляем новый метод, основанный на обучении, который генерирует 3D-фотографию из входа RGB-D. Глубина может быть получена либо из стереозвука сотового телефона с двумя камерами, либо оценена по одному изображению RGB ».

По сравнению с предыдущими современными подходами, метод, основанный на стандартной CNN, показывает меньше артефактов в процессе преобразования изображения.

Предварительная обработка ввода цвета и глубины (a-b). Исследователи используют двусторонний медианный фильтр для повышения резкости входных карт глубины (c-d), обнаружения необработанных разрывов с помощью пороговых значений диспаратности (e), устранения ложных пороговых ответов и связывания неоднородностей в связанных границах глубины (f). Эти связанные края глубины образуют базовую единицу процесса рисования.

«В отличие от большинства предыдущих подходов, мы не требуем заранее задавать фиксированное количество слоев. Вместо этого наш алгоритм адаптируется к локальной сложности входных данных и генерирует различное количество слоев по всему изображению », — заявили исследователи. «Мы проверили наш подход на большом количестве фотографий, сделанных в разных ситуациях».

Модель была обучена с использованием графического процессора NVIDIA V100 со средой глубокого обучения PyTorch с ускорением cuDNN. Модель может быть обучена с использованием любого набора данных изображения без аннотированных данных. Для этого проекта команда использовала набор данных MS COCO с предварительно обученной моделью MegaDepth, впервые опубликованной исследователями Корнельского университета в 2018 году.

Чтобы продемонстрировать потенциал проекта, отдельный исследователь из Google взял код и разработал расширение Chrome, которое превращает каждый пост Instagram в 3D-изображения.Разработчики, заинтересованные в настройке расширения, могут следовать руководству instagram-3d-photo, чтобы настроить и запустить проект с помощью графических процессоров NVIDIA на облачной платформе Google.

Подробнее>

Как преобразовать любое изображение в 3D-фотографию Facebook

Как это работает

Хорошо, сначала давайте поможем вам понять, как Facebook интерпретирует карту глубины для создания 3D-эффекта.

Вот рисунок, который я сделал, чтобы показать эффект. Все, что я сделал, — это создал плавный ступенчатый градиент от черного к белому.

Как видите, то, что закрашено черным, выступает в сторону камеры, а белое — от камеры. Это залог получения желаемого эффекта.

1. Начните с вашего образа

Вытяните изображение, которое вы пытаетесь превратить в 3D-фотографию. Для этой демонстрации я взял фотографию своей собаки Лолы, которую сделал в студии. Это было снято цифровой зеркальной камерой, а не iPhone, поэтому карты глубины нет.

Самым большим преимуществом здесь является то, что мы не только используем профессиональную камеру, но также можем использовать стробоскопы, чтобы получить гораздо более качественное изображение, чем вы могли бы с помощью обычного телефона.

2. Создайте карту глубины

Далее мы собираемся создать карту глубины в Photoshop, чтобы Facebook мог правильно отобразить изображение.

Начните с грубой растушевки изображения в соответствии с глубиной, которую вы считаете точной. Это требует нескольких попыток и доработки, поэтому не беспокойтесь о своем первом черновике.

3. Протестируйте и доработайте

Экспортируйте карту глубины в формате JPG и отправьте ее на телефон вместе с исходным цветным JPG (я предпочитаю сбросить ее с воздуха, так как это намного быстрее).Попав в телефон, откройте DepthCam и проверьте изображение с помощью карты глубины. Это даст вам представление о том, какие области нужно заштриховать светлее или темнее, чтобы подтолкнуть или растянуть изображение.

По мере того, как вы продолжаете уточнять карту глубины, вы можете проверить прогресс в приложении Facebook. Для этого просто экспортируйте 3D-изображение в Facebook (опция сохранения на DepthCam). Используйте эту информацию, чтобы уточнить карту глубины в Photoshop и экспортировать ее для повторного тестирования.

Вот все итерации, которые я прошел с этим примером.

Ага, ни в коем случае не быстрый процесс. Однако когда вы закончите, у вас будет трехмерное изображение, которое невозможно было сделать с помощью только вашего смартфона.

4. Завершить

Если вы удовлетворены своей работой, снова используйте DepthCam, чтобы экспортировать окончательную версию в виде трехмерного изображения в Facebook и опубликовать ее в своей ленте.

Хотите помощи в создании подобного контента для ваших социальных сетей? Связаться с нами.

Теги: How – to, Design, PR & Social Media

Facebook теперь позволяет превратить любую 2D-фотографию в 3D-изображение с помощью AI

Facebook только что расширил возможности отправки 3D-фотографий на телефоны, которые на самом деле не фиксируют данные о глубине.Используя магию машинного обучения (то есть искусственного интеллекта), Facebook научил нейронную сеть «выводить трехмерные структуры из двухмерных фотографий», даже если эти фотографии были сняты камерой с одним объективом.

Объявление было сделано несколько минут назад в блоге Facebook AI, где инженеры компании подробно рассказали, как именно им это удалось.

«Благодаря этому прогрессу технология 3D-фотографии впервые стала легко доступной для многих миллионов людей, которые используют телефоны или планшеты с однообъективными камерами», — говорится в объявлении. «Это также позволяет каждому по-новому взглянуть на семейные фотографии десятилетней давности и другие ценные изображения, преобразовав их в 3D».

Facebook, очевидно, не первый, кто использует ИИ для вывода 3D-данных из 2D-изображения. Google делал это с телефонами Pixel в течение многих лет, и приложение LucidPix, о котором мы писали в прошлом месяце, делает то же самое. Разница в том, что Facebook предоставляет эту возможность большему количеству пользователей, чем когда-либо прежде, и она доступна бесплатно — не нужно покупать один из телефонов Google или платить за премиум-версию приложения, чтобы получить все функции.

Он также должен работать лучше, чем некоторые из более доступных реализаций, просто потому, что за этой технологией стоит вся инженерная мощь Facebook.

Технические детали сложны, но, согласно FB, их запутанная нейронная сеть может оценить расстояние до каждого пикселя от камеры, используя четыре различных метода:

  • Сетевая архитектура, построенная с использованием набора параметризуемых, оптимизированных для мобильных устройств нейронных строительных блоков.
  • Автоматический поиск архитектуры для нахождения эффективной конфигурации этих блоков, позволяющий системе выполнить задачу менее чем за секунду на широком спектре устройств.
  • Обучение с учетом квантования для использования высокопроизводительного квантования INT8 на мобильных устройствах с минимизацией потенциального ухудшения качества из-за процесса квантования.
  • Большой объем обучающих данных, полученных из общедоступных 3D-фотографий.

Результат — приблизительная карта глубины, которая выглядит следующим образом:

Конечно, если все вышеперечисленное звучит как тарабарщина, утешайтесь тем, что, похоже, это работает очень хорошо.Как видно из приведенных ниже примеров, которые были преобразованы из стандартных 2D-фотографий, результаты весьма убедительны.

Даже когда системе бросает вызов очень сложное изображение , такое как фонтан Треви в Риме, количество полученных данных о глубине ошеломляет:

Если вам интересно, как на самом деле работает эта технология, вы можете глубже погрузиться в блог Facebook AI.

Если вас больше интересует, как это влияет на вас, просто знайте: хотите ли вы преобразовать «семейные фотографии десятилетней давности» в 3D или хотите преобразовать свои профессиональные портреты в 3D-подобные творения, FB теперь позволяет вам сделай это.Вам просто нужно загрузить его с помощью приложения Facebook на «iPhone 7 или новее, или на любое недавнее устройство Android среднего уровня или лучше».

Изображение предоставлено : все фотографии и анимация предоставлены Facebook и используются с разрешения.

Студия | Функция 3D-фото

Уровень сложности: Легкий

Требуемые знания кодирования: Абсолютный новичок

Срок выполнения: 30 минут

В этом пошаговом руководстве мы создадим функцию 3D-фотографии с помощью ZapWorks Studio.Функция фотографии — это интерактивный интерфейс, в котором пользователь может позиционировать, масштабировать и вращать объект на экране, а также отображать его в реальном мире, готовым для совместного использования с изображением или селфи. Функции фото — отличный способ вознаградить пользователей за сканирование и взаимодействие с вашим контентом дополненной реальности. Попробуйте сами, отсканировав указанный выше zapcode.

Как и все, что стоит сделать, ZapWorks Studio требует терпения и времени, чтобы полностью раскрыть потенциал того, чего вы можете достичь с его помощью. Это руководство разработано как введение в Studio, в котором мы не предполагаем никаких предварительных знаний.К тому времени, когда вы его закончите, вы должны быть более знакомы с пользовательским интерфейсом Studio и лучше понимать некоторые концепции, лежащие в основе опыта дополненной реальности.

Вы также создадите что-то довольно крутое, что, мы надеемся, вдохновит вас еще больше погрузиться в чудесный мир AR.

Если вы застряли, обратитесь к нашей обширной документации или посетите форум, удобный способ задать вопросы другим пользователям ZapWorks.Вы также можете ознакомиться с завершенным проектом.

Скачать готовый проект

Шаг за шагом

1. Создайте новый Zapcode Studio

Войдите в свою учетную запись my.zap.works и нажмите кнопку «Создать новый Zapcode» в левом верхнем углу. Дайте своему коду имя, выберите стиль кружка или ромбовидной формы и выберите «Studio» в качестве инструмента. Коды виджетов и конструктора не будут работать в этом руководстве.

2.Создайте новый проект в ZapWorks Studio

Откройте ZapWorks Studio (загрузите здесь) и создайте «Новый проект».

Выберите для начала «Пустой» шаблон и дайте проекту имя, например «3D-фото» и нажмите «Создать».

3. Создайте символ 3D-фото

Теперь, когда вы создали свой проект, вам нужно добавить в него некоторый контент.

В нижней правой части экрана находится панель «Определения символов » , где хранятся все подсимволы.Щелкните значок плюса (+) и выберите компонент «Photo feature 3D».

Выберите «Создать», чтобы добавить функцию фотографии. Теперь он появится в вашем списке определений символов.

Подсимволы — это повторно используемые компоненты ZapWorks Studio, которые можно использовать для определения функциональности, которая будет использоваться более одного раза.

4. Переместите вспомогательный символ в иерархию

Теперь, когда у вас есть символ 3D-фотографии, вы можете создать его экземпляр.

4.1) Создайте экземпляр функции 3D-фотографии

Чтобы создать экземпляр, перетащите файл с панели «Определения символов» в иерархию , расположенную в левой части экрана. В частности, поместите файл в «корневой» узел, и на вашем экране появится функция 3D-фото.

Иерархия — это дерево узлов, составляющих взаимодействие. Корневой узел — это самый верхний узел в иерархии и база, от которой присоединяются все остальные узлы.

4.2) Выставить точку присоединения группы объектов

Затем щелкните правой кнопкой мыши экземпляр функции 3D-фотографии и выберите «New> AttachmentPoint> objectGroup».

Это покажет специальную группу внутри подсимвола для использования в вашем текущем символе. В этой открытой группе на шаге (7) этого руководства вы разместите свою 3D-модель.

5. Загрузите и распакуйте 3D-модель ZapBot

3D-модели могут быть довольно сложными для освоения.Мы создали 3D-модель ZapBot, чтобы помочь вам начать работу.

6. Импортируйте свою 3D-модель в ZapWorks Studio

После загрузки модели ZapBot ее легко импортировать в ZapWorks Studio.

6.1) Импорт 3D-модели

Войдите в папку ZapBot, которую вы загрузили на шаге (5). Он должен называться example_pod.

Выберите файл «Zapbot.pod» и перетащите его в поле импорта Media Library , расположенное в правом верхнем углу ZapWorks Studio.

Появится окно с просьбой назвать свой 3D-символ. Как только вы это сделаете, выберите «ОК».

6.2) Импорт текстур

На этапе (6. 1) будет создан новый символ на панели «Определения символов». Вам будет представлен ряд настроек, чтобы убедиться, что ваша модель импортирована правильно.

На первой вкладке перечислены «Текстуры», которые необходимо импортировать для правильного отображения модели. Это будут оставшиеся 3 файла в вашей распакованной папке.

  • Zapbot_Body_Texture.png
  • Zapbot_Head_Texture.png
  • Zapbot_Mouth_Texture.png

Перетащите каждую из текстур в соответствующие поля. Кроме того, вы можете выбрать все 3 и перетащить их в верхнее поле «Перетащить все текстуры для импорта сюда». После того, как вы добавили текстуры, нажмите «Готово» в правом нижнем углу диалогового окна.

7. Добавление 3D-модели в иерархию

Теперь, когда мы добавили ZapBot, пришло время добавить его на сцену.

На шаге (4.2) вы выставили группу «Точка прикрепления» «фотоизображение3D0 (фотоизображение3D)». Теперь перетащите вашу 3D-модель с панели Symbol Definitions на открытый узел группы.

8. Размещение 3D-модели

Трехмерная модель должна теперь появиться в трехмерном представлении, в области в центре интерфейса, которая действует как визуальное представление опыта дополненной реальности.

Теперь вам нужно разместить Zapbot в нужном месте. Используя кнопки «Масштаб» (S), «Вращение» (R) и «Положение» (P) в верхней части Studio, поместите ZapBot в горячую точку в центре экрана.

То, как вы разместите ZapBot здесь, повлияет на то, как он будет отображаться на экране мобильного телефона пользователя. Постарайтесь сделать это как можно ближе к видео.

К этому пользовательскому интерфейсу нужно привыкнуть, поэтому не расстраивайтесь, если сразу не получите идеальный результат.

9. Предварительный просмотр 3D-фото

На этом этапе опыт можно предварительно просмотреть на устройстве. Если у вас его еще нет, загрузите приложение Zappar на Android или iOS для предварительного просмотра на своем смартфоне / планшете.

Вы можете предварительно просмотреть свой Zap, нажав кнопку «Preview» в левом верхнем углу ZapWorks Studio.

Вам будет предложено аутентифицировать вашу учетную запись ZapWorks.

После загрузки приложения отсканируйте код. Вы должны увидеть ZapBot на экране.

Если ZapBot находится не там, где вы хотели бы, вернитесь в Studio, чтобы изменить его положение.

10. Публикация вашего опыта на вашем ZapCode

Если вы довольны тем, как работает функция 3D-селфи, нажмите «Опубликовать» в верхнем левом углу, чтобы опубликовать ее в ранее созданном zapcode.

Выберите ZapCode, который вы создали на шаге 0.

Код должен быть кодом Studio, чтобы его можно было опубликовать в.

11. Поделитесь своим кодом

Перейдите на панель инструментов ZapWorks, где вы найдете свой недавно опубликованный код. Теперь вы можете загрузить zapcode и добавить его на изображение, плакат, визитную карточку или куда угодно.

Поделитесь кодом по всему миру и попросите своих друзей и семью сделать снимок с помощью ZapBot — не забудьте поделиться с нами своими селфи!

Дополнительная литература

Чтобы узнать больше о концепциях, рассматриваемых в этом руководстве, посетите следующие страницы:

vt-vl-lab / 3d-photo-inpainting: [CVPR 2020] 3D-фотография с использованием контекстно-зависимого многослойного рисования глубины

[Бумага] [Веб-сайт проекта] [Google Colab]

Мы предлагаем метод преобразования одного входного изображения RGB-D в 3D-фотографию, т.е.е., многослойное представление для синтеза нового вида, которое содержит галлюцинированные структуры цвета и глубины в областях, закрытых в исходном виде. Мы используем многослойное изображение глубины с явной связью пикселей в качестве базового представления и представляем основанную на обучении модель рисования, которая итеративно синтезирует новый локальный контент цвета и глубины в закрытой области с учетом пространственного контекста. Полученные трехмерные фотографии можно эффективно визуализировать с параллаксом движения с помощью стандартных графических движков.Мы проверяем эффективность нашего метода на широком спектре сложных повседневных сцен и показываем меньше артефактов по сравнению с современными технологиями.

3D-фотография с использованием контекстно-зависимого многоуровневого рисования с глубиной
Мэн-Ли Ши, Ши-Ян Су, Йоханнес Копф и Цзя-Бинь Хуан
На конференции IEEE по компьютерному зрению и распознаванию образов (CVPR), 2020 г.

Предварительные требования

  • Linux (протестировано на Ubuntu 18.04.4 LTS)
  • Анаконда
  • Python 3.7 (проверено на 3.7.4)
  • PyTorch 1.4.0 (проверено на 1.4.0 на выполнение)

и зависимости Python, перечисленные в файле requirements.txt

.
  • Для начала выполните следующие команды:
     conda create -n 3DP python = 3.7 анаконда
conda активировать 3DP
pip install -r requirements. txt
conda install pytorch == 1.4.0 torchvision == 0.5.0 cudatoolkit == 10.1.243 -c pytorch
  • Затем загрузите вес модели, используя следующую команду:
     chmod + x скачать.ш
./download.sh

Быстрый старт

Следуйте инструкциям в этом разделе. Это должно позволить реализовать наши результаты. Более подробные инструкции можно найти на сайте DOCUMENTATION.md .

Выполнить

  1. Поместите .jpg файлов (например, test.jpg) в папку image .
  2. Выполните следующую команду
     python main.py --config argument.yml
    • Примечание. Процесс создания 3D-фотографий обычно занимает около 2-3 минут в зависимости от доступных вычислительных ресурсов.
  3. Результаты хранятся в следующих каталогах:
    • Соответствующая карта глубины по оценке MiDaS
      • Например. depth / moon.npy , depth / moon.png
      • Пользователь может редактировать depth / moon. png вручную.
        • Не забудьте установить следующие два флага, как указано ниже, если пользователь хочет использовать отредактированный вручную файл depth / moon.png в качестве входных данных для 3D-фото.
          • формат_глубины: '.png'
          • require_midas: Ложь
    • Окрашенная трехмерная сетка (необязательно: пользователю необходимо включить флаг save_ply )
    • Рендеринг видео с увеличенным движением
      • E.грамм. видео / moon_zoom-in.mp4
    • Рендеринг видео с качанием
      • Например. видео / moon_swing.mp4
    • Рендеринг видео с круговым движением
      • Например. видео / moon_circle.mp4
    • Рендеринг видео с эффектом увеличения тележки
      • Например. видео / moon_dolly-zoom-in.mp4
      • Примечание: мы предполагаем, что объект фокусировки находится в центре изображения.
  4. (Необязательно) Если вы хотите изменить конфигурацию по умолчанию. Прочтите DOCUMENTATION.md и измените argument.yml .

Лицензия

Это произведение находится под лицензией MIT License. Подробности см. В ЛИЦЕНЗИИ.

Если вы найдете наш код / ​​модели полезными, пожалуйста, цитируйте нашу статью:

  @inproceedings {Shih4DP20,
  author = {Ши, Мэн-Ли и Су, Ши-Ян и Копф, Иоганнес и Хуанг, Цзя-Бинь},
  title = {3D-фотография с использованием контекстно-зависимой многослойной раскраски глубины},
  booktitle = {Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR)},
  год = {2020}
}

Благодарности

Как опубликовать 3D-фото на Facebook

Если ваша страница в Facebook выглядит немного скучной, оживите ее, добавив 3D-фотографию.В Facebook есть функция, которая преобразует определенные изображения в фотографии с 3D-эффектом. Вот все, что вам нужно знать о создании и публикации 3D-изображения в Facebook с помощью вашего iPhone или устройства Android.

Чтобы публиковать 3D-фотографии в Facebook с помощью iPhone, ваша модель должна иметь камеру с двумя объективами и портретный режим. Поддерживаемые устройства включают iPhone 11, 11 Pro и 11 Pro Max; iPhone X, XS и XS Max; iPhone 8 Plus; и iPhone 7 Plus.

Чтобы публиковать 3D-фотографии в Facebook с помощью Android, вашему устройству необходим портретный режим, режим размытия линзы или режим Live Focus.Поддерживаемые устройства включают Samsung Galaxy Note 8 и Note 9; Samsung Galaxy S9 +, S10, S10E, S10 + и S10 5G; Samsung Galaxy Fold; Google Pixel и Pixel XL; Google Pixel 2 и Pixel 2XL; и Google Pixel 3 и Pixel 3XL.

Как опубликовать 3D-фото на Facebook

Опубликовать 3D-фото в Facebook легко на поддерживаемых iPhone и устройствах Android.

Публикация 3D-фото на iPhone или устройстве Android

Шаги по публикации 3D-фотографии в основном идентичны независимо от того, используете вы Android или iOS, но интерфейсы могут иметь небольшие визуальные различия. Вот что надо делать.

  1. Выберите Что у вас на уме? вверху вашей ленты новостей.

  2. Выберите Фото / видео .

  3. Выберите фотографию в портретном режиме в папке «Фотопленка» или в альбоме и выберите Готово . Вы увидите 3D в правом нижнем углу подходящих фотографий.

  4. Коснитесь Make 3D в верхнем левом углу фотографии.

  5. Подождите несколько секунд, пока Facebook обработает фотографию, а затем появится 3D-фотография.

    Подвигайте iPhone немного, чтобы увидеть 3D-фото в действии.

  6. Чтобы удалить 3D-эффект, нажмите Удалить 3D в верхнем левом углу.

  7. Напишите что-нибудь о посте, если хотите, то выберите Поделиться или Пост .

Примечания к публикации 3D-фото

Чтобы получить лучшие снимки со сдвигом перспективы, посмотрите, как объект съемки контрастирует с фоном. Цвета не должны слишком сильно смешиваться, лучше всего подходит простой фон.

При публикации 3D-фотографий существует несколько ограничений. При публикации 3D-фотографии в Facebook нельзя редактировать 3D-фотографии, а Facebook не сможет преобразовать отредактированные фотографии в 3D. Вы можете публиковать только одну 3D-фотографию за раз, и вы не можете добавлять 3D-фотографии в альбом.

Спасибо, что сообщили нам!

Расскажите, почему!

Другой Недостаточно подробностей Сложно понять .

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *