Что такое Shap-E от OpenAI и на что он способен?

Компании, занимающиеся исследованиями и внедрением искусственного интеллекта (ИИ), такие как OpenAI, постоянно выпускают функции на благо человечества. В дополнение к ChatGPT, DALL-E, Point-E и другим успешным инструментам OpenAI выпустила новую инновационную модель Shap-E.

Итак, что такое Shap-E от OpenAI и что он может сделать для вас?

Что такое Shap-E от OpenAI?

В мае 2023 года Алекс Николь и Хивон Джун, исследователи и участники OpenAI, выпустили бумага, анонсирующая Shap-E, последняя инновация компании. Shap-E — это новый инструмент, обученный на массивном наборе данных парных 3D-изображений и текста, который может создавать 3D-модели из текста или изображений. Это похоже на DALL-E, который может создавать 2D-изображения из текста, но Shap-E создает 3D-активы.

Shap-E обучается на модели условной диффузии и трехмерном отображении активов. Сопоставление 3D-активов означает, что Shap-E учится связывать текст или изображения с соответствующими 3D-моделями из большого набора данных существующих 3D-объектов. Модель условной диффузии — это порождающая модель, которая начинается с зашумленной версии целевого вывода и постепенно уточняет ее, удаляя шум и добавляя детали.

Комбинируя эти два компонента, Shap-E может создавать реалистичные и разнообразные 3D-модели, которые соответствуют введенному тексту или изображению и могут просматриваться под разными углами и в разных условиях освещения.

Как вы можете использовать Shap-E от OpenAI

Shap-E не был обнародован, как другие инструменты OpenAI, но вес его модели, код логического вывода и образцы доступны для загрузки на веб-сайте. GitHub Shap-E страница.

Вы можете скачать код Shap-E бесплатно и установите его с помощью команды Python pip на твоем компьютере. Вам также понадобится графический процессор NVIDIA и высокопроизводительный процессор, так как Shap-E очень ресурсоемкий.

После установки откройте 3D-изображения, созданные в Microsoft Paint 3D. Точно так же вы можете конвертировать изображения в файлы STL если вы хотите распечатать их с помощью 3D-принтеров.

Вы также можете сообщать о проблемах и находить решения проблем, уже поднятых другими, на странице Shap-E GitHub.

Что вы можете сделать с Shap-E от OpenAI

Shap-E позволяет вам описывать сложные идеи, используя визуальное представление идей. Потенциальные области применения этой технологии безграничны, тем более что визуальные эффекты обычно имеют гораздо более широкий эффект, чем тексты.

Как архитектор, вы можете использовать Shap-E для создания 3D-моделей зданий и сооружений на основе письменных описаний. Вы можете указать размеры, материалы, цвета и стили конструкций, используя простые предложения. Например, вы можете запросить его с помощью: «Создайте небоскреб с 60 этажами и стеклянными балюстрадами» и экспортировать результат (ы) в другое программное обеспечение для дальнейшего редактирования, если вам нравятся полученные результаты.

Геймеры и художники-аниматоры могут улучшать виртуальную среду и визуальные эффекты, создавая детализированные трехмерные объекты и персонажей. В инженерии вы можете описывать компоненты, спецификации и функции машин и оборудования и получать результаты в 3D-моделях до создания физических прототипов.

Более того, даже в таких областях, как образование, Shap-E может помочь преподавателям донести до учащихся сложные и абстрактные идеи по таким предметам, как биология, геометрия и физика.

Хотя Shap-E все еще находится в стадии разработки, он на шаг впереди OpenAI. ПУНКТ-Е, который создает 3D-облака точек на основе текстовых подсказок. Облака точек ограничены в своей выразительности и разрешении, часто создавая размытые или неполные формы.

Создавайте 3D-модели с помощью Shap-E от OpenAI

Shap-E — это впечатляющая демонстрация возможностей искусственного интеллекта для создания 3D-контента из естественного языка или изображений. С его помощью вы можете создавать 3D-объекты для компьютерных игр, интерактивных VR-приложений, прототипов и других целей. Хотя нет никаких гарантий относительно качества вывода, модель ИИ предоставляет вам быстрый и эффективный способ создания 3D-модели чего угодно.

Кроме того, эта модель ИИ является важным вкладом в область глубокого обучения и, вероятно, приведет к будущим передовым инновациям и творениям.