Что такое музыкальный автомат OpenAI и что с ним можно делать?

Генеративный ИИ постепенно распространяется на все больше дисциплин в творческой индустрии. Это началось с генераторов искусства ИИ, а затем распространилось на письмо с текстом, сгенерированным ИИ. Теперь мы можем добавить музыку в этот список.

В ближайшем будущем музыка, сгенерированная искусственным интеллектом, созданная с нуля, станет реальностью. Фактически, это уже возможно с Jukebox, моделью искусственного интеллекта OpenAI для создания музыки. Он еще не доступен в простом в использовании приложении, и звучит пока недостаточно хорошо, но алгоритмические косточки есть.

Вот что вам нужно знать о музыкальном автомате OpenAI и о том, что вы можете с ним делать.

Музыкальный автомат: искусственный интеллект, который генерирует музыку в виде необработанного аудио

Jukebox — это нейронная сеть, которая может генерировать музыку в необработанном аудиоформате, когда вы вводите ее в качестве жанра, исполнителя или текста. Он был выпущен в апреле 2020 года компанией OpenAI, той же компанией, которая представила нам генератор изображений с искусственным интеллектом под названием Dall-E и чат-бот с искусственным интеллектом под названием ChatGPT.

В отличие от Dall-E, который быстро распространился по миру и сделал ИИ горячей темой новостей и средств массовой информации, Jukebox не вызвал широкого интереса после своего выпуска. Одна из причин этого заключается в том, что у него нет удобного веб-приложения — по крайней мере, пока.

Вы можете найти код на Веб-сайт OpenAI, наряду с подробным объяснением того, как работает процесс кодирования и декодирования.

Другая вероятная причина заключается в том, что это требует огромного количества времени и вычислительной мощности. Чтобы дать вам представление, на рендеринг одной минуты звука может уйти 9 часов. Вам понадобится готовность изучить модель в ее кодовой форме, а также много терпения, если вы хотите увидеть, что модель ИИ может сделать для создания музыки.

Или вы можете перейти к Обозреватель сэмплов музыкального автомата. Здесь OpenAI опубликовал свои эксперименты по созданию песен, похожих на Эллу Фицджеральд или 2Pac.

Чтобы было ясно, другие музыкальные инструменты ИИ существуют, чтобы помочь вам создать песню, но они не генерируют звук с нуля. Вместо этого они либо комбинируют предварительно записанные сэмплы, либо создают MIDI-информацию, которая передается через цифровой синтезатор.

Как звучит музыкальный автомат?

Результаты Jukebox узнаваемы, но странны. Нетрудно понять форму песни и жанр, к которому она принадлежит, но качество результатов звучит так, как будто вы слушаете какую-то из самых ранних музыкальных записей: то есть приглушенную с большим количеством шум.

Можно с уверенностью сказать, что Jukebox не воспроизводит звук высокой точности, который можно услышать в паре хороших наушников. Это больше похоже на прослушивание музыки с радиостанции, которая не полностью настроена на нужную частоту. Некоторые песни являются переизданиями, а другие являются продолжением существующих песен. Также есть категория для новых исполнителей и стилей, а также невидимые тексты песен.

Несмотря на качество звука, первые экспериментаторы описывали, что были в восторге от жуткой красоты и причудливой природы музыки, создаваемой Jukebox. «Как саундтрек к документальному фильму о неизвестной стране с неизвестной культурой», — пишет Мерцменх на Medium.

В настоящее время результаты далеки от того, чтобы копировать или даже заменять музыку, созданную людьми, но технологии развиваются быстро, и достаточно скоро такие модели, как Jukebox, смогут достичь этих целей. слишком.

Как обучался музыкальный автомат OpenAI

Часть того, как Jukebox может создавать музыку, которой никогда не существовало, заключается в том, что он обучен музыке настоящих музыкантов. OpenAI объясняет, что:

«Чтобы обучить эту модель, мы просканировали Интернет, чтобы создать новый набор данных из 1,2 миллиона песен (600 000 из которых на английском языке) в сочетании с соответствующими текстами и метаданными из LyricWiki».

Поиск данных — это практика, используемая некоторыми ИИ-компаниями для создания набора данных, которые модель ИИ может использовать для обучения и принятия решений при создании изображения, текста или, в данном случае, музыки. Наборы данных, созданные при сканировании, вызывают споры, поскольку в первую очередь согласие владельцев данных не получено. Хотя некоторые платформы позволяют исключить свой контент из наборов данных.

Вы можете подумать, что 1,2 миллиона песен — это много, но для сравнения, Dall-E 2 обучался на сотнях миллионов пар изображение-текст из Интернета. Имея это в виду, Jukebox имеет свои ограничения.

Его относительно небольшой тренировочный пул не может охватить богатство и разнообразие человеческой музыки. OpenAI заявил, что он в основном обучен западной музыке, что свидетельствует о явном предубеждении в отношении того, какую музыку он способен создавать.

Что вы можете сделать с музыкальным автоматом?

Итак, учитывая его ограничения, что вы можете сделать с Jukebox? Быстрый способ ответить на этот вопрос — сказать, что вы не можете делать с Jukebox.

Поскольку на воспроизведение одной минуты музыки уходит почти полдня, это не очень полезно для создания музыки. По крайней мере, не в традиционном понимании. Обычно музыканты постоянно меняются между игрой на инструменте (импровизацией) и планированием структуры песни. Такого рода эксперименты невозможны с Jukebox.

Поскольку на данном этапе создать песню с помощью Jukebox непросто, вы можете думать об этом скорее как о новом способе создания музыкальных сэмплов. После того, как вы создали звук, который вам нравится, вы можете использовать его в своих творческих проектах, как обычно.

Видео ниже является результатом того, что кто-то использовал музыку, созданную с помощью Jukebox, чтобы подчеркнуть короткое монтажное видео.

Искусственный интеллект имеет широкий спектр применений помимо творческих приложений, поэтому стоит понимание того, что такое ИИ и опасности, которые он представляет.

Вы тронуты AI Music?

Музыку, созданную Jukebox, нелегко игнорировать, и, несмотря на всю ее странность и жуткость, человеко-машинное качество, в конце концов, она звучит как музыка. Хотя музыкальная индустрия уже некоторое время использует инструменты искусственного интеллекта, возможность генерировать музыку в виде необработанного звука стала реальностью только сейчас.

Но хотя такие модели, как Jukebox, существуют, их еще предстоит превратить в коммерческий инструмент, и они все еще не соответствуют возможностям людей-музыкантов.