Как создавать музыку с помощью искусственного интеллекта с помощью MusicGen от Meta

Meta выпустила код для MusicGen, еще одного музыкального генератора с искусственным интеллектом, который может превращать текстовые описания в музыкальные мелодии. Демонстрацию можно найти в Интернете, и вам нужен только браузер, чтобы попробовать ее. Результаты неплохие, но более того, они демонстрируют, насколько далеко продвинулись музыкальные модели ИИ.

Вот что вам нужно знать о MusicGen и о том, как создавать музыку.

Что такое MusicGen?

В июне 2023 года Meta выпустила свою модель генерации музыки с помощью ИИ под названием MusicGen. Это не первая компания, которая решает сложную проблему синтеза сырой музыки из простого текстового описания; пока можно создавать музыку с помощью OpenAI Jukebox или создавать фрагменты песен с помощью MusicLM.

Но это первая компания, предоставившая код с открытым исходным кодом, что позволяет запускать программное обеспечение локально на вашем компьютере. компьютера, если у вас есть графический процессор с объемом памяти не менее 16 ГБ, хотя мы смогли заставить его работать всего с 11 ГБ памяти. ГБ.

Не беспокойтесь, если у вас нет оборудования, потому что вы можете бесплатно попробовать веб-приложение MusicGen с помощью браузера. Судя по онлайн-демонстрации, вы можете ожидать, что создание звукового фрагмента продолжительностью около 12 секунд займет чуть больше минуты.

Как звучит MusicGen?

Согласно Meta, MusicGen может создавать высококачественные музыкальные сэмплы, хотя мы обнаружили, что участвующие исследователи определили качественная как 32кГц. Это находится где-то между требованиями синтеза речи (16 кГц) и стандартом для цифровой музыки. (44,1 кГц).

На самом деле звук не соответствует минимальным стандартам качества, которые вы привыкли слышать по радио или на потоковых платформах. Однако по сравнению с другими генераторами музыки на основе ИИ и с учетом уровня развития технологии на момент написания статьи качество звука довольно хорошее с низким уровнем шума в файле.

Насколько музыка соответствует подсказкам? Вы можете быстро понять это, послушав примеры, которые мы сгенерировали ниже. В целом ему удается придерживаться популярных музыкальных жанров, сохраняя при этом более связную музыкальную структуру по сравнению с его предшественниками.

Как создавать музыку с помощью MusicGen

MusicGen прост в использовании и не требует регистрации. Интерфейс также прост, что позволяет легко опробовать его для развлечения.

Вот как можно создавать музыку с помощью MusicGen:

1. Открой Веб-приложение MusicGen.
2. В текстовом поле под названием Опишите свою музыку, введите подсказку. Вы можете попробовать что-то простое, например «Ирландская народная мелодия», или сделать его более подробным, включив инструмент, темп, жанр или эмоцию.
3. нажмите Создать кнопку, чтобы начать процесс. Через минуту-другую в модуле «Сгенерированная музыка» справа появится аудиоплеер.
4. Наведите указатель мыши на модуль, чтобы отобразить элементы управления проигрывателем, и прослушайте файл, или нажмите значок загрузки в правом верхнем углу, чтобы сохранить файл на свой компьютер. Обратите внимание, что его можно загрузить только в виде файла .mp4.
5. Если вы хотите попробовать обработать результаты с помощью существующей мелодии, вы можете загрузить запись в модуль рядом с текстовым полем. Кроме того, вы можете выбрать микрофон для записи мелодии с помощью микрофона.

Обработка мелодии будет использовать как текстовое описание, так и мелодию, которую вы предоставляете в качестве ссылки. Это полезный инструмент для формирования результатов, которые вы получаете от MusicGen.

Каковы ограничения на использование MusicGen Audio?

Код для MusicGen распространяется бесплатно по лицензии MIT с некоторыми ограничениями. Что касается звука, который вы создаете с помощью модели, неясно, существуют ли какие-либо правовые нормы. Вместо этого вы, возможно, захотите прислушаться Предупреждение Meta об использовании MusicGen:

«Модель не должна использоваться для преднамеренного создания или распространения музыкальных произведений, создающих враждебную или отчуждающую среду для людей. Это включает в себя создание музыки, которая, как ожидается, сочтет людей тревожной, огорчительной или оскорбительной; или контент, пропагандирующий исторические или современные стереотипы».

Далее Мета объясняет, что MusicGen предназначен для исследователей, желающих изучить создание музыки с помощью ИИ, а не для «последующее использование», которое, как мы предполагаем, означает такие действия, как загрузка и распространение музыки AI в потоковом режиме. платформы.

этические плюсы и минусы отражают искусство искусственного интеллекта. Получение согласия на использование данных для обучения моделей ИИ, а также проблема компенсации / кредитования художников, когда это уместно, — все это причины, по которым Meta не следует рисковать.

Короче говоря, изучение модели для развлечения вряд ли причинит вред, но это может стать более сложной проблемой, когда дело доходит до использования аудио для коммерческой музыки. Многие люди задаются вопросом, что будущее поп-музыки с ИИ выглядит как.

Добавляя еще одну модель создания музыки к уже существующим, Meta выпустила MusicGen, модель искусственного интеллекта с открытым исходным кодом, способную генерировать необработанную музыку из простого текстового описания. Если вам интересно попробовать эту технологию, вы можете попробовать демоверсию, используя только веб-браузер.