Искусственный интеллект превращает текст в музыку
Звуки кактуса
Исследователи Google презентовали новый искусственный интеллект, способный генерировать музыкальные произведения из текстовых подсказок, и даже преобразовывать насвистываемую или напеваемую мелодию в другие инструменты.
Новый ИИ схож с системой DALL-E, который через TechCrunch генерирует изображения из письменных подсказок. Инновационная модель получила название MusicLM, в настоящее время пользователи сети не могут ей воспользоваться самостоятельно — только прослушать предоставленные компанией образцы, созданные с ее помощью.
"На данный момент мы не планируем выпускать модели", — заключили представители компании, ссылаясь на риск "потенциального незаконного присвоения творческого контента".
На демонстрационном сайте создателей ИИ представлено несколько 30-секундных фрагментов того, что звучит как настоящие песни, но было создано на основе описаний (длиной примерно в абзац), которые предписывают жанр, вибрацию и даже конкретные инструменты.
Также вы можете прослушать несколько пятиминутных произведений, созданных на основе одного-двух слов, например, "мелодичное техно". Помимо этого на сайте представлен так называемый "сюжетный режим", где модели дается сценарий, который нужно переделывать между подсказками. Пример для шестидесятисекундного ролика:
1. Электронная песня, играющая в видеоигре (0:00-0:15)
2. Медитативная песня, звучащая рядом с рекой (0:15-0:30)
3. Огонь (0:30-0:45)
4. Фейерверк (0:45-0:60)
Помимо прочего, в качестве примеров вы можете послушать инструментальные клипы (виолончель или маракасы), клипы определенного жанра, музыку, подходящую для побега из тюрьмы, то, как будет звучать начинающий пианист по сравнению с продвинутым, и даже имитацию человеческого вокала!
По словам создателей новинки, MusicLM может превзойти другие системы по "качеству и соблюдению титров", а также по тому факту, что он может принимать аудио и копировать мелодию.
Обложка: Deutsche Messe
Комментариев: 0