OpenAI создаст инструмент для генерации музыки на основе текста и аудио

• Новый продукт позволит создавать музыкальное сопровождение к видео и вокальным записям.
• Компания сотрудничает со студентами Джульярдской школы для подготовки обучающих данных.
• Дата релиза и формат продукта пока не определены.

Компания OpenAI разрабатывает инструмент, который сможет создавать музыку на основе текстовых описаний и аудиозаписей. Об этом сообщает издание The Information со ссылкой на источники, знакомые с проектом.

По данным СМИ, инструмент позволит пользователям добавлять музыку к уже существующим видео или, например, гитарный аккомпанемент к вокальной дорожке. Пока неясно, будет ли этот сервис самостоятельным продуктом или интегрируется в ChatGPT и видеомодель Sora.

Источники утверждают, что OpenAI сотрудничает со студентами Джульярдской школы — одной из ведущих музыкальных академий мира. Они помогают аннотировать партитуры, чтобы обучить модель пониманию структуры и композиции музыки.

Компания уже имеет опыт в генерации звука, но после запуска ChatGPT сосредоточилась на моделях синтеза речи. Новый проект может стать первым крупным возвращением OpenAI в сферу музыкального ИИ.

Конкуренцию компании составляют Google и стартап Suno, которые активно развивают технологии генерации музыки из текста. В частности, последняя уже интегрировала свою модель в Microsoft Copilot.

Если OpenAI удастся объединить возможности текстовых и аудиомоделей, компания сможет создать инструмент, способный конкурировать с ведущими музыкальными ИИ-платформами, считают эксперты. Это позволит расширить экосистему продуктов на стыке творчества и технологий.

Напомним, мы писали, что OpenAI намерена создать ИИ-банкира.