Рекурсивный акроним словосочетания «PHP: Hypertext Preprocessor»

Добро пожаловать на форум PHP программистов!

За последние 24 часа нас посетили 25800 программистов и 1793 робота. Сейчас ищут 1087 программистов ...

Последние

Теперь и музыканты: создана нейросеть на базе Stable Diffusion, которая генерирует музыку по текстовому описанию

Дата: 2022-12-17 14:19

Нейросеть Stable Diffusion известна многим. Она позволяет генерировать изображения по текстовому описанию. Но, как оказалось, с её помощью можно также создавать и музыку. Суть в том, что система может создавать аудиоспектрограммы — визуальные изображения звуковых частот в треке. После этого нужно лишь «воспроизвести» полученный звук.

В спектрограмме (или сонограмме) на оси представлен порядок воспроизведения частот слева направо. По оси Y размещаются данные о частотах звука, а цвет пикселей задаёт амплитуду звука в каждой момент времени.

Нейросеть обучили на сонограммах, которые описывают музыкальные жанры или звуки. В результате получилась Riffusion — нейросеть, способная генерировать звук из изображения, которое создаётся по текстовому описанию. Для вывода именно аудиодорожки используется Torchaudio.

При этом разработчики смогли заставить нейросеть генерировать такие аудиоклипы, которые могли бы плавно «перетекать» друг в друга. То есть, темп музыки не меняется резко.

Веб-интерфейс можно взять здесь. Нейросеть скачать можно здесь. Попробовать онлайн здесь. Сгененрировать спектрограмму здесь.

Ранее сообщалось, что художники начали настоящую войну против нейросети на ArtStation.

Подробнее на iXBT

Предыдущие новости

iXBT, 2022-12-17 14:20
АвтоВАЗ вернул в Lada Niva Travel медиасистему с 7-дюймовым экраном и камеру заднего вида. Осталось вернуть ABS

АвтоВАЗ начал производить Lada Niva Travel с опциями, которые ранее были доступны для этого автомобиля, но потом (в текущем году) исчезли из-за дефицита компонентов, обусловленным санкциями и разрывом цепочек поставки комплектующих. Как пишет инсайдерский паблик Avtograd News, АвтоВАЗ вернул в Lada Niva Travel мультимедийную систему с 7-дюймовым экраном и камеру заднего вида....

3Dnews.ru, 2022-12-17 14:03
Тайваньскую Foxconn вынудили продать свою долю в китайской Unigroup

Компания Foxconn, крупнейший в мире контрактный производитель электроники, заявила накануне, что её дочерняя компания в материковом Китае согласилась продать весь принадлежащий ей пакет акций китайского конгломерата Tsinghua Unigroup. Источник изображения:...

iXBT, 2022-12-17 13:07
В РФ появился «родной брат» Tiguan. Крупный российский дилер открыл предзаказ на кроссовер Volkswagen Tayron

Крупный российский дилер начал предлагать россиянам новый среднеразмерный кроссовер Volkswagen Tayron. «Брат Тигуана» представлен тремя версиями: Premium Plus с двигателем 1,4 TSI и передним приводом, Premium Plus с двигателем 2,0 TSI и полным приводом, а также R-Line с двигателем 2,0 TSI и полным приводом. Коробка передач – исключительно 7-ступенчатый «робот» DSG. Цены...

3Dnews.ru, 2022-12-17 13:00
В Китае научились добывать водород из морской воды без опреснителей и насосов — дешевле не бывает

Морская вода является бесконечным источником металлов, минералов, питьевой воды, кислорода и водорода. Учёные всех стран десятилетиями ищут возможность добывать эти богатства из морских и океанских глубин. Главная задача — делать работы экономически выгодно, но именно с этим связаны все барьеры на пути разработчиков. В Китае решили одну из этих проблем — научились простой...