Executando verificação de segurança...
20
filipedeschamps
1 min de leitura ·

RIFFUSION: Usando o Stable Diffusion para gerar Música (através de espectrogramas)

Turma, esbarrei numa das mais criativas adaptações do Stable Diffusion que é o RIFFUSION (uma mistura de riff + diffusion) onde a idéia é utilizar o mesmo algoritmo de geração de imagens do Stable Diffusion, mas para gerar imagens de espectrogramas, que em seguida são convertidas para músicas.

Veja nos dois exemplos abaixo, um prompt tradicional gerando a foto de um cavalo, e outro prompt gerando um espectrograma:

"photograph of an astronaut riding a horse""funk bassline with a jazzy saxophone solo"

Onde o espectrograma acima irá gerar esta música:

https://www.riffusion.com/about/funky_sax.mp3

Você pode escutar mais músicas e ter uma explicação mais detalhada no link da Fonte.

Fonte: https://www.riffusion.com/about

Carregando publicação patrocinada...
4
1
Haller

Cara é muito sinistro esse site que bagulho sem padrão nenhum... Tipo mundo caótico Deus que me livre de um mundo sem padrão e nem forma... sinistro demais.
Coloquei vários textos sem pé nem cabeça e coloquei coisas concatenadas, mas mesmo assim não fica legal. Música boa é as feitas pelos humanos.

1
1
DarthUlli

Muito interessante! Será que a criação de músicas por IA vai chegar no mesmo nível da criação de artes?

Para mim, uma arte "ruim" é bem mais consumível do que uma música "ruim". Logo, para chegar em um nível em que a música de uma IA seja "boa" acho que ainda vai demorar um pouco mais, o que vocês acham?

1
Haller

Interessante, mas o que penso ser importante nesse caso é o padrão usado por ela para criar... nós humanos usamos padrões harmonicos para criar música, ritmos, combinações através do estudo e de um arranjo musical...
O que a IA entregou ali foi só ruído nada harmonico muito menos ritmico.
Na minha opinião isso pode ser apenas interessante no começo, mas acho que tem teto baixo, não terá utilidades reais na prática.

1
haruo

Esse som criado pela IA me remeteu bastante a artistas experimentais de jazz e bebop (Miles Davis, por exemplo), que até hoje são reconhecidos exatamente por produzirem um som aparentemente "não-harmônico" e "sem ritmo".
O fato é que esse gênero musical tem um embasamento pesado em teoria - não é a toa que institutos de música estudam tanto esses ícones - mas é difícil de perceber e soa "esquisito".
E tudo isso me leva a pensar no estado da "arte abstrata". O que a IA produziu pode ser considerada uma arte? Além do mais, abstrata? Será que somos nós humanos que não "compreendemos" o que a IA produziu?
Minha opinião é que a música gerada é divertida, mas é vazia. Falta a identidade de alguém. Uma música tem (ou deveria ter) embutida nela a vida e experiência do autor, e o ouvinte sente essa conexão. Não dá para separar a arte do artista, senão ela se torna artificial pra quem consome.