Stability AI, conocida por su generador de arte impulsado por IA Stable Diffusion, ha presentado un nuevo modelo de IA abierto para la generación de sonidos y canciones, llamado Stable Audio Open.

La startup Stability AI ha dado un paso más en la innovación tecnológica con el lanzamiento de Stable Audio Open, un modelo de IA generativo diseñado para crear sonidos y fragmentos de música a partir de descripciones textuales. Este modelo, entrenado exclusivamente con grabaciones libres de derechos de autor, ofrece a los usuarios la capacidad de generar grabaciones de hasta 47 segundos de duración.

Características y capacidades de Stable Audio Open.

Stable Audio Open toma descripciones textuales como «Rock beat tocado en un estudio tratado, sesión tocando la batería en un kit acústico» y produce grabaciones sonoras basadas en esas indicaciones. El modelo fue entrenado utilizando aproximadamente 486,000 muestras de las bibliotecas de música gratuitas FreeSound y Free Music Archive, asegurando así que no se infringen derechos de autor​​.

Este modelo es capaz de crear una amplia variedad de sonidos, incluyendo ritmos de batería, riffs de instrumentos, ruidos ambientales y elementos de producción para vídeos, películas y programas de televisión. Además, ofrece la opción de editar canciones existentes o aplicar el estilo de una canción a otra, como transformar una pieza en «smooth jazz»​​.

Limitaciones y restricciones.

A pesar de sus innovadoras capacidades, Stable Audio Open tiene ciertas limitaciones. No puede producir canciones, melodías o voces completas con alta calidad, ya que no está optimizado para estas tareas. Para estos usos, Stability AI recomienda su servicio premium de audio. Además, el modelo no puede ser utilizado comercialmente, y sus términos de servicio lo prohíben explícitamente. También presenta problemas de rendimiento con estilos y culturas musicales diversas, especialmente con descripciones en idiomas distintos al inglés, debido a la falta de diversidad en los datos de entrenamiento​.

Futuro del generador de sonido de IA.

El lanzamiento de Stable Audio Open refleja los esfuerzos de Stability AI por mejorar su reputación en el uso de datos libres de derechos de autor, especialmente tras la controversia generada por la renuncia de su vicepresidente de audio generativo, Ed Newton-Rex, debido a desacuerdos sobre la postura de la compañía respecto al uso justo de obras con derechos de autor​ (Decrypt)​.

Este avance se enmarca en un contexto de creciente escrutinio sobre el uso de IA en la música, con acciones legales como la ley aprobada en Tennessee para frenar los abusos de IA en la música y cartas de advertencia de empresas como Sony Music contra el uso no autorizado de su contenido para entrenar modelos de IA​ (Stability AI)​​ (SiliconANGLE)​.