Caso de Exito en Sonificacion de Datos: Convirtiendo Investigacion Econometrica en Musica con IA y Reaper
Como converti un articulo academico sobre el boca a boca en cine en una composicion musical de 4 capas con Python, MIDI y Reaper. Caso de Mulhacen Labs.
Tome un articulo academico de 44 paginas sobre como el tiempo meteorologico afecta la venta de entradas de cine y lo converti en una composicion musical de 2 minutos y 40 segundos donde literalmente se escuchan los datos. Cuatro capas musicales, 8 parametros de automatizacion, 48 compases, todo generado desde un pipeline en Python y mezclado en Reaper. Este es Momentum Cascade, un proyecto de sonificacion de datos construido por Mulhacen Labs.
Que es la sonificacion de datos?
La sonificacion de datos convierte numeros en sonido. En lugar de leer un grafico, se escuchan los datos. Un precio de acciones que sube se convierte en un tono ascendente. Un crecimiento que acelera se convierte en un ritmo que acelera. No es algo nuevo (el sonar es sonificacion), pero la IA y las herramientas de audio modernas lo hacen practico para investigacion, accesibilidad y aplicaciones creativas.
| Aspecto | Visualizacion | Sonificacion |
|---|---|---|
| Sentido | Vista | Oido |
| Dimensiones | 2-3 (x, y, color) | 6+ (tono, volumen, ritmo, timbre, estereo, densidad) |
| Percepcion temporal | Estatica o animada | Naturalmente temporal |
| Accesibilidad | Requiere vision | Funciona para personas con discapacidad visual |
| Engagement | Analitico | Emocional + analitico |
Los datos de origen
El articulo fuente es "Something to Talk About: Social Spillovers in Movie Consumption" de Gilchrist y Sands (2016, Journal of Political Economy). El hallazgo clave: un shock climatico positivo en el fin de semana de estreno crea una ola compuesta de boca a boca. En la semana 6, $1 de impacto en los ingresos del estreno genera $2,14 en ingresos totales.
| Semana | Coeficiente | Multiplicador acumulado |
|---|---|---|
| 1 | 1,000 | 1,000 |
| 2 | 0,474 | 1,474 |
| 3 | 0,269 | 1,743 |
| 4 | 0,188 | 1,931 |
| 5 | 0,112 | 2,043 |
| 6 | 0,096 | 2,139 |
Todos los coeficientes estadisticamente significativos al 1%. Ese patron en cascada es lo que quise hacer audible.
El pipeline
Construi un pipeline de 5 capas: extraccion de datos (Python + pdfplumber), mapeo de parametros, generacion MIDI, control de automatizacion, y mezcla/masterizacion en Reaper.
Paso 1: Extraer. Scripts de Python extraen las tablas y figuras del PDF en CSVs estructurados (coeficientes de momentum, curvas de decaimiento de audiencia, divisiones por calidad).
Paso 2: Mapear. Cada dimension de datos se asigna a un parametro musical, fundamentado en The Sonification Handbook (Hermann, Hunt y Neuhoff, 2011). No tome decisiones arbitrarias. Cada mapeo sigue principios perceptuales establecidos.
Paso 3: Generar. Un script Python personalizado genera un archivo MIDI Type 1 multi-pista a 480 PPQN. 4 pistas musicales + pista directora + pista de automatizacion.
Paso 4: Automatizar. 8 parametros MIDI CC continuos controlan efectos en tiempo real: corte de filtro, reverb, feedback de delay, EQ, amplitud estereo. Enviados via IAC Driver a resolucion de fusas.
Paso 5: Mezclar. Cargado en Reaper, asignados instrumentos y efectos por pista, mezclado y masterizado a un archivo estereo final.
Las cuatro capas musicales
| Capa | Dimension de datos | Parametro musical | Efecto |
|---|---|---|---|
| Pad | Multiplicador acumulado (1,0 a 2,14) | Densidad de acordes (1 a 5 voces) + velocidad | La textura se engrosa con la cascada |
| Bajo | Coeficiente semanal (1,0 a 0,096) | Tono (C2 a C3, mas grave = mas fuerte) | El shock inicial suena profundo, los ecos suben |
| Eco | Numero de ecos activos por semana | Cantidad de fragmentos (1 a 6 motivos ascendentes) | El espacio se llena con el boca a boca |
| Pulso | Progresion semanal | Intervalo de notas (redonda a corchea) | El latido acelera con la tension |
La pieza esta en Do menor natural a 72 BPM. 6 secciones de 8 compases cada una, una por fin de semana. Construye desde lo disperso y silencioso (semana 1) hasta lo denso y urgente (semana 6), reflejando la cascada compuesta en los datos.
Especificaciones tecnicas
| Propiedad | Valor |
|---|---|
| Duracion | 48 compases, ~2 min 40 seg |
| Tempo | 72 BPM |
| Tonalidad | Do menor natural (Eolico) |
| Resolucion MIDI | 480 PPQN |
| Automatizacion | 8 parametros CC, resolucion de fusas |
| Herramientas | Python, Reaper, IAC Driver |
| Dependencias | Cero librerias externas para generacion MIDI |
Por que importa
La sonificacion de datos es un campo en crecimiento con aplicaciones en investigacion cientifica, accesibilidad (hacer datos disponibles para personas con discapacidad visual), monitorizacion financiera y artes creativas. Las tecnicas que use aqui (mapeo de parametros, composicion multicapa, automatizacion desde datos) se aplican a cualquier conjunto de datos.
Si tiene datos que cuentan una historia (y la mayoria lo hacen), la sonificacion puede hacer que esa historia se sienta, no solo se entienda.
Sobre Mulhacen Labs
Soy Barry Faassen, fundador de Mulhacen Labs. Construyo en la interseccion de ingenieria de software, IA y audio. Mas de 25 anos de experiencia en computacion cientifica (Deltares), software geotecnico (Fugro) y desarrollo de plugins de audio (C++/JUCE). Con sede en Granada, Espana.
¿Tiene un dataset que quiere escuchar? Reserve una llamada.