Data-sonificatie Casestudy: Econometrisch Onderzoek Omzetten in Muziek met AI en Reaper
Hoe ik een academisch paper over mond-tot-mondreclame bij films omzette in een 4-laags compositie met Python, MIDI en Reaper. Mulhacen Labs casestudy.
Ik nam een academisch paper van 44 pagina's over hoe het weer bioscoopkaartverkoop beinvloedt en maakte er een muziekcompositie van 2 minuten en 40 seconden van, waarin je de data letterlijk kunt horen. Vier muzikale lagen, 8 automatiseringsparameters, 48 maten, allemaal gegenereerd vanuit een Python-pipeline en gemixt in Reaper. Dit is Momentum Cascade, een data-sonificatieproject gebouwd door Mulhacen Labs.
Wat is data-sonificatie?
Data-sonificatie zet getallen om in geluid. In plaats van een grafiek te lezen, hoor je de data. Een stijgende aandelenkoers wordt een stijgende toon. Versnellende groei wordt een versnellend ritme. Het is niet nieuw (sonar is sonificatie), maar AI en moderne audiotools maken het praktisch voor onderzoek, toegankelijkheid en creatieve toepassingen.
| Aspect | Visualisatie | Sonificatie |
|---|---|---|
| Zintuig | Zicht | Gehoor |
| Dimensies | 2-3 (x, y, kleur) | 6+ (toonhoogte, volume, ritme, timbre, stereo, dichtheid) |
| Tijdsperceptie | Statisch of geanimeerd | Van nature temporeel |
| Toegankelijkheid | Vereist zicht | Werkt voor slechtzienden |
| Betrokkenheid | Analytisch | Emotioneel + analytisch |
De brondata
Het bronpaper is "Something to Talk About: Social Spillovers in Movie Consumption" van Gilchrist en Sands (2016, Journal of Political Economy). De kernbevinding: een positieve weersschok in het openingsweekend van een film creert een samengestelde golf van mond-tot-mondreclame. In week 6 genereert $1 impact op de openingsinkomsten $2,14 aan totale inkomsten.
| Week | Coefficient | Cumulatieve vermenigvuldiger |
|---|---|---|
| 1 | 1,000 | 1,000 |
| 2 | 0,474 | 1,474 |
| 3 | 0,269 | 1,743 |
| 4 | 0,188 | 1,931 |
| 5 | 0,112 | 2,043 |
| 6 | 0,096 | 2,139 |
Alle coefficienten statistisch significant op het 1%-niveau. Dat cascade-patroon is wat ik hoorbaar wilde maken.
De pipeline
Ik bouwde een 5-laags pipeline: data-extractie (Python + pdfplumber), parametermapping, MIDI-generatie, automatiseringsbesturing, en mixen/masteren in Reaper.
Stap 1: Extraheren. Python-scripts halen de tabellen en figuren uit de PDF naar gestructureerde CSV's (momentumcoefficienten, kijkcijfervervalcurves, kwaliteitssplitsingen).
Stap 2: Mappen. Elke datadimensie wordt toegewezen aan een muzikaal parameter, gefundeerd op The Sonification Handbook (Hermann, Hunt en Neuhoff, 2011). Geen willekeurige keuzes. Elke mapping volgt gevestigde perceptuele principes.
Stap 3: Genereren. Een custom Python-script genereert een Type 1 multi-track MIDI-bestand op 480 PPQN. 4 muzikale tracks + dirigeertrack + automatiseringstrack.
Stap 4: Automatiseren. 8 continue MIDI CC-parameters besturen effecten in real-time: filterafsnijding, reverb, delay-feedback, EQ, stereobreedte. Verzonden via IAC Driver op 32e-nootresolutie.
Stap 5: Mixen. Geladen in Reaper, instrumenten en effecten toegewezen per track, gemixt en gemasterd naar een uiteindelijk stereobestand.
De vier muzikale lagen
| Laag | Datadimensie | Muzikaal parameter | Effect |
|---|---|---|---|
| Pad | Cumulatieve vermenigvuldiger (1,0 tot 2,14) | Akkoorddichtheid (1 tot 5 stemmen) + velocity | Textuur wordt dikker naarmate de cascade groeit |
| Bas | Weekcoefficient (1,0 tot 0,096) | Toonhoogte (C2 tot C3, lager = sterker) | Initiele schok klinkt diep, echo's stijgen |
| Echo | Aantal actieve echo's per week | Fragmentenaantal (1 tot 6 stijgende motieven) | Ruimte vult zich naarmate mond-tot-mond zich verspreidt |
| Puls | Weekprogressie | Nootinterval (hele noten tot achtste noten) | Hartslag versnelt met spanning |
Het stuk staat in C mineur natuurlijk op 72 BPM. 6 secties van 8 maten elk, een per weekend. Het bouwt op van schaars en stil (week 1) tot dicht en dringend (week 6), als spiegel van de samengestelde cascade in de data.
Technische specificaties
| Eigenschap | Waarde |
|---|---|
| Duur | 48 maten, ~2 min 40 sec |
| Tempo | 72 BPM |
| Toonsoort | C mineur natuurlijk (Aeolisch) |
| MIDI-resolutie | 480 PPQN |
| Automatisering | 8 CC-parameters, 32e-nootresolutie |
| Tools | Python, Reaper, IAC Driver |
| Afhankelijkheden | Nul externe Python-bibliotheken voor MIDI-generatie |
Waarom dit ertoe doet
Data-sonificatie is een groeiend veld met toepassingen in wetenschappelijk onderzoek, toegankelijkheid (data beschikbaar maken voor slechtzienden), financiele monitoring en creatieve kunst. De technieken die ik hier gebruikte (parametermapping, meerlaagse compositie, automatisering vanuit data) zijn toepasbaar op elke dataset.
Als je data hebt die een verhaal vertelt (en de meeste data doet dat), kan sonificatie dat verhaal voelbaar maken, niet alleen begrijpelijk.
Over Mulhacen Labs
Ik ben Barry Faassen, oprichter van Mulhacen Labs. Ik bouw op het snijvlak van software-engineering, AI en audio. Meer dan 25 jaar ervaring in wetenschappelijke computing (Deltares), geotechnische software (Fugro) en audioplug-in-ontwikkeling (C++/JUCE). Gevestigd in Granada, Spanje.
Heb je een dataset die je wilt horen? Plan een gesprek.