Ny teknik gör det möjligt att musicera ihop på distans
Nu är det möjligt för musiker att, trots att de befinner sig på olika platser, spela tillsammans med en känsla av att de befinner sig i samma rum. KTH-forskare har tillsammans med det nya företaget Elk tagit fram ett supersnabbt system som drastiskt minskar fördröjningen när ljudsignaler överförs via nätet. En perfekt lösning för repetitioner, jam sessions, inspelningar och musikundervisning i pandemitider.
Det nya coronaviruset har lett till stora problem för musiker, orkestrar, körer och musiklärare i deras musikutövning. Restriktioner när det gäller resor och publik gör det svårt att genomföra repetitioner och konserter. Och verktyg för videokonferenser som Zoom och Teams har en fördröjning av ljudsignalerna som gör dem i princip omöjliga att använda för musiker.
Men nu har Carlo Fischione , professor vid avdelningen för nätverk och systemteknik på KTH, bidragit till en lösning på problemet. Tillsammans med sin tidigare post-doc Luca Turchet, en före detta masterstudent från KTH och tre andra personer har han grundat företaget Elk . Företaget har utvecklat ett system som gör att musiker kan spela tillsammans på distans, med mycket låg latency (fördröjning). Med den här lösningen upplever musikerna det som om de befinner sig i samma rum.
– Första gången vi demonstrerade tekniken var på Mobile World Congress i Barcelona i maj 2019. Då visade vi tillsammans med Ericsson att man kan använda 5G för att koppla ihop musikinstrument och spela tillsammans, trots att man befinner sig på olika platser, säger Carlo Fischione.
Redan för några år sedan hade han och hans kollega, den italienska gitarrbyggaren Michele Benincaso, en vision om musicerande över internet, då med en smart gitarr som var uppkopplad mot nätet. Men problemet med fördröjning i ljudöverföringen satte käppar i hjulet.
Ett nytt nätverk för snabb ljudöverföring
Det är två saker som nu gör att det har blivit möjligt att spela musik tillsammans via internet. Det första är ett nätverk som erbjuder mycket låg fördröjning av ljudöverföringen, som Carlo Fischione och hans kollegor på KTH har bidragit till att utveckla – och som beskrivs i en artikel i den vetenskapliga tidskriften IEEE . Men det i sig räcker inte till, konstaterar han.
– Musikinstrument som kopplas upp på internet måste också ha ett operativsystem med mycket snabb ljudöverföring. Och i vanliga operativsystem som MacOS och Windows tar det alldeles för lång tid att ta in ljud, behandla data och skicka ljud vidare, säger han.
Även mycket avancerade produkter för musik som finns på marknaden idag bearbetar ljud och musik för långsamt, enligt Carlo Fischione. Därför har Elk Audio nu tagit fram ett nytt operativsystem specifikt anpassat för ljud, som två masterstudenter på KTH har bidragit till att optimera.
– Vårt nya operativsystem Elk är supersnabbt. Det bearbetar ljud och musik på mindre än en millisekund, säger Carlo Fischione.
En fungerande prototyp
Den prototyp företaget använder för demonstrationer och användartester består av en liten minidator, en så kallad Raspberry Pi, där det nya operativsystemet har byggts in. Datorn har ingångar för instrument och mikrofoner och portar för uppkoppling mot nätverk och mot internet och 5G-nätet. När musiker spelar tillsammans över internet har var och en sådan dator.
Det finns videor på YouTube där musiker spelar tillsammans på flera hundra kilometers avstånd från varandra. På Elks webbplats finns en video där den världsberömda harpisten och sångerskan Hattie Webb spelar Leonard Cohens Hallelujah tillsammans med basisten Andrea Resce . De och andra användare av systemet upplever det som om de är i samma rum när de spelar, berättar Carlo Fischione.
– Om Vivaldi, Mozart, Haydn eller någon av de andra stora klassiska kompositörerna skulle funnits idag skulle de inte ha upplevt någon fördröjning, säger han.
Nytt forskningsområde: machine learning over networks
Den fysikaliska lagen om ljusets hastighet sätter dock vissa begränsningar för hur långt ifrån varandra musikerna kan vara. Upp till 200 kilometer fungerar precis som att befinna sig i samma rum. 700 kilometers avstånd har visat sig fungera om musikerna spelar långsamt, enligt Carlo Fischione. Men han och forskarkollegorna har bidragit till utveckla ett nytt forskningsområde, machine learning over networks. Bland annat undersöker de om AI och maskininlärning kan användas för att kompensera fördröjningen och därmed göra det möjligt för musiker att spela tillsammans på ännu större avstånd ifrån varandra.
– Vem vet, kanske kan vi övervinna ljudets hastighet om AI kan förutsäga musikerns musikaliska uttryck på några hundra millisekunder och i realtid. I framtiden kanske musiker i New York och i Stockholm kan spela tillsammans samtidigt utan att de upplever någon fördröjning, säger Carlo Fischione.
Håkan Soold