Venlo,
10
mei
2019
|
12:52
Europe/Amsterdam

AI-model Venlose student voorspelt songfestival-uitslag

De grootste kanshebber om het songfestival te winnen is volgens de Venlose student Remco van der Heijden niet de Nederlandse Duncan Laurence, zoals de bookmakers voorspellen, maar de Litouwse Jurij Veklenko. Althans, dat zegt het Artificial Intelligence-model dat hij de afgelopen maanden ontwikkelde tijdens zijn stage bij Genzai.

Het AI-model van de Fontys ICT-student rangschikt de Eurovisie Songfestivalliedjes puur op basis van de muziek. Het live-optreden, de populariteit van de artiest, een valse noot tijdens een liveshow of politiek stemgedrag worden dus niet in het model meegenomen.

Hitnummers
Door 15.000 nummers uit de Amerikaanse Billboard hitlijsten van de afgelopen 60 jaar te vergelijken met 15.000 ander willekeurige nummers, heeft het AI-model van Remco zichzelf aangeleerd om potentievolle nummers te herkennen.

“Het model kijkt daarbij naar 156 puur muzikale factoren, zoals toonsoort, beats per minute of complexiteit”, vertelt Remco. Uiteindelijk slaagde het AI-model erin om met 77 procent betrouwbaarheid te beoordelen of een willekeurig nummer succes zal hebben, of niet.

Songfestival-ranking
De volgende stap was om het AI-model opnieuw te trainen met alle Eurovisie Songfestival-liedjes van de afgelopen 40 jaar. Afgelopen week lukte dat en donderdagochtend kwam de voorspelling van de songfestival-ranking uit de computer gerold.

De Nederlandse Duncan Laurence eindigt in de gegenereerde Duncan Laurenceranking niet als eerste, maar wel hoog, op de derde plaats. De tweede plaats gaat naar Georgië en de eerste plek naar Litouwen.

Opvallend is dat Rusland en Italië, die bij de bookmakers in de top 3 staan, volgens het AI-model bijna helemaal achteraan belanden.

Trial and error
“Artificial Intelligence is erg interessant, maar ook erg complex”, vertelt Remco. “De Black Box leert zichzelf van alles aan, maar daar heb ik geen zicht op. Het is echt een kwestie van proberen, en hopen dat het werkt.” 

Stagebegeleider Roy Lenders vult aan: “Je ziet de output, en ziet of dat goed of slecht is. Maar probeer vervolgens maar te achterhalen waarom iets wel of niet werkt. Het is echt trial and error.”

Bookmakers verslaan
De missie was om met het AI-model een betere voorspelling te doen dan de bookmakers, volgende week zal uitwijzen of dat lukt. “Wij gaan zelf in ieder geval wel wat geld inzetten”, laat Roy Lenders weten.

“Wanneer je er bijvoorbeeld op inzet dat Denemarken het best scorende land uit de Nordics wordt, krijg je een uitkering van een factor 51. Bij de bookmakers komt Denemarken laag uit, bij ons vrij hoog.” [Eva Witte]

Vergelijk hieronder de rankings van het AI-model en de bookmakers (laatste update 09-05-2019).

Reacties 1 - 5 (5)
Bedankt voor uw bericht.
Jan
20
May
2019
toch nog maar even terug naar de tekentafel, lijkt me. Zou interessant zijn om te delen welke gegevens je hebt gebruikt om het algoritme te schrijven.
Roy
20
May
2019
Het algoritme werkt puur op de basis van de muziekkwaliteit. Op basis van onderzoek van verschillende universiteiten en conservatoria wereldwijd hebben we 160 factoren verzameld die iets zeggen over de muziek in een MP3 bestand. Denk dan aan toonhoogte, spectrale complexiteit (afwisseling), genre en allerlei andere factoren.

Die 160 factoren hebben we in een A.I. model gelinked aan de uitkomsten van de 40 voorgaande edities van het Eurovisie songfestival. Het A.I. model vergelijkt telkens een tweetal liedjes met elkaar en voorspelt dan welke van de beide liedjes het beste zal scoren. Op basis van alle mogelijke matches tussen de 41 liedjes (een matrix van 40 bij 40 mogelijkheden) is vervolgens de ranking samengesteld. De betrouwbaarheid van de voorspelling bleek op 77% te liggen.

Data welke we NIET hebben meegenomen (maar wellicht in volgende edities moeten toevoegen):
- stemgedrag van landen in alle voorgaande edities
- de ongeschreven Eurovisie regels (zoals Engelstalige liedjes scoren altijd hoger)
- het wedgedrag bij de bookmakers (deze databron gebruiken de bookmakers voor hun voorspellingen)

Mattie Wethlij
15
May
2019
Mooi initiatief. Georgië op de tweede plaats gaat niet meer lukken. Ik ben benieuwd naar de andere voorspellingen.
Roy
20
May
2019
We hebben de uitkomsten zondag na het Eurovisie songfestival geanalyseerd. De gemiddelde bookmakers voorspelling bleek er gemiddeld 6 posities per land naast te zitten. Onze A.I. voorspelling lag er gemiddeld 10,5 posities langs.

Zie uitleg hierboven. Het lijkt erop dat we dus bij een volgende editie tevens het stemgedrag tussen landen en de ongeschreven Eurovisie regels moeten inbouwen om in de buurt van de bookmakers te komen.

Het bookmakers model is overigens ook niet perfect. Zij hebben last van twee problemen:
- De bookmakers voorspelling is gebaseerd op het wedgedrag van mensen. Dit voorspelt dus alleen de televoting en niet de jury voting. Dit was mooi te zien afgelopen zaterdag waar North Macedonia op plek nummer 1 stond na de jury voting waar dit land bij de bookmakers nog niet eens in de top 10 stond.
- Er zit bij hun een bias in de herkomst van de stemmers. Het grootste aantal stemmers komt uit de grote rijke westerse landen. Daarom was vrijwel de hele top 10 bij de bookmakers de grote Westerse landen en zat er weinig tot niets uit Oost Europa in.
Loraa
12
May
2019
IJsland staat heel erg laag ik denk niet dat dit de goede voorspelling is
Roy
20
May
2019
Ja, het A.I. model werkte puur op muziekkwaliteit. Wellicht had het daarin wel gelijk. Maar inderdaad is Ijsland veel hoger geeindigd.
Rens van der Vorst
10
May
2019
Briljant, zou helemaal briljant zijn als het songfestival echt over muziek ging in plaats over elkaar punten toeschuivende landen... :). Ik hou je lijstje ernaast!
Roy
20
May
2019
Ja, inderdaad. Inmiddels wel gebleken dat het niet alleen over muziekkwaliteit ging. Het stemgedrag tussen landen moeten we beter modelleren alsmede de ongeschreven regels bij Eurovisie.
Marcel V
10
May
2019
Goeie toepassing van AI! Heel mooi.
Roy
20
May
2019
Het principe van het A.I. model hadden we eigenlijk gebouwd om een hitvoorspeller te maken. Een systeem dat voor een willekeurig MP3 bestand kan voorspellen wat de kans is om in de hitcharts te komen. In het vervolg willen we hieraan functionaliteit toevoegen wat ook kan adviseren wat er precies in de muziek aangepast moet worden om hoger te scoren.

Echter, het Eurovisie songfestival begon 2 maanden geleden natuurlijk actueel te worden dus het leek ons wel een leuk initiatief om ons A.I. model eens concreet te testen op het Eurovisie songfestival.