AI-model Venlose student voorspelt songfestival-uitslag
De grootste kanshebber om het songfestival te winnen is volgens de Venlose student Remco van der Heijden niet de Nederlandse Duncan Laurence, zoals de bookmakers voorspellen, maar de Litouwse Jurij Veklenko. Althans, dat zegt het Artificial Intelligence-model dat hij de afgelopen maanden ontwikkelde tijdens zijn stage bij Genzai.
Het AI-model van de Fontys ICT-student rangschikt de Eurovisie Songfestivalliedjes puur op basis van de muziek. Het live-optreden, de populariteit van de artiest, een valse noot tijdens een liveshow of politiek stemgedrag worden dus niet in het model meegenomen.
Hitnummers
Door 15.000 nummers uit de Amerikaanse Billboard hitlijsten van de afgelopen 60 jaar te vergelijken met 15.000 ander willekeurige nummers, heeft het AI-model van Remco zichzelf aangeleerd om potentievolle nummers te herkennen.
“Het model kijkt daarbij naar 156 puur muzikale factoren, zoals toonsoort, beats per minute of complexiteit”, vertelt Remco. Uiteindelijk slaagde het AI-model erin om met 77 procent betrouwbaarheid te beoordelen of een willekeurig nummer succes zal hebben, of niet.
Songfestival-ranking
De volgende stap was om het AI-model opnieuw te trainen met alle Eurovisie Songfestival-liedjes van de afgelopen 40 jaar. Afgelopen week lukte dat en donderdagochtend kwam de voorspelling van de songfestival-ranking uit de computer gerold.
De Nederlandse Duncan Laurence eindigt in de gegenereerde ranking niet als eerste, maar wel hoog, op de derde plaats. De tweede plaats gaat naar Georgië en de eerste plek naar Litouwen.
Opvallend is dat Rusland en Italië, die bij de bookmakers in de top 3 staan, volgens het AI-model bijna helemaal achteraan belanden.
Trial and error
“Artificial Intelligence is erg interessant, maar ook erg complex”, vertelt Remco. “De Black Box leert zichzelf van alles aan, maar daar heb ik geen zicht op. Het is echt een kwestie van proberen, en hopen dat het werkt.”
Stagebegeleider Roy Lenders vult aan: “Je ziet de output, en ziet of dat goed of slecht is. Maar probeer vervolgens maar te achterhalen waarom iets wel of niet werkt. Het is echt trial and error.”
Bookmakers verslaan
De missie was om met het AI-model een betere voorspelling te doen dan de bookmakers, volgende week zal uitwijzen of dat lukt. “Wij gaan zelf in ieder geval wel wat geld inzetten”, laat Roy Lenders weten.
“Wanneer je er bijvoorbeeld op inzet dat Denemarken het best scorende land uit de Nordics wordt, krijg je een uitkering van een factor 51. Bij de bookmakers komt Denemarken laag uit, bij ons vrij hoog.” [Eva Witte]
Vergelijk hieronder de rankings van het AI-model en de bookmakers (laatste update 09-05-2019).
Die 160 factoren hebben we in een A.I. model gelinked aan de uitkomsten van de 40 voorgaande edities van het Eurovisie songfestival. Het A.I. model vergelijkt telkens een tweetal liedjes met elkaar en voorspelt dan welke van de beide liedjes het beste zal scoren. Op basis van alle mogelijke matches tussen de 41 liedjes (een matrix van 40 bij 40 mogelijkheden) is vervolgens de ranking samengesteld. De betrouwbaarheid van de voorspelling bleek op 77% te liggen.
Data welke we NIET hebben meegenomen (maar wellicht in volgende edities moeten toevoegen):
- stemgedrag van landen in alle voorgaande edities
- de ongeschreven Eurovisie regels (zoals Engelstalige liedjes scoren altijd hoger)
- het wedgedrag bij de bookmakers (deze databron gebruiken de bookmakers voor hun voorspellingen)
Zie uitleg hierboven. Het lijkt erop dat we dus bij een volgende editie tevens het stemgedrag tussen landen en de ongeschreven Eurovisie regels moeten inbouwen om in de buurt van de bookmakers te komen.
Het bookmakers model is overigens ook niet perfect. Zij hebben last van twee problemen:
- De bookmakers voorspelling is gebaseerd op het wedgedrag van mensen. Dit voorspelt dus alleen de televoting en niet de jury voting. Dit was mooi te zien afgelopen zaterdag waar North Macedonia op plek nummer 1 stond na de jury voting waar dit land bij de bookmakers nog niet eens in de top 10 stond.
- Er zit bij hun een bias in de herkomst van de stemmers. Het grootste aantal stemmers komt uit de grote rijke westerse landen. Daarom was vrijwel de hele top 10 bij de bookmakers de grote Westerse landen en zat er weinig tot niets uit Oost Europa in.
Echter, het Eurovisie songfestival begon 2 maanden geleden natuurlijk actueel te worden dus het leek ons wel een leuk initiatief om ons A.I. model eens concreet te testen op het Eurovisie songfestival.