Zijn complexere modellen altijd beter?

Zijn complexere modellen altijd beter?

Een onderdeel van het curriculum van de master Econometrics & Mathematical Economics aan de Vrije Universiteit is het vak ’Time Series Econometrics’. Bij dit vak leren de studenten tijdreeksen te analyseren met behulp van ’State Space Models’, waarbij wordt aangenomen dat observaties over de tijd (zoals de inhoud van de Nijl) worden gestuurd door niet-geobserveerde factoren.

Door middel van state space modellering is het onder andere mogelijk om statistische eigenschappen van deze factoren af te leiden. Door de analyses die ik bij het volgen van dit vak heb uitgevoerd, ben ik ervan overtuigd geraakt dat er in een tijdreeks veel relevante informatie is opgeslagen die we niet direct kunnen observeren. De uitdaging is om deze informatie zo goed mogelijk uit de data te onttrekken. Wat is de beste manier om dit te doen?

Bij tijdreeksanalyse in de econometrie wordt aangenomen dat de waarden die we observeren over de tijd een steekproef vormt uit een stochastisch proces dat oneindig lang in de tijd heeft bestaan en ook oneindig lang zal blijven voortbestaan. Elke realisatie uit deze steekproef komt uit een bepaalde verdeling en door aan te nemen dat de parameters van deze verdelingen veel met elkaar gemeen hebben, kunnen we de tijdreeks modelleren. Een verdeling wordt aangenomen vóór de realisaties en de parameters worden geschat door middel van schattingsmethoden, zoals ’Maximum Likelihood’ of ’Bayesian Estimation’.

Machine Learning

Met behulp van deze parameters kunnen we een stap vooruit kijken in het stochastisch proces, oftewel: een voorspelling doen voor de tijdreeks. Het is ook mogelijk om een tijdreeksanalyse uit te voeren met behulp van Machine Learning (ML) of kunstmatige neurale netwerken. Gebaseerd op de neurale netwerken die bekend zijn uit de biologie wordt hier aangenomen dat de data gemodelleerd kan worden in een input-laag, een output-laag en één of meerdere verborgen lagen. Algoritmes worden dan getraind met een subset van de data om zo goed mogelijk de verbanden (gewichten) tussen deze lagen te bepalen. Deze verbanden worden vervolgens gebruikt om te voorspellen wat de output-laag zal zijn, gegeven een bepaalde input-laag. Welke van deze twee methoden is de geprefereerde methode voor tijdreeksanalyse?

In het artikel ’The Accuracy of Machine Learning Forecasting Methods versus Statistical Ones: Extending the Results of the M3-Competition’ maken Spyros Makridakis et alia een vergelijking tussen econometrie- en ML-methoden om tijdreeksanalyse uit te voeren. Deze vergelijking maken zij door voor 1.045 maandelijkse tijdreeksen een voorspelling te doen voor 18 horizonnen, met behulp van zowel ML als statistische methoden. Gebaseerd op de maatstaven ’Mean Absolute Percentage Error’ en ’Mean Absolute Relative Error’, trekken ze de conclusie dat de statistische methoden een betere voorspelling leveren dan de ML-methoden voor alle horizonnen.

Conclusie

Uit het artikel concludeer ik dat, hoewel ML-methoden momenteel populair zijn, deze niet per se beter zijn dan statistische methoden voor tijdreeksanalyse. Voordat we besluiten een ML-model te implementeren, is het daarom verstandig om dit eerst te vergelijken met een statistisch model en te bepalen of de resultaten van het ML-model wel écht beter zijn. Een model dat hoger scoort in populariteit is niet altijd beter (want levert niet een betere in- en out-of-sample fit) dan een minder populair model. Datzelfde geldt voor complexiteit: een model dat hoger scoort in complexiteit, presteert niet per definitie beter dan een simpeler model. Mocht een complexer model wel beter presteren, dan is het maar de vraag of de winst aan prestatie voldoende opweegt tegen het verlies aan begrip. Laten we vooral niet onderschatten hoe waardevol het is om een model te hebben geïmplementeerd dat door veel mensen in de organisatie wordt begrepen en waarvan de resultaten duidelijk te interpreteren zijn.