“Validatie is veel meer dan een wiskundige exercitie”

Een interview met Martijn Habing (ABN AMRO)

“Validatie is veel meer dan een wiskundige exercitie”

Risicomodellen van banken worden door model risk managers gevalideerd om te bepalen of alle risico’s juist in kaart zijn gebracht. Martijn Habing, hoofd Model Risk Management (MoRM) bij ABN AMRO, sprak eerder dit jaar tijdens het Zanders Risk Management Seminar over de vraag in hoeverre een model de impact van een gebeurtenis kan voorspellen. Wij gingen vervolgens met hem in gesprek om meer te horen over MoRM bij ABN AMRO.

De MoRM-afdeling van ABN AMRO telt zo’n 45 man. Wat zijn de cruciale voorwaarden om de afdeling efficiënt draaiende te houden?

Habing: “We zijn sinds begin 2019 opgedeeld in teams met duidelijke verantwoordelijkheden, waardoor we als model risk management-onderdeel efficiënter kunnen werken. Waar we voorheen de vragen vanuit de ECB of andere regelgeving lieten opvangen door de experts binnen Credit risk, hebben we nu een apart team klaarstaan dat zich speciaal op alle niet-kwantitatieve zaken richt. Dat verlaagt de werkdruk op de experts die zich echt moeten bezighouden met de wiskundige modellen. Het tweede wat we hebben gedaan, is een sterker onderscheid maken tussen de bestaande modellen en de nieuwe projecten die we moeten draaien. Grote projecten zijn bijvoorbeeld de ‘Definition of default’ en de introductie van IFRS 9. In het verleden werd dit soort projecten uitgevoerd door mensen die eigenlijk de kredietmodellen moesten doen. Door daar aparte teams voor te hebben, kunnen we makkelijker schalen op de nieuwe projecten – dat werkt goed.”

Wat is binnen uw afdeling precies de definitie van een model? Betreft het enkel risicomodellen, of zijn bijvoorbeeld ook hedge accounting- of pricing-modellen in scope?

“We gooien het net zo breed mogelijk uit om de modellen te identificeren, zowel in de grootte als in het type van het model. Vanuit administratief oogpunt kunnen we er makkelijk 600 tot 700 bijhouden. Maar bij zo’n aantal kunnen we ze niet allemaal met dezelfde diepgang valideren. We proberen dus alles in beeld te krijgen, maar wat we per model bekijken, varieert.”

In hoeverre bepaalt de business of een model voor validatie wordt aangedragen?

“Wij willen alle modellen in beeld hebben. De vraag is dan: hoe kom je aan een compleet overzicht? Hoe weet je welke modellen er zijn als je ze niet te zien krijgt? Wij proberen dat op twee manieren in te richten. Enerzijds door aansluiting te vinden bij het change risk-assessmentproces; we hebben een operational risk-afdeling die in cycli van zo’n drie jaar de hele bank bekijkt. Wij werken samen met operational risk en proberen uit te leggen waarop ze moeten letten, wat voor ons een model is en waar het modelrisico in zit. Anderzijds volgen we een top-down-benadering, waarbij we de modeleigenaar op het hoogste niveau vastleggen. Zo moet de directeur hypotheken aftekenen dat voor alle processen in zijn business de modellen goed zijn ontwikkeld en de documentatie op orde en gevalideerd is. Daar proberen we dus vanaf de bovenkant van de organisatie zicht op te krijgen. Het overgrote deel van de modellen hebben we wel in beeld.”

Leidt dit weleens tot discussie?

“Ja, dat gebeurt zeker. In het beleid van de bank hebben we uitgelegd dat het uiteindelijke oordeel, of iets wel of geen model is, bij ons ligt. Als wij vinden dat er een risico wordt genomen met een model, dan geven wij aan dat er iets mee moet gebeuren.”

Een deel van de modellen zal waarschijnlijk geïmplementeerd zijn via vendor-systemen. Hoe ga je daar wat validatie betreft mee om?

“De regelgeving is daar helder over: je moet als bank al je modellen volledig begrijpen. Het overgrote deel van de modellen hebben we intern ontwikkeld. Daarnaast hebben we marktsystemen waarvoor grote platformen zijn gemaakt door externe partijen. Wij kijken dus zeker ook naar deze vendor-systemen, maar ze vergen een andere aanpak. Bij deze modellen kijk je hoe je ze parametriseert – welke test moet er precies mee gebeuren? De controlemogelijkheden van die systemen zijn heel anders. We kijken er dus naar, maar ze hebben andere aandachtspunten. Wij voeren daar bijvoorbeeld schaduwberekeningen op uit om de uitkomsten te valideren.”

Hoe ondervang je de meer kwalitatieve elementen of eigenschappen in de validatie van een risicomodel?

“Er zijn modellen waar een grote component in zit van een expert, die met een of meerdere aannames een bepaalde inschatting maakt vanuit zijn expertise. Dat is input die vanuit de business zelf komt en die we niet in de modellen hebben zitten en wij niet wiskundig kunnen controleren. Vanuit MoRM proberen we vast te leggen welke aannames door welke experts gemaakt worden. Omdat daar meer risico in schuilt, stellen we meer eisen aan het proces waarmee de aannames tot stand komen. Daarnaast is de modeluitkomst over het algemeen input voor de beslissing van de bank. Dus wanneer er iets uit het model rolt, zal het risico dat met een aanname gepaard gaat altijd nog worden meegenomen en beoordeeld in een vergadering om te beslissen wat we als bank daadwerkelijk doen. Maar ook daarin zit nog een risico.”

Hoe zorg je er dan voor dat de output uit modellen juist wordt toegepast?

“Dat proberen we op te vangen door het gebruik van het model verplicht op te nemen in de documentatie. Zo hebben we een model voor IFRS 9 waarbij we moeten aangeven dat we het ook gebruiken voor stresstesting. We weten waar het model naartoe gaat in de besluitvorming van de bank. En dat is een dynamisch proces; er zijn modellen die worden ontwikkeld en drie jaar later voor andere doelen worden gebruikt. Validatie is dus veel meer dan een wiskundige exercitie om te zien hoe de cijfers op elkaar vallen.”

Typisch geldt: eerst ontwikkelen, dan valideren. Niet ieder model zal een ‘validatie-stempel’ krijgen. Dit kan betekenen dat een model wordt afgekeurd terwijl er een berg werk verzet is. Is dat te voorkomen?

ABN AMRO Martijn Habing interview“Dat is inderdaad een concreet probleem. Er zijn gevallen waarbij veel werk is gestoken in de ontwikkeling van een nieuw model dat op het laatste moment afgekeurd werd. Dat is zonde als bedrijf. Enerzijds moet je als validatieafdeling onafhankelijk blijven. Anderzijds moet je in een keten efficiënt kunnen werken. Dat zijn tegenstrijdige stukken en we proberen beide na te leven door in een vroeg stadium mee te kijken in de aannames van modeling. In onze Model Life Cycle hebben we beschreven dat bij de ontwikkeling van modellen de modelleur of eigenaar zich moet melden bij het comité dat bepaalt of iets wel of niet kan. Zij bestuderen niet alleen de technische, maar ook de bedrijfsmatige aansturingskant. Validatie kan daardoor een zuiverder rol spelen in het bepalen of iets technisch wel of niet goed is.”

Om de impact van risico’s nog beter te kunnen bepalen, worden modellen steeds complexer. Machine learning lijkt dan een oplossing. Maar in hoeverre kan dat?

“Als mens zijn datasets vanaf een bepaalde omvang niet meer te beoordelen en heb je statistische modellen en samenvattingen nodig. We praten veel over machine learning en de vereisten vanuit regelgeving, vooral ook met de afdeling operational risk. Daarbij kijken we onder meer naar de situaties waarin het algoritme een beslissing neemt. De vereisten staan helder geformuleerd, maar de uitvoering is moeilijker – een beslissing moet immers altijd uitlegbaar zijn. Dus uiteindelijk zijn het mensen die de beslissingen nemen en dus aan de knoppen zitten.”

In hoeverre leidt het gebruik van machine learning-modellen tot validatie-issues?

“Zeventig tot tachtig procent van wat wij binnen de bank modelleren en valideren, is gebonden door regelgeving – daar kun je geen machine learning op toepassen. Het stuk machine learning dat nu opkomt, zit veel meer aan de businesskant – hoe vind je betere klanten, hoe kom je tot cross-selling? Daar heb je een framework voor nodig; als je een nieuw machine learning-model hebt, welke risico’s zie je daar dan in en wat kun je eraan doen? Hoe zorg je ervoor dat je model zich aan de regels houdt? Er is bijvoorbeeld een regel dat je geen hypotheken mag weigeren op basis van iemands postcode en in de traditionele modellen kun je dat vrij goed terugzien. Maar bij machine learning zie je niet goed wat er ‘onder de motorkap’ gebeurt. Dat is een nieuw risicotype dat we in onze frameworks moeten gaan opnemen. Een andere toepassing is dat we onze eigen machine learning-modellen gebruiken als challenger-model voor de modellen die we vanuit modeling geleverd krijgen. Zo kun je kijken of je tot andere drivers komt, of tot meer informatie dan de modelleurs uit de data halen.”

Hoe belangrijk is documentatie daarin?

“Heel belangrijk. Het is vanuit validatie altijd hét onderdeel en actiepunt nummer één voor alle modellen. Het zit in de checklist voordat een model überhaupt gevalideerd kan worden door ons. Wij moeten erop controleren en er streng op zijn. Maar vooral bij de grotere modellen en kredietverlening is men doordrongen van het nut en de noodzaak van documentatie.”

Tot slot: wat maakt het zo leuk om in het veld van model risk management te werken?

“De rol van data en modellen in de financiële industrie wordt steeds groter. Het is niet altijd dankbaar werk; je moet aanwijzen waar het fout gaat – wat dat betreft zijn we de tandarts van het bedrijf. Het risico zit erin dat je te veel gedreven wordt vanuit statistiek en data. Daarom dagen we onze mensen vooral uit om met de business te praten en strategisch mee te denken. Tegelijkertijd zijn veel risico’s nog onvoldoende in de tang – het vereist meer structuur dan we nu hebben. Voor model risk management heb ik een duidelijk idee van wat we moeten doen om dit in de toekomst sterker te maken. Een mooie uitdaging.”