Datakwaliteit meten en datakwaliteitsbeleid voeren zijn twee verschillende dingen. De meeste organisaties doen het eerste en hebben het idee dat ze het tweede doen. Ze hebben dashboards, kwaliteitsscores, KPI’s voor volledigheid en tijdigheid, en ze bespreken die wekelijks of maandelijks. Maar het meten van een probleem is niet hetzelfde als van tevoren hebben vastgelegd wat er dan gebeurt.
Een meting zonder consequentie is een observatie
Stel: een organisatie haalt een nieuwe bronlevering op en een kwaliteitscheck detecteert dat het bestand aanzienlijk minder records bevat dan de vorige aanlevering. Dat verschijnt op het dashboard. Maar wat dan?
Als er geen beleid is vastgelegd, volgt er een ad-hocbeslissing. Iemand beoordeelt of dit acceptabel is. Die beoordeling staat nergens, of in een e-mail. De volgende keer dat de situatie zich voordoet, is de redenering opnieuw ad hoc. Er is geen autittrail, geen consistentie in behandeling en geen zichtbaarheid voor de risico- of compliancefunctie die verantwoordelijk is voor de rapportage die met deze data wordt gevoed.
Meting zonder beleid is observatie. Nuttig, maar niet voldoende voor governance.
Check policy: beleid voor elk kwaliteitsmoment
Latero Control introduceert het concept van check policy. Voor elke kwaliteitscheck is van tevoren in configuratie vastgelegd wat de consequentie is als die check faalt.
De eerste optie is enforce: de verwerking stopt. Er gaat geen data door naar de volgende stap. Een bronbestand waarvan de checksum niet overeenkomt met de verwachte waarde, wordt niet verder verwerkt. Het risico dat onjuiste data in een publicatietabel terechtkomt, weegt zwaarder dan de vertraging die het stopzetten veroorzaakt.
De tweede optie is observe: de verwerking gaat door, maar het gesignaleerde probleem wordt geregistreerd en is zichtbaar in Latero Control. Een verwerkingstijd die tien minuten boven de afgesproken tijdsnorm uitkomt, is een signaal maar geen kritiek risico. Dat stopt de pijplijn niet, maar het moet traceerbaar zijn dat de afwijking is opgetreden en dat dit een bewuste keuze is geweest.
Beleid staat buiten de code
Wat dit onderscheidt van gangbare kwaliteitscontroles in datapipelines, is waar het beleid zich bevindt. In de meeste systemen zit de beslislogica verborgen in de code. Een engineer heeft bepaald dat een bepaalde check de verwerking stopt of niet. Die beslissing is niet leesbaar voor iemand die geen code leest, niet geregistreerd als een governance-beslissing en niet aantoonbaar vastgelegd.
In Latero Control staat het beleid in configuratie. Het is leesbaar zonder technische achtergrond, opgeslagen in versiebeheer zodat elke wijziging traceerbaar is, en gekoppeld aan de uitvoeringsregistratie. Daardoor is altijd aantoonbaar welk beleid gold op het moment dat een specifieke check werd uitgevoerd.
Als een toezichthouder vraagt waarom een verwerkingstap op een bepaalde datum is gestopt, is het antwoord beschikbaar: de betreffende check heeft gefaald, het beleid was enforce, de verwerking is gestopt, de data is niet doorgegaan naar de rapportage. Een gedocumenteerde beslissing, geen reconstructie achteraf.
Governance vraagt om zichtbaar beleid
Dit is de governance-laag die toezichthouders en interne auditfuncties verwachten. Niet alleen het resultaat van kwaliteitsbeoordelingen, maar ook het beleid dat gold op het moment van beoordeling, en het bewijs dat dat beleid consequent is toegepast.
Datakwaliteit is geen meting. Het is een reeks beslissingen over wat acceptabel is en wat niet. Die beslissingen horen expliciet, zichtbaar en aantoonbaar te zijn.