Opbouw van het product

Hoe Latero Control werkt

Latero Control wordt niet achteraf om een pipeline heen gebouwd. Het product legt tijdens het verwerken vast wat er gebeurt, welke controles gelden en hoe data door de keten beweegt. De opzet is bewust helder: een vaste kern, expliciet kwaliteitsbeleid, adapters voor het platform en een read store waaruit de applicatie leest.

Vier lagen met elk een eigen verantwoordelijkheid

Latero Control is zo opgebouwd dat verantwoordelijkheden gescheiden blijven. Bovenaan staat de applicatie die metadata leesbaar maakt. Daaronder zit de kern die vastlegt en beoordeelt. De integratielaag verbindt uw eigen omgeving met die kern. De platformlaag regelt de aansluiting op Databricks. Snowflake volgt binnenkort.

De applicatie Biedt toegang tot pipeline-uitvoering, kwaliteitscontroles en lineage via een eigen read store. Leest alleen en schrijft nooit terug naar de bronplatformen.

De Latero-kern Bevat de vaste logica van het product: hoe beleid wordt toegepast, hoe verwerkingen worden geregistreerd en hoe controle wordt vastgelegd. Deze kern is platformonafhankelijk.

De integratielaag Sluit aan op uw eigen omgeving. Hier zitten configuratie, contracten en eventuele config bridge vanuit bestaande afspraken. Deze laag blijft van u.

De platform-adapters Vormt de aansluiting op het platform. Hiermee werkt Latero Control op Databricks en kan dezelfde kern via andere adapters worden aangesloten zonder dat de control-logica hoeft te veranderen.

Vier lagen van Latero Control: van applicatie via de kern en integratie naar platformspecifieke aansluiting.
Latero Control
Laag 1 Applicatie Latero Control
pipeline monitoringdatakwaliteitlineage explorer
Laag 2 Latero kern latero.framework
beleidregistratiecontrolelogica
Uw organisatie
Laag 3 Integratielaag Uw omgeving
configuratiedatacontractenbestaande afspraken
Laag 4 Platformlaag latero.adapters.*
Databricks Delta en Unity Catalog
Snowflake Binnenkort beschikbaar

In de praktijk volgt een implementatie een vaste volgorde. Daardoor blijft het gedrag voorspelbaar en wordt controle niet verspreid over losse scripts.

  1. Verbind uw configuratie met Latero Control De aansluiting op uw bestaande structuur gebeurt in de integratielaag.
  2. Controleer de inrichting Zorg dat omgeving, verwijzingen en profielen kloppen.
  3. Leg het kwaliteitsbeleid vast Bepaal welke controles blokkeren en welke signaleren.
  4. Leg tijdens het draaien bewijs vast Verwerkingen, controles en herkomst worden direct geregistreerd.

Eerst duidelijkheid over de inrichting, daarna pas registratie en toepassing.

Wat blokkeert en wat signaleert ligt vast

Kwaliteitsbeleid zit niet verborgen in code. Latero Control maakt expliciet welke controles ingrijpen en welke bedoeld zijn als signaal.

BeleidBij afwijkingGevolg
Blokkerend Ja De verwerking stopt zodat onbetrouwbare data niet doorgaat
Signalerend Ja De verwerking gaat door, maar de afwijking wordt vastgelegd
n.v.t. Nee Ook geslaagde controles worden vastgelegd

Beleid wordt hiermee een expliciete keuze. Achteraf is altijd zichtbaar welke regel gold tijdens een uitvoering.

Databricks direct inzetbaar, Snowflake volgt binnenkort

Latero Control werkt vandaag volledig met Databricks: synchronisatie, connectivity checks en de volledige ingest-keten zijn direct beschikbaar. Snowflake staat op de roadmap en volgt binnenkort.

De Databricks-adapter Direct inzetbaar voor omgevingen met Unity Catalog en Delta-tabellen. Synchronisatie naar de read store, server-side connectivity checks en de volledige ingest-keten zijn beschikbaar zonder extra configuratie.

De Snowflake-adapter Snowflake staat op de roadmap. De kern is platform-agnostisch opgezet, zodat de aansluiting kan worden toegevoegd zonder dat de control-logica of het kwaliteitsbeleid hoeft te veranderen.

Wat Latero Control vastlegt

Latero Control slaat drie soorten bewijs op in zijn eigen store: uitvoering, kwaliteit en herkomst. Die gegevens zijn direct beschikbaar in de applicatie: als pipeline-overzicht, kwaliteitsdashboard en lineage-explorer.

Pipeline-uitvoering

Welke stappen zijn gedraaid, met welke uitkomst en wanneer

Kwaliteitscontroles

Welke controles zijn uitgevoerd, wat het beleid was en hoe ze zijn beoordeeld

Lineage

Hoe data van bron naar doel beweegt en waar een afwijking is ontstaan

Wilt u Latero Control evalueren in uw eigen omgeving?

We bespreken graag hoe Latero Control aansluit op uw dataplatform, hoe de Databricks-koppeling eruitziet en waar het direct waarde toevoegt.

Neem contact op