IT-specialist voor gegevensintegratie

De migratie van de dienst Informatie Voorziening naar de nieuwe IT Infrastructuur heeft een groot deel van 2024 zijn beslag gehad. Hierdoor zijn enkele opdrachten voor onze klant niet uitgevoerd en is geen ruimte geweest voor onderhoud. Deze werkzaamheden moeten nu alsnog uitgevoerd worden, er ontbreekt specifieke kennis binnen het team.

1. Aansluiten op het Digitale Stelsel Omgevingswet (DSO).
2. Ophalen van ruimtelijke plannen bij de DSO voor Geo Data Services. Hiervoor dienen diverse Python dataproducten omgebouwd te worden om de DSO als bron te gebruiken.
3. Aansluiten op DataHub.
4. Doel is dat Informatie Voorzieningen uiteindelijk de data van alle basisvoorzieningen ophaalt uit Datahub.
5. Leveren van een aantal nieuwe producten als onderdeel van de dienst Informatie Voorziening, zoals de buurtzoeker, indicator verdiepingshoogtes, Afstanden tot API, Staatseigendommen OGC API.
6. Bijdrage aan LifeCycleManagement (LCM), borgen dat alle tooling weer up-to-date is.
7. Voor diverse Phyton producten dient een architectuur opgesteld te worden welke uitbreidbaar is met meerdere Pipeline’s en API’s. De opdrachtnemer maakt een LCM plan voor het onderhouden en bijhouden van de bestaande tooling.
8. Migratie van Oracle naar Postgres
9. Er loopt een project om Oracle uit te faseren. Hiervoor dienen pipelines herontworpen te worden, en omgebouwd te worden naar een andere databron.
10. Kennis hiervan dient te worden geborgd en te worden overgedragen aan het team Informatie Voorziening. 

Belangrijkste technieken, methoden en tools

• Oracle, PostgreSQL en Databricks SQL  / SparkSQL
• Python
• Mirantis/Kubernetes
• Prefect
• FastAPI
• OGC API’s
• Databricks
• DBT
• Azure
• Python
• Open Shift
• Tekton

Verantwoordelijkheden

De belangrijkste verantwoordelijkheden zijn

• Data pipelines zijn toekomst vast ontworpen.
• API’s zijn beschikbaar voor interne en externe afnemers.
• PII data wordt vertrouwelijk en middels het least privilige principe verwerkt.
• Databricks is veilig, schaalbaar en kosten efficiënt ingericht.
• Borgen dat de kennis is overgedragen aan het interne team.
• Oracle is uitgefaseerd.

De op te leveren resultaten zijn

• Datapipelines bevatten data uit het DSO – Oplevering eind februari 2025.
• BAG-Data zoals hierboven beschreven onder de opdrachtomschrijving wordt afgenomen vanuit DataHub – Oplevering eind april 2025.
• De nieuwe producten (buurtzoeker, indicator verdiepingshoogtes, afstanden tot API, staatseigendommen OGC API) zijn opgeleverd – oplevering eind juni 2025.
• Alle tooling is up-to-date – oplevering eind augustus 2025.
• Oracle is uitgefaseerd – oplevering eind oktober 2025.
• Kennis is overgedragen aan vaste team – oplevering eind december 2025.