Senior DevOps (DataOps) Engineer

Informatievoorziening is het team binnen het Kadaster voor Data Engineering. Data wordt verzameld uit diverse bronnen, geanalyseerd, en beschikbaar gesteld voor derden. Dit gebeurt via data-export (kopie van data naar andere Postgres DB's) en REST API's (FastAPI).

Het team onderhoudt de ELT- en ETL-processen. Het gebruik van Databricks krijgt een steeds prominentere rol binnen dit team en het Kadaster.

Je komt als Senior DevOps Engineer te werken in een relatief nieuw team. Dit team is ontstaan vanuit de visie om als Kadaster meer datagericht te werken. Momenteel zijn we vooral bezig met het migreren van bestaande software naar een Cloud(ready) omgeving. In de toekomst zal het werk meer gericht zijn op Data Engineering. De focus ligt in eerste instantie op het migreren van de Jenkins pipelines naar ons eigen DevOps-platform (MAP) op basis van Tekton, Docker, Terraform, ArgoCD en Helm-charts.

Binnen de dienst zijn momenteel veel oplossingen per punt, met één DevOps-pipeline per oplossing. Het doel is om over te stappen naar ons MAP-platform en generieke DevOps-pipelines te maken, waardoor ons beheer aanzienlijk wordt vereenvoudigd.

Belangrijkste technieken, methoden en tools:

• Python
• Databricks
• Dbt
• SQL (PostgreSQL/SparkSQL)
• PySpark
• FastAPI-server
• Docker
• Prefect
• Kubernetes
• CI/CD-tooling (Git/Gitea, Tekton en ArgoCD)
• Artifactory
• Azure Container Registry
• Azure Datalake
• PostgreSQL-database
• Microsoft Azure
• Tekton
• OpenShift

Verantwoordelijkheden:

• Werken in een Agile/DevOps-omgeving
• Overleggen over ontwerpkeuzes/oplossingen
• Peer-reviewen en borgen van kennis (documentatie en kennisdeling)
• Actief ontwikkelen aan de verschillende componenten van het platform
• Actief beheren en monitoren van hoogbeschikbare componenten