En tant que Data Engineer Azure, vous contribuez à la mise en place de solutions data modernes et performantes, au service des enjeux métiers et de la stratégie data-driven.
Votre rôle
Ingestion & Traitement des données
Implémenter des solutions d’ingestion de données répondant aux différents cas d’usage métiers
Concevoir et mettre en œuvre des pipelines de données (batch et streaming) robustes et scalables
Assurer la reprise d’historique et réaliser des tests de non-régression pour garantir la qualité des données
Construction & Optimisation des plateformes Data
Participer à la mise en place et l’évolution des environnements Data Lake / Data Warehouse / Big Data
Réaliser la modélisation et la consolidation de gros volumes de données en respectant les standards et bonnes pratiques
Optimiser les traitements existants, améliorer les performances des flux et diffuser les bonnes pratiques d’usage au sein des équipes
Intégration DevOps & Industrialisation
Déployer des pipelines de données dans une approche CI/CD et dans un contexte DevOps
Gérer l’évolution des solutions proposées et assurer le support / TMA si nécessaire
Mettre en place l’automatisation des tests, du monitoring et des déploiements pour fiabiliser les solutions
Gouvernance & Documentation
Rédiger et maintenir à jour la documentation projets (DATe, DEX, …)
Contribuer à la qualité des données et à leur bonne gouvernance (catalogue, lineage, sécurité, conformité)