Data Engineer GCP (Pub/Sub, DBT)

On-siteMidData Engineerposted 5mo ago

✦Role summaryAI-generated

This role focuses on designing and maintaining scalable data pipelines using DBT and GCP services like Pub/Sub and BigQuery, with a strong emphasis on automation and batch processing in a Linux-based environment. The candidate will collaborate closely with Agile teams to deploy data-driven solutions while leveraging internal frameworks and CI/CD workflows.

Skills required

dbt BigQuery Pubsub Sql advanced Bash scripting Docker compose Gitlab ci cd Linux environment Data pipelines Batch processing SQL CI/CD Docker Bash Linux Data engineering GCP PostgreSQL Git

About this role

Le/la consultant(e) aura pour responsabilités :

Développement et maintenance des pipelines de transformation de données avec DBT.
Manipulation et traitement de gros volumes de données via BigQuery et SQL avancé.
Gestion des flux de données et intégration avec Pub/Sub.
Automatisation des workflows data via GitLab CI/CD et Docker Compose.
Développement de traitements batch pour l’alimentation et l’export des flux de données.
Mise en production des IHM génériques via inserts SQL.
Développement de scripts Shell Bash dans un environnement Linux.
Utilisation du framework interne Carrefour (Génépi).
Collaboration avec l’équipe Flux dans un environnement Agile.

Qualifications

Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente.

Expérience : +5 à 7 ans en Data Engineering.

Compétences requises :