Data Engineer GCP (Pub/Sub, DBT)

On-siteSeniorData Engineerposted 5mo ago

✦Role summaryAI-generated

This role focuses on designing and maintaining scalable data pipelines using DBT and Pub/Sub, with a strong emphasis on BigQuery and SQL for large-scale data transformations. The candidate will collaborate in an Agile environment to automate workflows and optimize data ingestion/export processes for a retail-focused framework.

Skills required

dbt BigQuery Pubsub Sql advanced Gitlab cicd Docker compose Bash scripting Linux environment Data pipelines Batch processing SQL CI/CD Docker Bash Linux Data engineering GCP PostgreSQL Git

About this role

Le/la consultant(e) aura pour responsabilités :

Développement et maintenance des pipelines de transformation de données avec DBT.
Manipulation et traitement de gros volumes de données via BigQuery et SQL avancé.
Gestion des flux de données et intégration avec Pub/Sub.
Automatisation des workflows data via GitLab CI/CD et Docker Compose.
Développement de traitements batch pour l’alimentation et l’export des flux de données.
Mise en production des IHM génériques via inserts SQL.
Développement de scripts Shell Bash dans un environnement Linux.
Utilisation du framework interne Carrefour (Génépi).
Collaboration avec l’équipe Flux dans un environnement Agile.

Qualifications

Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente.

Expérience : +7 ans en Data Engineering.

Compétences requises :