Data Engineer / Big Data (H/F) – Expert GCP, Kafka, Spark, Scala, Cassandra

On-siteSeniorData Engineerposted 1mo ago

✦Role summaryAI-generated

ALTEN seeks an experienced Data Engineer to build and scale data pipelines on GCP using Kafka, Spark, and Cassandra. The role focuses on optimizing performance, ensuring reliability, and collaborating with Data Science and DevOps teams.

Skills required

Kafka Spark Cassandra GCP Scala BigQuery Dataflow Dataproc Data science DevOps Python Airflow Docker Kubernetes CI/CD

About this role

Nous recherchons un(e) Data Engineer passionné(e) par le Big Data et les architectures distribuées pour concevoir, optimiser et déployer des solutions data à grande échelle.

Missions principales :

Concevoir, développer et maintenir des pipelines data robustes et scalables.
Travailler sur des architectures distribuées (Kafka, Spark, Cassandra).
Optimiser les traitements de données sur GCP (BigQuery, Dataflow, Dataproc, etc.).
Collaborer avec les équipes Data Science et DevOps pour industrialiser les solutions.
Assurer la performance, la fiabilité et la sécurité des infrastructures data.

Qualifications

Expérience : Minimum 5 ans en tant que Data Engineer ou Big Data Engineer.

Compétences techniques obligatoires :
- Maîtrise de GCP (Google Cloud Platform) et de ses services (BigQuery, Pub/Sub, Dataflow, etc.).
- Expérience confirmée avec Apache Kafka (streaming, connecteurs).
- Expertise en Spark (PySpark ou Scala) pour le traitement distribué.
- Connaissance approfondie de Scala ou Python pour le développement.
- Expérience avec Cassandra (modélisation, requêtes, optimisation).
Atouts supplémentaires :
- Connaissance des outils de monitoring (Prometheus, Grafana).
- Expérience avec Airflow, Docker, ou Kubernetes.
- Familiarité avec les bonnes pratiques DevOps (CI/CD, IaC).
Soft skills :
- Esprit d’équipe, autonomie et capacité à résoudre des problèmes complexes.
- Bonne communication pour collaborer avec les métiers et les équipes techniques.