Senior Databricks Data Engineer
The Senior Databricks Data Engineer will design and implement scalable Medallion architecture pipelines on cloud platforms, ensuring high‑performance batch and streaming data processing with Delta Lake. They will collaborate with data scientists and architects to optimize workloads, enforce data quality, and drive best practices across Azure, AWS, and GCP environments.
Skills required
About this role
Ai fini dell’ampliamento del nostro centro di competenza dedicato alla Data Engineering e all'Advanced Analytics, siamo alla ricerca di un/una Senior Databricks Data Engineer che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione, promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) all'interno dei team di progetto.
Sarai responsabile di progettare, sviluppare e implementare pipeline di dati scalabili e performanti, coordinando l'ottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect.
In scenari complessi, guiderai il design dell'architettura Medallion (Bronze, Silver, Gold) e la gestione dei Delta Lake, risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming).
In un contesto orientato all'innovazione tecnologica con un’impostazione Business Oriented, ti occuperai di:
Sviluppo Pipeline ETL/ELT: Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark, Spark SQL, Scala);
Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura;
Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog, garantendo la conformità alle policy aziendali;
Collaborazione Agile: Cooperazione con i Data Scientist per l'integrazione di modelli di Machine Learning (MLflow) e con i Power BI Developer per l'esposizione di set di dati ottimizzati (Gold Layer);
Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs, integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks).
Qualifications
Competenze richieste:
- Apache Spark
- Ecosistema Hadoop
- Programmazione Scala e Python
- Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure, con competenze nella progettazione e gestione di architetture dati cloud‑native.
- Esperto nei processi di data ingestion sia batch che streaming, orientato alle performance e alla qualità del dato.
Additional Information
LA NOSTRA PROPOSTA:
Ti offriamo l’opportunità di lavorare in un ambiente dinamico, su progetti nazionali ed internazionali, che ti permetta di approfondire continuamente le tue conoscenze e di sviluppare le tue competenze.
Se vuoi dare una spinta alla tua carriera ed entrare a far parte di una società di servizi IT leader in Europa ed in continua crescita, inviaci il tuo curriculum!
Per questa posizione è prevista una RAL (retribuzione annua lorda) compresa tra € 33.000 e € 40.000.
La sede di lavoro è ROMA con possibilità, compatibilmente con l'attività svolta, di aderire all’accordo di smart working secondo quanto previsto dalla nostra policy aziendale. E’ comunque richiesta la disponibilità a compiere trasferte sul territorio nazionale e internazionale.
Scopri Sopra Steria! Visita il nostro sito e rimani aggiornato attraverso il blog e le pagine social https://linktr.ee/SopraSteria
Il presente annuncio è rivolto ad entrambi i sessi, ai sensi delle leggi 903/77 e 125/91 e a persone di tutte le età e tutte le nazionalità, ai sensi dei decreti legislativi 215/03 e 216/03.
Tutte le regole relative ai tuoi dati raccolti in questo modo sono dettagliate nell'Informativa sulla Protezione dei Dati dei Candidati (https://www.soprasteria.it/footer/protezione_dati_candidati).
In conformità con la legislazione / i regolamenti vigenti in materia di tecnologia dell'informazione, documenti e libertà civili, hai diritti di accesso, rettifica, cancellazione, portabilità, limitazione, opposizione e definizione di istruzioni riguardanti la sorte dei tuoi Dati personali dopo la tua morte. Questi diritti saranno esercitati inviando un'e-mail al responsabile della protezione dei dati (DPO) all'indirizzo DPO.Italia@soprasteria.com o per posta a questo indirizzo: Sopra Steria Group S.p.A. - Ufficio legale - Strada 4 Palazzo A7 - 20090 Assago (MI).
Hai anche il diritto di presentare un reclamo Garante per la Protezione dei Dati Personali (Piazza di Monte Citorio n. 121 00186 Roma), se il titolare del trattamento non rispetta gli obblighi previsti dalla legislazione in vigore.
