Senior Databricks Data Engineer

Descrizione del lavoro Per l’ampliamento del nostro centro di competenza dedicato alla Data Engineering e all'Advanced Analytics, siamo alla ricerca di un/una Senior Databricks Data Engineer che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione, promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) all’interno dei team di progetto. Sarai responsabile di progettare, sviluppare e implementare pipeline di dati scalabili e performanti, coordinando l'ottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect. In scenari complessi, guiderai il design dell'architettura Medallion (Bronze, Silver, Gold) e la gestione del Delta Lake, risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming). In un contesto orientato all'innovazione tecnologica con un’impostazione Business Oriented , ti occuperai di: Sviluppo Pipeline ETL/ELT: Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark, Spark SQL, Scala). Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura. Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog, garantendo la conformità alle policy aziendali. Collaborazione Agile: Cooperazione con i Data Scientist per l'integrazione di modelli di Machine Learning (MLflow) e con i Power BI Developer per l'esposizione di set di dati ottimizzati (Gold Layer). Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs, integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks). Competenze richieste: Apache Spark Programmazione Scala e Python Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure, con competenze nella progettazione e gestione di architetture dati cloud‑native. Esperto nei processi di data ingestion sia batch che streaming, orientato alle performance e alla qualità del dato. Ulteriori informazioni Location: ROMA (Roma Centro). Possibilità di smart working secondo la policy aziendale, con disponibilità a trasferte sul territorio nazionale e internazionale. Il presente annuncio è rivolto ad entrambi i sessi, ai sensi delle leggi 903/77 e 125/91 e a persone di tutte le età e tutte le nazionalità, ai sensi dei decreti legislativi 215/03 e 216/03. Tutte le regole relative ai tuoi dati raccolti in questo modo sono dettagliate nell'Informativa sulla Protezione dei Dati dei Candidati ( In conformità con la legislazione / i regolamenti vigenti in materia di tecnologia dell'informazione, documenti e libertà civili, hai diritti di accesso, rettifica, cancellazione, portabilità, limitazione, opposizione e definizione di istruzioni riguardanti la sorte dei tuoi Dati personali dopo la tua morte. Questi diritti saranno esercitati inviando un'email al responsabile della protezione dei dati (DPO) all'indirizzo View email address on click.appcast.io o per posta a questo indirizzo: Sopra Steria Group S.p.A. - Ufficio legale - Strada 4 Palazzo A7 - 20090 Assago (MI). Hai anche il diritto di presentare un reclamo Garante per la Protezione dei Dati Personali (Piazza di Monte Citorio n. 121 00186 Roma), se il titolare del trattamento non rispetta gli obblighi previsti dalla legislazione in vigore. #J-18808-Ljbffr Soprasteria