Data Engineer

Role Description

Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse.

• Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL;
• Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão;
• Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto;
• Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover;
• Implementar regras de negócio e transformações com testes automatizados;
• Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse;
• Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads;
• Contribuir com a documentação técnica das regras migradas;
• Apoiar a priorização e execução das waves de migração;

Qualifications

• Conhecimento avançado em PySpark e Python;
• Experiência com desenvolvimento de pipelines batch em larga escala;
• Conhecimento avançado em SQL;
• Experiência com modelagem de dados relacional e dimensional;
• Experiência com Databricks e Delta Lake em ambiente produtivo;
• Conhecimento em arquitetura medalhão (bronze, silver e gold);
• Experiência com Delta Live Tables, Lakeflow e Asset Bundles;
• Vivência em migração ou reconstrução de pipelines ETL;
• Experiência com tradução de regras de negócio de plataformas legadas para Spark;
• Conhecimento em ingestão CDC e batch a partir de bancos relacionais;
• Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions);
• Conhecimento em Azure Synapse (SQL Pools e Pipelines);
• Experiência com qualidade e reconciliação de dados;
• Conhecimento em testes automatizados e controles de Data Quality;
• Experiência com Git e CI/CD aplicados à engenharia de dados;

Requirements

• Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa;
• Experiência em programas de migração de Data Warehouse para Lakehouse;
• Conhecimento em Unity Catalog (permissões, lineage e contratos de dados);
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks Data Engineer Associate ou Professional;

Benefits

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.