Senior Data Engineer

Role Description

Buscamos um(a) Engenheiro(a) de Dados para atuar no programa de modernização e migração do Data Warehouse legado para um Enterprise Lakehouse Databricks. A posição será responsável por conduzir a transição dos consumidores de dados para a nova plataforma, garantindo a construção de camadas de consumo escaláveis, qualidade dos dados e validação de paridade entre o ambiente legado e a arquitetura moderna baseada em Data Mesh.

• Mapear e inventariar consumidores do Data Warehouse legado, incluindo dashboards, relatórios, aplicações e integrações sistêmicas;
• Classificar consumidores por domínio de negócio, criticidade e prioridade de migração;
• Modelar e construir marts de consumo na camada Gold seguindo padrões de arquitetura medalhão e contratos de dados;
• Executar o reapontamento de dashboards, relatórios, aplicações e integrações para a nova plataforma de dados;
• Conduzir migrações em ondas (Waves), alinhadas ao planejamento e cronograma dos domínios de negócio;
• Validar a paridade de dados entre os ambientes legado e Lakehouse antes da desativação das cargas antigas;
• Desenvolver automações para reconciliação, validação e monitoramento da qualidade dos dados;
• Atuar em conjunto com Product Owners, Arquitetos de Dados e times de negócio na priorização e execução das migrações;
• Garantir aderência aos modelos de governança, contratos de dados e padrões corporativos definidos para a plataforma;
• Contribuir para documentação técnica, definição de boas práticas e evolução contínua da arquitetura de consumo.

Qualifications

• Experiência sólida em Analytics Engineering ou Engenharia de Dados voltada para camadas de consumo analítico;
• Experiência com modelagem dimensional, Data Marts e arquitetura Kimball (Star Schema);
• Conhecimento em camada semântica, métricas certificadas e governança de indicadores;
• Experiência com Databricks, Spark SQL e Delta Lake em ambientes produtivos;
• Conhecimento da arquitetura medalhão (Bronze, Silver e Gold);
• Experiência com reapontamento e migração de soluções de BI, incluindo Power BI, Tableau ou ferramentas similares;
• Experiência na refatoração de datasets e validação de consistência entre fontes de dados;
• Vivência com integrações sistêmicas de dados, APIs, extrações batch e cargas entre sistemas;
• Conhecimento avançado em SQL para reconciliação e comparação de grandes volumes de dados;
• Experiência com Unity Catalog para lineage, descoberta e documentação de ativos de dados;
• Conhecimento em Python e PySpark para automação de validações e processos de migração;
• Experiência com Data Quality, Data Contracts e mecanismos de validação de dados;
• Capacidade analítica para identificar impactos e conduzir processos complexos de modernização de dados;

Requirements

• Experiência em projetos de migração de Data Warehouse com coexistência entre ambientes legado e plataforma moderna;
• Vivência com estratégias de cutover por ondas e reconciliação de dados em larga escala;
• Experiência em iniciativas baseadas nos princípios de Data Mesh;
• Conhecimento em ferramentas ETL legadas, como DataStage ou similares;
• Experiência com camadas semânticas, catálogos de métricas e governança analítica;
• Conhecimento em Observabilidade de dados e monitoramento da qualidade da camada de consumo;
• Experiência no mercado financeiro, bancário ou de crédito;
• Certificações Databricks, como Data Analyst Associate ou Data Engineer Associate;
• Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS);
• Experiência em programas de transformação, modernização ou migração de plataformas corporativas de dados.

Benefits

• Procuramos uma pessoa que:
• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.