Senior Data Engineer

Role Description

A e-Core atua no desenvolvimento de soluções digitais e iniciativas estratégicas por meio de projetos específicos, conectando experiência especializada às necessidades de cada entrega. Para um projeto determinado, buscamos pessoa jurídica prestadora de serviços, com experiência técnica compatível com o escopo descrito abaixo, para atuação orientada a resultados e entregas previamente acordadas.

O prestador Engenheiro de Dados será responsável por toda a entrega técnica, desde a construção do pipeline até a transferência de conhecimento. Esse é um projeto de engenheiro único — toda a entrega técnica é sua responsabilidade: decisões de arquitetura, qualidade do build e garantir que o handover saia redondo. Coordenação direta com o time técnico interno do cliente desde o dia 1 — a disponibilidade deles é uma dependência real do cronograma.

Scope of Services

• Fase 1 — Fundação & Pipeline de EL (Semanas 1–6)
  • Projetar e implementar o pipeline de EL do Data Share Snowflake do provedor de ERP para a instância Snowflake própria do Cliente no Azure East US;
  • Configurar Snowflake Tasks;
  • Construir contratos de schema em dbt, testes automatizados (contagem de linhas, verificação de nulos, integridade referencial) e catálogo de dados auto-gerado — aplicação de qualidade, não transformação;
  • Implementar a carga histórica completa inicial a partir do Snowflake do provedor de ERP, seguida de execuções incrementais diárias — a arquitetura deve suportar aumento de frequência (2x/dia ou a cada 8 horas) sem necessidade de rearquitetura;
  • Apoiar o redirecionamento de feeds não relacionados ao ERP (sistema de aluguel, RH, outras integrações) do Snowflake do provedor de ERP para a instância Snowflake própria do Cliente — trabalhando junto à equipe interna do Cliente, que executará as mudanças.
• Fase 2 — QA, Documentação & Handover (Semanas 5–9)
  • Validar a qualidade completa dos dados nas 159 tabelas — fidelidade de schema, contagem de linhas, precisão das execuções incrementais;
  • Produzir runbooks operacionais completos: como monitorar o pipeline, reiniciar tasks com falha, adicionar novas tabelas e estender o cronograma de incrementais;
  • Conduzir sessões estruturadas de transferência de conhecimento (KT) com a equipe interna do Cliente — o objetivo é independência total a partir do primeiro dia (Day 1);
  • Apoiar o período de hypercare de 30 dias — responder a problemas no pipeline, monitorar alertas e encerrar o engajamento.

Qualifications

• Snowflake na prática — já ter construído e operado pipelines em produção, com Snowflake Tasks, dynamic tables e modelagem de schema;
• Snowflake especificamente no Azure (East US ou equivalente) — experiência só com AWS não cobre esse projeto;
• dbt — experiência em produção utilizando dbt para contratos de schema, testes automatizados e geração de documentação (não apenas transformação);
• Domínio sólido de padrões de EL/ETL: carga incremental, change data capture, agendamento de pipeline;
• SQL — nível avançado de SQL no Snowflake; capacidade de validar dados em escala e escrever queries incrementais eficientes;
• Inglês — inglês escrito e falado em nível avançado;
• Conhecimento de rede no Azure: private endpoints, configuração de VNet e como isso tudo se conecta com o Snowflake;
• Documentação de dados — experiência na produção de documentação de mapeamento de campos e runbooks operacionais que stakeholders não-técnicos consigam seguir;
• Design de pipeline incremental — experiência prática no design de pipelines que suportem aumento de frequência (diário → múltiplas vezes ao dia) sem necessidade de reconstrução.

Desired Differentials

• Experiência em ambientes de dados de varejo, e-commerce ou ERP (SAP, Oracle Retail ou similar);
• Snowflake Data Share — experiência consumindo ou produzindo Snowflake Data Shares;
• Python — para scripts relacionados a orquestração de pipeline ou validação de dados.

Model of Operation

• Modalidade: 100% remoto;
• Regime: Pessoa Jurídica (PJ);
• Forma de atuação: Prestação de serviços;
• Dedicação estimada: full-time pelas 9 semanas do projeto;
• Prazos do projeto: 9 semanas;
• A prestação de serviços não estabelece vínculo empregatício, subordinação, habitualidade ou exclusividade, sendo regida por contrato específico entre as partes.

Privacy

Ao enviar uma inscrição, reconheço que li e entendi a Política de Privacidade da e-Core.