Analista de QA Sênior (Testes de Sistemas com IA no Setor de Energia)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Setor de Energia) . A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Nível: senior. Modelo de trabalho: 100% Remoto. Contratação: tempo integral, CLT ou PJ. Sobre a vaga: Sistemas com IA no setor de energia estimam consumo, detectam fraude em medição e priorizam ordens de serviço. Diferente de software comum, a mesma entrada pode gerar saídas diferentes, o desempenho muda com o dado novo e uma regressão silenciosa pode mandar equipe a campo para o lugar errado. Você define a estratégia de qualidade para esses sistemas: conjuntos de teste dourados e versionados, testes de regressão do modelo a cada mudança, checagem de limites (consumo negativo, medidor sem leitura), testes com dado ruidoso, e verificação de viés entre regiões e perfis de cliente. Também cobre o contrato das APIs e o comportamento quando o modelo não responde. Os indicadores de qualidade são a cobertura do conjunto dourado, a queda de métrica entre versões, o número de falhas encontradas antes da produção e o tempo para detectar uma degradação. Como sênior, você define o padrão e orienta os times a testar o que é probabilístico. O que você vai fazer: Montar e versionar conjuntos dourados com casos típicos e de borda Automatizar regressão de modelo com limites de queda de métrica que bloqueiam a entrega Testar o comportamento com dado ruidoso, ausente e fora de faixa Verificar desempenho por região, tipo de cliente e faixa de consumo Testar contrato de API e comportamento quando o modelo falha ou demora Integrar as verificações ao pipeline e publicar os resultados Criar alertas para degradação depois da implantação Orientar desenvolvedores e cientistas na estratégia de teste de sistemas com IA Requisitos: Estratégia de testes para sistemas não determinísticos e métricas de modelo Automação de testes de API e de integração em pipeline Python para escrever verificações e ler resultados de modelos SQL para validar dados de entrada e de saída Noção de viés, deriva e avaliação de LLM ou de modelos preditivos Comunicação objetiva de risco a produto e engenharia Diferenciais: Ter testado modelos de classificação, de previsão ou LLMs Experiência com testes de dados em fluxos de ingestão Conhecimento de leitura de medidores e ordens de serviço Ter definido critérios de aceite de modelo antes da implantação Como é trabalhar aqui: Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. A equipe revisa os critérios de aceite em conjunto com quem constrói o modelo, e os resultados de qualidade são publicados a cada versão. Benefícios oferecidos pela empresa contratante: Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe Trabalhe de qualquer lugar, com liberdade e flexibilidade Conexão global: convivência com times de diferentes países e culturas Apoio à saúde física com TotalPass e Mediquo Cuidado com a saúde mental pelo programa Team Care Contratação e jornada definidas com a empresa contratante Tecnologias envolvidas: Python Postman

CI/CD

SQL Avaliação de LLM Playwright Testes de regressão Git Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido. #J-18808-Ljbffr Sylision