Analista de QA Sênior (Testes de Sistemas com IA em Bancos Digitais)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA em Bancos Digitais) . A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Nível: senior. Modelo de trabalho: 100% Remoto. Contratação: tempo integral, CLT ou PJ. Sobre a vaga: Um banco digital colocou em produção um assistente conversacional que responde dúvidas sobre fatura e limite e um modelo que sugere limite de crédito. Testar esses sistemas não é como testar um formulário: a resposta muda de uma execução para outra, um ajuste de prompt pode quebrar um caso que funcionava e o modelo de crédito pode se comportar diferente para certos grupos de clientes. Você vai definir e liderar a estratégia de qualidade para esse tipo de sistema. A estratégia inclui conjuntos de casos de referência com resposta esperada e critério de avaliação, testes de regressão a cada mudança de modelo ou de prompt, testes adversariais para tentativa de extrair dado de outro cliente ou de burlar regra, verificação de limites do que o assistente pode prometer e análise de desempenho entre grupos. Também há a parte tradicional: contrato das APIs, interface do aplicativo e carga. O que você vai fazer: Definir a pirâmide de testes para sistemas com modelos, do componente à ponta a ponta Montar e manter conjuntos de casos de referência para o assistente e para o modelo de limite Automatizar regressão de qualidade a cada mudança de modelo, de prompt ou de dados Criar testes adversariais para vazamento de dado, injeção de instrução e promessa indevida Medir desempenho do modelo por grupo de clientes e levar os achados ao risco Integrar os testes ao pipeline com critérios que bloqueiam a publicação Orientar o time de QA e de engenharia e relatar indicadores de qualidade Requisitos: Automação de testes de API e de interface com ferramentas como Playwright, Cypress e Postman Integração de testes ao

CI/CD

e leitura de métricas de qualidade Entendimento de como modelos de linguagem e modelos de classificação falham Desenho de conjuntos de avaliação e de critérios de aceite para respostas não determinísticas SQL para preparar e conferir dados de teste Experiência em orientar outras pessoas e em definir padrão Diferenciais: Conhecimento de avaliação de viés e de equidade em modelos Uso de testes de carga com k6 Noção de segurança de aplicações com modelos de linguagem Familiaridade com observabilidade para rastrear respostas ruins em produção Como é trabalhar aqui: Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Os critérios de liberação ficam documentados e você tem voz decisiva em segurar uma entrega que não os cumpra. As falhas encontradas em produção voltam como novos casos de referência na semana seguinte. Benefícios oferecidos pela empresa contratante: Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe Trabalhe de qualquer lugar, com liberdade e flexibilidade Conexão global: convivência com times de diferentes países e culturas Apoio à saúde física com TotalPass e Mediquo Cuidado com a saúde mental pelo programa Team Care Contratação e jornada definidas com a empresa contratante Tecnologias envolvidas: Playwright Cypress Postman Rest Assured k6 CI/CD SQL Git Testes de modelos Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido. #J-18808-Ljbffr Sylision