Analista de QA Sênior (Testes de Sistemas com IA no Varejo)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Varejo) . A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Nível: senior. Modelo de trabalho: 100% Remoto. Contratação: tempo integral, CLT ou PJ. Sobre a vaga: O varejo colocou IA em três lugares: um assistente que responde dúvidas de cliente no aplicativo, uma classificação de chamados internos e uma recomendação de produtos. Testar esse tipo de sistema é diferente de testar um cadastro, porque a mesma pergunta pode ter respostas diferentes e o erro pode ser sutil: um prazo de troca inventado, um desconto citado que não existe, um dado de outro cliente aparecendo na resposta. Você define a estratégia de qualidade para esses sistemas. Isso quer dizer montar conjuntos de casos dourados com respostas aceitáveis, avaliar com regras determinísticas onde der e com revisão humana calibrada onde não der, testar injeção de instruções maliciosas no texto do cliente, verificar vazamento de dados pessoais, e medir degradação quando o modelo ou o prompt muda. Automatiza a regressão no pipeline e cuida dos testes tradicionais das APIs e da interface ao redor do modelo. Os indicadores: taxa de respostas com informação incorreta, cobertura de casos dourados por tema, regressões encontradas antes de produção, tempo de resposta sob carga e custo por conversa. O que você vai fazer: Definir a estratégia de testes para sistemas com IA, separando o que é determinístico do que exige avaliação Construir e manter conjuntos de casos dourados por tema, como troca, garantia, preço e entrega Automatizar testes de API com Postman e Rest Assured e de interface com Playwright ou Cypress Testar a resistência a injeção de instruções, pedidos fora de escopo e tentativas de extrair dados Medir desempenho e custo sob carga com k6 Integrar a regressão da avaliação ao pipeline

CI/CD

com limites para bloquear a entrega Registrar defeitos com a pergunta, a resposta e o critério violado Orientar o time na escrita de casos de teste e na leitura dos resultados Requisitos: Estratégia de testes e automação de API e de interface em nível sênior Entendimento do comportamento de modelos de linguagem e de suas falhas típicas Capacidade de desenhar casos de avaliação objetivos para respostas abertas Integração de testes em CI/CD e uso de Git SQL para preparar e conferir dados Orientação de outras pessoas e decisão sobre o que bloqueia uma versão Diferenciais: Teste de segurança de aplicações com modelos de linguagem Experiência com ferramentas de avaliação de LLM Teste de carga com k6 Conhecimento da LGPD aplicada a testes Experiência com testes de recomendação ou de busca Como é trabalhar aqui: Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. A qualidade participa da definição do que é uma resposta aceitável desde o início, junto a produto e engenharia. Os resultados de avaliação ficam visíveis no pipeline para todo o time. Na candidatura, informe a sua pretensão salarial. Benefícios oferecidos pela empresa contratante: Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe Trabalhe de qualquer lugar, com liberdade e flexibilidade Conexão global: convivência com times de diferentes países e culturas Apoio à saúde física com TotalPass e Mediquo Cuidado com a saúde mental pelo programa Team Care Contratação e jornada definidas com a empresa contratante Tecnologias envolvidas: Playwright Cypress Postman Rest Assured k6 CI/CD SQL Git Avaliação de LLM Teste de IA Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido. #J-18808-Ljbffr Sylision