Especialista em Inteligência Artificial (Qualidade de IA em Bancos Digitais)

Nível: senior Modelo de trabalho: 100% Remoto Contratação: tempo integral, CLT ou PJ Sobre a vaga: Depois de alguns meses com modelos de IA em produção, um banco digital percebe que a qualidade não é um estado, é uma variável que muda. O modelo de crédito perde calibração, o assistente de atendimento responde bem a perguntas antigas e mal às novas, o classificador de fraude erra em um perfil que cresceu. Ninguém vê, porque o acompanhamento mede disponibilidade, e não acerto. Como especialista, você vai definir o que significa qualidade de IA para cada sistema e como ela é medida continuamente: indicadores de desempenho, deriva de dados e de conceito, amostragem para revisão humana, limites que disparam alerta e política de retreino ou de retirada. A conversa inclui produto, risco e jurídico, que precisam entender o que a medida diz e o que não diz. Também cabe a você decidir o que merece avaliação rigorosa e o que não. O resultado é medido por problemas detectados antes de o cliente sentir, tempo de reação e clareza dos relatórios para quem responde pelo risco. O que você vai fazer: Definir indicadores de qualidade por sistema de IA, ligando cada um ao impacto no cliente Desenhar o monitoramento de deriva, calibração e desempenho por segmento Estabelecer amostragem e rotina de revisão humana para saídas de alto risco Definir limiares, responsáveis e passos de resposta para cada alerta Orientar engenheiros na instrumentação e na avaliação de novos modelos Conduzir revisões de qualidade com produto, risco e jurídico Estabelecer critérios de retreino, de retorno a versão anterior e de desligamento de um modelo Documentar limites de uso de cada modelo para quem toma decisão Requisitos: Visão sistêmica de qualidade de modelos de aprendizado de máquina e de LLMs em produção Domínio de métricas de desempenho, calibração e justiça entre grupos Capacidade de projetar monitoramento de deriva com dados reais e ruidosos Entendimento de risco de modelo em ambiente regulado Comunicação com pessoas de risco, jurídico e produto, sem jargão desnecessário Orientação de engenheiros por revisão e por exemplo Diferenciais: Experiência com modelos de crédito, fraude ou atendimento financeiro Conhecimento de gestão de risco de modelo e de documentação de validação Prática com rotinas de revisão humana em escala Familiaridade com plataformas de observabilidade de modelos Como é trabalhar aqui: Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. A qualidade de cada sistema de IA tem dono nomeado e uma revisão periódica com participação de produto e de risco. Os pareceres são curtos, com evidência anexada e recomendação objetiva. O trabalho combina atuação direta nas decisões e mentoria de engenheiros, sem esconder dúvida quando ela existe. Benefícios oferecidos pela empresa contratante: Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe Trabalhe de qualquer lugar, com liberdade e flexibilidade Conexão global: convivência com times de diferentes países e culturas Apoio à saúde física com TotalPass e Mediquo Cuidado com a saúde mental pelo programa Team Care Contratação e jornada definidas com a empresa contratante Tecnologias envolvidas: Python LLMs MLOps Avaliação de modelos Governança de IA Monitoramento Nuvem PyTorch Git Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido. #J-18808-Ljbffr Sylision