Engenharia de IA Generativa - Pleno/Sênior

Descrição

Buscamos uma pessoa focada na engenharia de IA Generativa para atuar diretamente com nosso time de tecnologia, impulsionando a evolução dos produtos de IA Generativa. Seu papel será instrumentar e coletar dados de funcionamento dos sistemas, transformá\-los em métricas e análises acionáveis e orientar decisões de produto e de negócio para aumentar qualidade, segurança, eficiência e impacto. **Suas principais responsabilidades** ------------------------------------- * Instrumentar o produto de ponta a ponta: definir eventos, logs e telemetria de conversas/consultas, garantindo privacidade e conformidade (LGPD). * Construir e manter pipelines de dados e camadas semânticas que consolidem uso, custo, latência, satisfação e qualidade de respostas. * Definir e acompanhar métricas\-chave de LLM e de produto: taxa de resolução, groundedness/factualidade, hallucination rate, cobertura de RAG, retenção, NPS, custo por sessão e SLA de latência. * Desenvolver frameworks de avaliação offline/online: datasets de referência, rubricas de avaliação, feedback humano (HITL), autoavaliação com LLM e testes de regressão. * Conduzir experimentos A/B e análises causais; traduzir resultados em recomendações claras de priorização e ganhos estimados. * Criar dashboards e sistemas de alerta para stakeholders de produto, engenharia e negócio. * Colaborar com PMs para melhorar prompts, arquitetura de agentes, RAG e bases de conhecimento. * Apoiar a governança do RAG: curadoria de fontes, chunking/embedding, deduplicação e versionamento. * Monitorar e otimizar eficiência: escolha/versão de modelos, tamanho de contexto, caching, custo e latência. Mapear causas\-raiz de erros e estruturar taxonomias para orientar roadmap e mitigação de riscos (segurança, toxicidade...) * **Requisitos Essenciais:** -------------------------- * Graduação em Engenharia, Ciência da Computação, Matemática, Estatística ou áreas correlatas. * 5\+ anos de experiência em ML/Data/Analytics aplicada a produtos digitais. * Vivência com produtos de IA Generativa (LLMs) e suas métricas; experiência com OpenAI/Azure/Open Source ou provedores equivalentes. * Sólidos conhecimentos em Python e SQL. * Experiência com instrumentação e tracking de eventos (ex.: Segment, Amplitude, Mixpanel, GA4\) e pipelines/orquestração (ex.: Airflow, Prefect, dbt). * Prática em experimentação e avaliação: A/B testing, desenho experimental e análise estatística. * Experiência criando dashboards (ex.: Looker, Metabase, Power BI, Databricks SQL) e relatórios executivos. * Conhecimento de RAG, embeddings e versionamento de prompts/datasets. * Comunicação clara, mentalidade de produto e orientação a impacto. **Como você pode nos surpreender** ---------------------------------- * Observabilidade de LLMs (ex.: Langfuse, Helicone, Arize, WhyLabs, Evidently, MLflow, Weights \& Biases). * Ferramentas/fundamentos de LLM apps (LangChain, LlamaIndex), vetores (Pinecone, Weaviate, FAISS, Milvus). * Tracing e monitoramento (OpenTelemetry, Datadog) e governança/segurança de dados (LGPD, PII redaction). * Otimização de custo/performance de LLMs e design de guardrails/moderação. * Conhecimento do mercado financeiro/investimentos. * Inglês/Espanhol para colaboração e leitura técnica. **Benefícios** **Benefícios que fazem a diferença na sua jornada com a gente!** Aqui, a experiência do colaborador é levada a sério, do bem\-estar à carreira, passando por momentos importantes da vida. Confira o que te espera: **Vale Refeição e Alimentação (Pluxee)** Uso flexível para você administrar da forma que preferir: supermercado, restaurante, delivery… você escolhe! **Plano de Saúde** Convênios de qualidade com Bradesco ou Unimed Nacional, sem coparticipação. Porque saúde boa é saúde acessível. **Plano Odontológico (Odontoprev)** Cuide do seu sorriso com tranquilidade e cobertura completa! **Saúde Pet (Doglife)** Seu pet também faz parte da família! Oferecemos parceria para plano de saúde exclusivo para ele **Saúde Mental \& Bem\-estar** Sessões de terapia gratuitas com a Wellz e acesso a academias e aulas online com a Wellhub. Corpo e mente em equilíbrio! **Desenvolvimento Contínuo** Acesso gratuito ao LinkedIn Learning e parcerias com escolas como Open English e The English Academy. Somos fintech e incentivamos a inovação com a Rockeseat Santander Open Academy. **Auxílio\-Creche** Para apoiar quem cuida de quem mais precisa. **Inclusão \& Diversidade** * Licença maternidade de 6 meses e paternidade de 20 dias * Auxílio\-creche vitalício para filhos com deficiência * Onboarding inclusivo para pessoas com deficiência * Reembolso de materiais e períféricos que garantem a acessibilidade **Day Off de Aniversário** Um dia todinho seu, para aproveitar como quiser! **Programa de Indicação (TalenToro)** Indicou alguém com o nosso DNA? Você ganha com isso! **Plataforma de Gamificação** Na nossa plataforma de cultura \#Valorize, você consegue acumular **Torocoins para trocar por vales educação ou resgatar prêmios incríveis em nossa loja.** Conquistas \+ engajamento \= prêmios e experiências únicas **Reembolso de Certificações** Cobrimos o custo de certificações obrigatórias para o seu cargo. Investimos no seu crescimento! **Auxílio Home Office** Reembolso de cadeira, mesa e periféricos para garantir conforto e produtividade na sua jornada remota. **PLR – Participação nos Lucros e Resultados** Seu esforço é reconhecido — e valorizado! **A MELHOR COMBINAÇÃO DE PESSOAS E TECNOLOGIA ❤️** -------------------------------------------------- **Somos uma das maiores fintechs de investimentos do mundo!** Fazemos parte do **Santander**, o maior banco da Zona do Euro e estamos dobrando de tamanho a cada ano. Nosso propósito é **gerar liberdade financeira para as pessoas**, sendo a ponte entre elas e seus objetivos! Por isso, sonhamos grande e buscamos inovação contínua para ajudá\-las a encontrar as melhores oportunidades de investimentos do mercado e a investir de um jeito fácil, seguro e com Corretagem Zero de verdade. Para isso, combinamos pessoas e tecnologia, valorizando e preservando o espírito colaborativo, diverso e inovador. Todas as pessoas do nosso time são essenciais para o nosso desenvolvimento e sucesso. **❤️ Nossa cultura:** Dividimos e tangibilizamos em 3 valores as nossas atitudes e práticas da cultura que vivemos todos os dia na Toro. **Ação de Dono:** Somos protagonistas, gostamos de fazer a diferença. Assumimos a responsabilidade e colocamos a mão na massa pensando na empresa como um todo. Entregamos resultado fazendo mais com menos e valorizando a meritocracia. **Visão de Time:** Somos uma empresa colaborativa, estamos espalhados por todo o Brasil. Trabalhamos de forma colaborativa com transparência, humildade e respeito. Praticamos a autonomia com alinhamento e atuamos sempre a favor dos maiores objetivos da empresa e do cliente. **Foco no Cliente:** Temos como objetivo fazer com que o nosso cliente possua as melhores oportunidades, que ele seja feliz e atinja os seus objetivos. Entregamos resultados gerando valor para o cliente com soluções simples e prazer em servir. Inovamos aprendendo com agilidade e sem medo de errar. **Nosso compromisso com a diversidade:** A Toro respeita a pluralidade de identidades e trabalha para promover uma cultura inclusiva. Sabemos que temos muito a fazer e por isso, buscamos pessoas que querem sonhar esse sonho com a gente. Se identificou? Então embarque nessa constante evolução e **\#VemPraToro** ❤️