Treinador Líder de IA / Avaliador de Prompt

Descrição

Resumo: Treinador Líder de IA / Avaliador de Prompt para supervisionar e aprimorar a qualidade dos diálogos de modelos de IA, garantindo precisão, consistência e conformidade com as diretrizes de rotulagem por meio da revisão e avaliação de conjuntos de dados. Pontos principais: 1. Revisar e avaliar a qualidade dos conjuntos de dados e fornecer feedback aos anotadores 2. Validar as saídas de modelos de IA conversacional para detectar problemas antes da liberação 3. Identificar problemas recorrentes e sugerir melhorias nos fluxos de trabalho e nos processos de garantia de qualidade (https://socialdiscoverygroup.com/about\-us)**Social Discovery Group** (https://socialdiscoverygroup.com/about\-us) (SDG) é a terceira maior empresa de descoberta social do mundo, unindo mais de 60 marcas com 500 milhões de usuários. Resolvemos os problemas de solidão, isolamento e desconexão ao transformar a intimidade virtual na nova normalidade. Nossa carteira inclui plataformas de comunicação online focadas em IA, mecânicas de jogos e transmissão de vídeo — Dating.com, DateMyAge, Cupid Media, Dil Mil, Kiseki e outras. **A SDG investe em startups de TI ao redor do mundo.** Nossos investimentos incluem Open AI, Patreon, Flo, Clubhouse, Woebot, Flure, Astry, Coursera, Academia.edu e muitos outros. Reunimos uma equipe de pessoas com ideias semelhantes e profissionais de TI especializados na criação e desenvolvimento de produtos globais de descoberta social com grande impacto. Nossa equipe internacional de 1200 profissionais e nômades digitais atua em todo o mundo. **Nossas equipes de nômades digitais** trabalham remotamente de **Chipre, Malta, Estados Unidos, Armênia, Geórgia, Cazaquistão, Montenegro, Polônia, Letônia, Sérvia, Espanha, Portugal, Emirados Árabes Unidos, Israel, Turquia, Tailândia, Indonésia, Japão, Hong Kong, Austrália e muitos outros locais.** Em agosto de 2024, conquistamos a **Certificação Great Place to Work US™!** Essa conquista reflete nossa crença fundamental de que um ambiente de trabalho verdadeiramente excepcional é construído sobre confiança, orgulho e camaradagem — não apenas excelentes benefícios. Estamos buscando um meticuloso **Treinador Líder de IA / Avaliador de Prompt** para supervisionar e aprimorar **a qualidade dos diálogos de modelos de IA** com os usuários. **Suas principais tarefas serão:** * Revisar e avaliar a qualidade dos conjuntos de dados produzidos pela equipe de conteúdo, garantindo precisão, consistência e conformidade com as diretrizes de rotulagem. * Fornecer feedback construtivo e ajudar a manter um alto padrão de qualidade entre os anotadores. * Realizar pessoalmente anotações de alta qualidade e criação de conjuntos de dados como especialista no assunto. * Validar as saídas de modelos de IA conversacional (por exemplo, avaliações SbS, marcação de erros, testes de estresse em cenários) para detectar problemas antes da liberação em produção. * Trabalhar em estreita colaboração com a equipe de aprendizado de máquina para aprimorar instruções, especificações de conjuntos de dados e critérios de avaliação para ciclos de treinamento de modelos. * Identificar problemas recorrentes nas anotações ou no comportamento do modelo e sugerir melhorias nos fluxos de trabalho, processos de garantia de qualidade ou pipelines de validação. * Contribuir com insights sobre prompts e estratégias de dados para acelerar melhorias na qualidade dos modelos. **Esperamos de você:** * Experiência em anotação de conjuntos de dados e validação de conteúdo para IA conversacional / modelos de chat / produtos de PLN. * Experiência prática com frameworks de avaliação de modelos SbS (lado a lado) ou outros (por exemplo, pontuação de qualidade, marcação, categorização de erros). * Capacidade de analisar respostas conversacionais e identificar problemas de precisão, tom, segurança e relevância contextual. * Experiência na preparação ou seguimento de diretrizes de anotação e listas de verificação de garantia de qualidade. * Grande atenção aos detalhes e capacidade de aplicar consistentemente os critérios de avaliação. * Capacidade de fornecer feedback escrito claro e construtivo a outros anotadores. * Familiaridade com práticas de engenharia de prompts é um diferencial. * Familiaridade com avaliadores automatizados baseados em LLM / IA como juiz é um diferencial. * Proficiência em inglês (B2+) na leitura e escrita. **O que oferecemos:** * **OPORTUNIDADE REMOTA** para trabalhar em regime integral; * **Férias** de 28 dias corridos por ano; * **7 dias de bem-estar por ano** (folga) que podem ser utilizados para resolver questões domésticas, descansar e se recuperar sem utilizar licença médica; * **Bônus de até USD 5.000** para indicação de candidatos bem-sucedidos a vagas na empresa; * **Pagamento de 50%** para treinamento profissional, conferências internacionais e reuniões; * Desconto corporativo para **aulas de inglês**; * **Benefícios de saúde.** De acordo com os contracheques, se você não for elegível para o seguro médico corporativo, a empresa lhe compensará até USD 1.000 brutos por ano por funcionário. Esse valor pode ser utilizado na aquisição individual de seguro saúde ou nas despesas médicas para você e seus familiares próximos (cônjuge, filhos); * **Organização do local de trabalho.** A empresa fornece a todos os funcionários um local de trabalho equipado e todos os equipamentos necessários (mesa, poltrona, wi-fi etc.) em nossos escritórios ou espaços de coworking. Em outros locais, a empresa reembolsa os custos com o local de trabalho até USD 1.000 brutos a cada 3 anos, conforme constante nos contracheques. Esse valor pode ser utilizado no aluguel de salas de coworking ou na montagem do local de trabalho em casa (mesa, cadeira, internet etc.) durante esses 3 anos; * **Sistema interno de gratidão gamificado:** receba bônus de colegas e troque-os por nossos produtos, atividades de team building, certificados de massagem etc. **Parece interessante? Junte-se a nós agora!**