Engenheiro de Dados

Descrição

Resumo: A IDT está buscando um Engenheiro de Dados qualificado para integrar sua equipe de BI, com foco em análise de dados, projeto de ELT/ETL e apoio a iniciativas estratégicas. Pontos principais: 1. Projetar e implementar pipelines de dados ETL/ELT para diversas necessidades de processamento 2. Manter implantações do data warehouse Snowflake e desenvolver soluções Denodo 3. Parceria com partes interessadas em iniciativas de modelos de linguagem e soluções escaláveis Esta é uma oportunidade de trabalho em regime integral remoto para um **Engenheiro de Dados excepcional da América Latina.** A IDT (www.idt.net) é uma empresa norte-americana de telecomunicações fundada em 1990, com sede no estado de Nova Jersey. Hoje, é líder de mercado em serviços pré-pagos de comunicação e pagamento, além de ser uma das maiores operadoras mundiais de voz internacional. Estamos listados na NYSE, empregamos mais de 1300 pessoas em mais de 20 países e temos receitas superiores a $1,5 bilhão. A IDT está procurando um Engenheiro de Dados qualificado para integrar nossa equipe de BI e desempenhar um papel ativo na realização de análise de dados, projeto de ELT/ETL e funções de suporte, visando concretizar iniciativas estratégicas que atendam às metas organizacionais. ### **Responsabilidades:** * Projetar, implementar e validar pipelines de dados ETL/ELT – para processamento em lote, integrações em tempo real e armazenamento de dados, mantendo documentação abrangente e testes para garantir confiabilidade e precisão. * Manter implantações ponta a ponta do data warehouse Snowflake e desenvolver soluções de virtualização de dados Denodo. * Recomendar melhorias de processo para aumentar a eficiência e confiabilidade no desenvolvimento de ELT/ETL. * Manter-se atualizado sobre novas tecnologias de dados e apoiar projetos-piloto, garantindo que a plataforma escale perfeitamente com o aumento dos volumes de dados. * Projetar, implementar e manter pipelines de dados escaláveis que ingestem, transformem e entreguem dados em plataformas de data warehouse em tempo real, assegurando integridade dos dados e confiabilidade dos pipelines. * Parceria com partes interessadas em dados para coletar requisitos de iniciativas de modelos de linguagem e traduzi-los em soluções escaláveis. * Criar e manter documentação abrangente de todos os processos de dados, fluxos de trabalho e rotinas de implantação de modelos. * Deve demonstrar disposição para se manter informado e aprender novas metodologias em engenharia de dados, bem como tecnologias de código aberto. ### **Requisitos:** * 5 anos ou mais de experiência em projeto e desenvolvimento de ETL/ELT, integração de dados provenientes de sistemas OLTP heterogêneos e soluções de API, além de construção de soluções escaláveis de data warehouse para suportar inteligência de negócios e análise de dados. * Excelentes habilidades de comunicação em inglês. * Habilidades eficazes de comunicação oral e escrita com a equipe de BI e a comunidade de usuários. * Experiência comprovada no uso de Python para tarefas de engenharia de dados, incluindo transformação, manipulação avançada de dados e processamento em larga escala. * Projetar e implementar pipelines orientados a eventos que aproveitem mensagens e eventos em tempo real para acionar fluxos de trabalho ETL e habilitar arquiteturas de dados escaláveis e desacopladas. * Experiência em análise de dados, análise de causa raiz e capacidades comprovadas de resolução de problemas e pensamento analítico. * Experiência no projeto de pipelines complexos de dados que extraem informações de fontes RDBMS, JSON, API e arquivos planos. * Expertise comprovada em programação SQL e PL/SQL, com domínio avançado em metodologias de Business Intelligence e data warehouse, além de experiência prática em um ou mais sistemas de bancos de dados relacionais e serviços de bancos de dados baseados em nuvem, tais como Oracle, MySQL, Amazon RDS, Snowflake, Amazon Redshift, etc. * Capacidade comprovada de analisar e otimizar consultas e mapeamentos ETL/ELT com baixo desempenho, fornecendo recomendações práticas para ajuste de desempenho. * Conhecimento dos princípios de engenharia de software e habilidades práticas em sistemas operacionais Unix/Linux/Windows, além de experiência com metodologias ágeis. * Proficiência em sistemas de controle de versão, com experiência no gerenciamento de repositórios de código, ramificação (branching), mesclagem (merging) e colaboração em ambientes de desenvolvimento distribuídos. * Interesse pelas operações empresariais e compreensão abrangente de como sistemas robustos de BI impulsionam a lucratividade corporativa ao permitir tomadas de decisão baseadas em dados e insights estratégicos. ### **Diferenciais:** * Experiência no desenvolvimento de processos ETL/ELT dentro do Snowflake e na implementação de transformações complexas de dados utilizando funções nativas e recursos SQL. * Experiência com ferramentas ETL Pentaho Data Integration (Kettle) / Ab Initio para projetar, desenvolver e otimizar fluxos de trabalho de integração de dados. * Experiência no projeto e implementação de soluções ETL baseadas em nuvem utilizando Azure Data Factory, DBT, AWS Glue, Lambda e ferramentas de código aberto. * Experiência com ferramentas de relatórios/visualização (ex.: Looker) e softwares de agendamento de tarefas. * Experiência no setor de telecomunicações, comércio eletrônico e recarga internacional de celulares. * Certificação preferencial: AWS Solution Architect, AWS Cloud Data Engineer, Snowflake SnowPro Core. **Por favor, anexe seu currículo em inglês.** O processo de entrevista será conduzido em inglês. **Apenas** **aceitamos candidatos da América Latina.** Podemos utilizar ferramentas de inteligência artificial (IA) para auxiliar em partes do processo seletivo, como revisão de inscrições, análise de currículos ou avaliação de respostas. Essas ferramentas apoiam nossa equipe de recrutamento, mas não substituem o julgamento humano. As decisões finais de contratação são sempre tomadas por pessoas. Se desejar mais informações sobre como seus dados são processados, entre em contato conosco.