Engenheiro(a) de Dados Pleno – Big Data / Spark at Grupo Data

About the role

Engenheiro(a) de Dados Pleno – Big Data / Spark Sobre a oportunidade Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia. Responsabilidades Desenvolver, manter e otimizar soluções de processamento de dados; Projetar e desenvolver processos de ETL e transformação de dados; Implementar e manter pipelines utilizando Apache Spark; Apoiar iniciativas de integração de dados entre diferentes sistemas; Analisar e solucionar incidentes relacionados a dados; Garantir a qualidade, performance e confiabilidade das soluções de dados; Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile. Requisitos obrigatórios Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento; Conhecimento sólido em SQL, incluindo: ANSI SQL; Hive SQL; Spark SQL; Experiência com Apache Spark; Conhecimento em pelo menos uma das seguintes linguagens: Scala; Python; Java; Experiência com plataformas Big Data, como: Azure Databricks; Amazon EMR; Hive; Cloudera; ou outro ambiente baseado em Spark; Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards; Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis; Conhecimento em ferramentas como: Git; GitHub; SonarQube; Nexus; Capacidade de análise de requisitos e trabalho colaborativo; Inglês nível B2 ou superior. Espanhol nível B2 ou superior. Diferenciais Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados; Conhecimento em automação de processos utilizando IA; Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas. Condições da posição Atuação 100% remota; É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais; Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto; Os currículos deverão ser apresentados em inglês. Originally posted on Himalayas