Engenheiro de Plataforma de Dados
Lisboa
Remoto
A FOX IT é uma empresa de consultoria 100% portuguesa, fundada em 2018 com o objetivo de transformar positivamente o mercado das TI em Portugal. Consideramos os nossos consultores o nosso maior ativo e trabalhamos para garantir que se sentem motivados, apoiados e valorizados diariamente. O retorno é evidente e os nossos clientes sentem isso, com uma taxa de rotatividade muito baixa em comparação com o que, infelizmente, é "normal" no mercado.
O que vai fazer:
Procuramos um Engenheiro de Dados para dar suporte e desenvolver uma plataforma de dados numa grande empresa internacional do setor energético.
Fornecer suporte ao utilizador para a plataforma de dados, solucionando problemas e corrigindo falhas.
Apoiar pipelines de dados e processos ETL/ELT para permitir fluxos de dados fiáveis e escaláveis.
Colaborar com os arquitetos da plataforma para garantir que a plataforma de dados é eficiente, segura e altamente disponível.
Melhorar os processos de dados, a monitorização, o desempenho e a eficiência da plataforma.
Apoiar as estruturas de qualidade de dados e monitorização para garantir a precisão, consistência e integridade dos fluxos de dados.
Suporte para soluções de data lakes, data warehouses e streaming de dados.
Trabalhar com as partes interessadas (cientistas de dados, analistas, utilizadores empresariais) para resolver problemas na plataforma de dados.
Automatize tarefas repetitivas e melhore os processos de ingestão, transformação e entrega de dados.
Resolver problemas e otimizar os fluxos de trabalho de dados e consultas SQL para otimizar o desempenho e os custos.
Documentar alterações na plataforma de dados, processos e melhores práticas.
Analisar, avaliar e aprovar as versões de produtos de dados para a produção.
O que procuramos:
Experiência com pipelines de dados em ambiente de produção.
Sólidos conhecimentos práticos de SQL e experiência com processamento de dados distribuídos (por exemplo, Apache Spark).
Proficiência e conhecimento na resolução de problemas com dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow.
Proficiência numa linguagem de programação como Python ou Scala para tarefas de engenharia de dados.
Experiência com serviços de dados na nuvem (AWS)
Familiaridade com as ferramentas do Grafana
Conhecimento de governação de dados, segurança e conformidade em ambiente de cloud.
Experiência na implementação de CI/CD e frameworks de teste para workflows de dados.
Sólidas capacidades de resolução de problemas, comunicação e paixão pela colaboração.
Fluente em português e inglês, tanto na escrita como na oralidade.
O que será uma vantagem:
Familiaridade com as arquiteturas e conceitos de data lake warehouse da Dremio.
Experiência com o aprovisionamento de serviços de dados com Terraform.
Familiaridade com o gateway local Power BI
Experiência prática com ferramentas de catalogação e governança de dados (ex.: Collibra, Alation)
Experiência com pipelines de aprendizagem automática e engenharia de recursos.