Engenheiro de Plataforma de Dados

A FOX IT é uma empresa de consultoria 100% portuguesa, fundada em 2018 com o objetivo de transformar positivamente o mercado de TI em Portugal. Vemos os nossos consultores como o nosso maior ativo e trabalhamos para garantir que se sintam motivados, apoiados e valorizados diariamente. O retorno é óbvio e os nossos clientes sentem-no, com uma rotatividade muito baixa em comparação com o que, infelizmente, é "normal" no mercado.

O que vais fazer:

• Estamos à procura de um Engenheiro de Dados para apoiar e desenvolver uma plataforma de dados dentro de um fornecedor internacional de energia de grande escala.

• Fornecer suporte ao utilizador para a plataforma de dados, resolução de problemas e resolução de problemas

• Suportar pipelines de dados e processos ETL/ELT para permitir fluxos de dados fiáveis e escaláveis

• Colabore com arquitetos de plataforma para garantir que a plataforma de dados é eficiente, segura e altamente disponível

• Melhorar os processos de dados, a monitorização, o desempenho e a eficiência da plataforma

• Suportar quadros de qualidade de dados e monitorização para garantir precisão, consistência e completude dos pipelines de dados

• Suporte para data lakes, data warehouses e soluções de streaming de dados

• Trabalhar com as partes interessadas (cientistas de dados, analistas, utilizadores de negócios) para resolver problemas na plataforma de dados

• Automatizar tarefas repetíveis e melhorar os processos de ingestão, transformação e entrega de dados

• Resolver e otimizar fluxos de trabalho de dados e consultas SQL para desempenho e eficiência de custos

• Documentar alterações na plataforma de dados, processos e melhores práticas

• Revisão, avaliação e aprovação das divulgações de produtos de dados para produção

O que procuramos:

• Experiência com pipelines de dados num ambiente de produção

• Forte conhecimento prático de SQL e experiência em processamento distribuído de dados (por exemplo, Apache Spark)

• Proficiência e conhecimento em resolução de problemas dbt, Apache Kafka, Apache Ignite, Apache NiFi e Apache AirFlow

• Proficiência numa linguagem de programação como Python ou Scala para tarefas de engenharia de dados

• Experiência com serviços de dados na cloud (AWS)

• Familiaridade com as ferramentas Grafana

• Conhecimento de governação, segurança e conformidade de dados num ambiente cloud

• Experiência na implementação de frameworks de CI/CD e testes para fluxos de trabalho de dados

• Fortes competências de resolução de problemas, competências de comunicação e paixão pela colaboração

• Fluente em português e inglês escrito e falado.

O que será uma vantagem:

• Familiaridade com arquiteturas e conceitos de armazéns de datalake Dremio

• Experiência com serviços de provisionamento de dados Terraform

• Familiaridade com o gateway on-premises do Power BI

• Experiência prática com catálogo de dados e ferramentas de governação (por exemplo, Collibra, Alation)

• Experiência em pipelines de aprendizagem automática e engenharia de funcionalidades.