Gcp Data Engineer

Participar na migração de dados e processos ETL de SQL Server para GCP. Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery. Orquestrar e agendar pipelines através do Google Cloud Composer. Desenvolver e otimizar queries SQL complexas em BigQuery. Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering. Desenvolver scripts em Python para automatização de migrações, transformações e integrações. Implementar mecanismos que garantam a qualidade e integridade dos dados.
Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração. Participar em revisões de código, testes e definição de boas práticas de desenvolvimento. Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados. Propor melhorias e otimizações para a plataforma de dados em GCP. 3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer. Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
Conhecimentos avançados de Python para automatização, transformação e migração de dados. Experiência em pipelines de dados e processos de migração para ambientes cloud. Capacidade de análise e resolução de problemas complexos. Bons conhecimentos de inglês, com nível mínimo B2. Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação. Inglês B2 Principais Responsabilidades
Participar na migração de dados e processos ETL de SQL Server para GCP. Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery. Orquestrar e agendar pipelines através do Google Cloud Composer. Desenvolver e otimizar queries SQL complexas em BigQuery. Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering. Desenvolver scripts em Python para automatização de migrações, transformações e integrações. Implementar mecanismos que garantam a qualidade e integridade dos dados.
Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração. Participar em revisões de código, testes e definição de boas práticas de desenvolvimento. Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados. Propor melhorias e otimizações para a plataforma de dados em GCP. Requisitos mínimos
3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer. Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery. Conhecimentos avançados de Python para automatização, transformação e migração de dados. Experiência em pipelines de dados e processos de migração para ambientes cloud. Capacidade de análise e resolução de problemas complexos. Bons conhecimentos de inglês, com nível mínimo B2. Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação. Inglês B2 Competências Valorizadas
Experiência com SQL Server, T‐SQL e administração de bases de dados. Conhecimentos de outros serviços GCP, como Cloud Storage e Dataflow. Experiência com ferramentas de migração da GCP, como Database Migration Service. Conhecimentos de Power BI, Data Warehousing e Data Vault. Experiência com ferramentas de controlo de versões.