Gcp & Python Data Engineer (Hibrido, Porto)

Há 3 semanas

Porto, Portugal Shore Tempo integral

Principais

Responsabilidades:
Projetar e manter pipelines ELT/ETL de ponta a ponta para dados de alto volume e múltiplas fontes. Construir modelos de dados, data warehouses e data lakes no GCP utilizando BigQuery, Cloud Storage, Dataflow, Dataproc e Pub/Sub. Desenvolver transformações em Python, orquestração, automação e verificações de qualidade de dados. Integrar e operacionalizar modelos de previsão de IA em pipelines de dados na nuvem. Planejar e executar atividades de UAT e QA, validação de dados e controles de prontidão para lançamento. Implementar controles de monitoramento, logging, alertas, governança, segurança, privacidade e conformidade. Manter documentação técnica, dicionários de dados, runbooks e planos de teste. Requisitos Mínimos: Sólida experiência em desenvolvimento Python, incluindo padrões de projeto, testes, empacotamento e considerações de desempenho. Experiência prática no GCP com BigQuery, Cloud Storage, Dataflow/Beam, Dataproc, Pub/Sub e Cloud Composer/Airflow. Experiência com SQL, modelagem de dados, design de esquemas e pipelines de dados em produção. Compreensão de modelos de previsão de IA, preparação de dados, feature stores e princípios de MLOps. Git, orquestração e CI/CD para pipelines de dados. Francês nível C1 (mínimo), escrito e falado, para interação ativa com stakeholders. Inglês profissional e fortes habilidades de comunicação, documentação e entrega autônoma.