Gcp & Python Data Engineer (Hibrido, Porto)
Guarde esta oferta e mantenha a sua pesquisa organizada
Crie uma conta gratuita para guardar ofertas, criar alertas e voltar a este anúncio a partir do seu painel.
Ao continuar, aceita os nossos Termos & Política de Privacidade.
Principais
Responsabilidades:
Projetar e manter pipelines ELT/ETL de ponta a ponta para dados de alto volume e múltiplas fontes. Construir modelos de dados, data warehouses e data lakes no GCP utilizando BigQuery, Cloud Storage, Dataflow, Dataproc e Pub/Sub. Desenvolver transformações em Python, orquestração, automação e verificações de qualidade de dados. Integrar e operacionalizar modelos de previsão de IA em pipelines de dados na nuvem. Planejar e executar atividades de UAT e QA, validação de dados e controles de prontidão para lançamento. Implementar controles de monitoramento, logging, alertas, governança, segurança, privacidade e conformidade. Manter documentação técnica, dicionários de dados, runbooks e planos de teste. Requisitos Mínimos: Sólida experiência em desenvolvimento Python, incluindo padrões de projeto, testes, empacotamento e considerações de desempenho. Experiência prática no GCP com BigQuery, Cloud Storage, Dataflow/Beam, Dataproc, Pub/Sub e Cloud Composer/Airflow. Experiência com SQL, modelagem de dados, design de esquemas e pipelines de dados em produção. Compreensão de modelos de previsão de IA, preparação de dados, feature stores e princípios de MLOps. Git, orquestração e CI/CD para pipelines de dados. Francês nível C1 (mínimo), escrito e falado, para interação ativa com stakeholders. Inglês profissional e fortes habilidades de comunicação, documentação e entrega autônoma.