Data Engineer – Databricks

2 semanas atrás

Lisboa, Portugal emagine Tempo inteiro

Data Engineer – Databricks (Performance & Security)

Join to apply for the Data Engineer – Databricks (Performance & Security) role at emagine

About the Role

We are looking for a Data Engineer focused on Databricks platform excellence, mastering features, security, performance optimization, and operational best practices. You will play a key role in improving how we leverage Databricks across our data platform, ensuring scalable, secure, and efficient workloads. This role suits someone passionate about infrastructure, governance, and performance — and who’s eager to expand knowledge into streaming technologies.

Key Responsibilities

- Optimize Databricks performance across jobs, clusters, and data workloads.

- Implement and maintain governance, security, and permissions via Unity Catalog and Terraform.

- Contribute to Databricks feature enablement — Delta Live Tables, Databricks Asset Bundles (DABs), and cost efficiency improvements.

- Monitor cluster and job performance using Grafana and internal observability tools.

- Support data engineers in troubleshooting and fine-tuning jobs and SQL queries.

- Explore and progressively implement streaming features (Structured Streaming, Autoloader, Kafka integration).

- Manage Databricks environments integrated with Airflow on AKS, Azure ADLS Gen2, and Terraform.

- Collaborate with DataOps to ensure high availability, logging, and monitoring coverage.

- Implement performance and security benchmarks for production workloads.

Key Requirements

- Deep knowledge of Databricks configuration, optimization, and administration.

- Experience with PySpark, SQL, and data performance tuning.

- Familiarity with Unity Catalog, DABs, and Terraform integration.

- Strong understanding of data governance, cost optimization, and cluster policies.

- Basic to intermediate experience with Kafka or interest in learning streaming processing.

Nice to Have

- Experience with modern data orchestration tools.

- Knowledge of additional data lakes or storage solutions.

- Understanding of cloud architecture and services.

- Familiarity with version control systems, particularly Git.

Other Details

This role provides flexibility with remote working options, offering a chance to engage in cutting‑edge technologies while ensuring data excellence. Candidates should be prepared for ongoing learning and adaptation to new tools and methodologies, particularly within the Databricks ecosystem.

Seniority Level

Seniority level: Entry level

Employment Type

Employment type: Full‑time

Job Function

Job function: Information Technology

Industries

Industries: IT Services and IT Consulting

#J-18808-Ljbffr

  • Databricks Data Engineer

    Há 2 dias

    Lisboa, Portugal Devoteam Tempo inteiro

    Na IRIUM, queremos que persigas sempre os teus sonhos! Aqui, prepara-te para conquistares as tuas metas, enquanto desfrutas do caminho. Atualmente, encontramo-nos à procura de um Databricks Data Engineer. Requisitos: Procuramos um/a Databricks Data Engineer para integrar a equipa de dados, desenvolvendo pipelines em Databricks/Spark e arquiteturas...

  • Databricks Data Engineer

    Há 4 dias

    Lisboa, Portugal IRIUM Portugal Tempo inteiro

    Na IRIUM queremos que persigas sempre os teus sonhos Aqui, prepara-te para conquistares as tuas metas, enquanto desfrutas do caminho.     Atualmente encontramo-nos à procura de Databricks Data EngineerRequisitos: Procuramos um/a Databricks Data Engineer para integrar a equipa de dados, desenvolvendo pipelines em Databricks/Spark e arquiteturas...

  • Databricks Data Engineer

    Há 2 dias

    Lisboa, Portugal IRIUM Portugal Tempo inteiro

    Na IRIUM queremos que persigas sempre os teus sonhos Aqui, prepara-te para conquistares as tuas metas, enquanto desfrutas do caminho.     Atualmente encontramo-nos à procura de Databricks Data EngineerRequisitos: Procuramos um/a Databricks Data Engineer para integrar a equipa de dados, desenvolvendo pipelines em Databricks/Spark e arquiteturas...

  • Databricks Data Engineer

    Há 5 dias

    Lisboa, Lisboa, Portugal IRIUM Portugal Tempo inteiro

    Na IRIUM queremos que persigas sempre os teus sonhos Aqui, prepara-te para conquistares as tuas metas, enquanto desfrutas do caminho.     Atualmente encontramo-nos à procura de Databricks Data EngineerRequisitos:Procuramos um/a Databricks Data Engineer para integrar a equipa de dados, desenvolvendo pipelines em Databricks/Spark e arquiteturas...

  • Databricks Data Engineer

    Há 3 dias

    Lisboa, Lisboa, Portugal IRIUM Portugal Tempo inteiro

    Na IRIUM queremos que persigas sempre os teus sonhos Aqui, prepara-te para conquistares as tuas metas, enquanto desfrutas do caminho.     Atualmente encontramo-nos à procura de Databricks Data EngineerRequisitos:Procuramos um/a Databricks Data Engineer para integrar a equipa de dados, desenvolvendo pipelines em Databricks/Spark e arquiteturas...

  • Data Analyst

    1 dia atrás

    Lisboa, Portugal Grupo Data Tempo inteiro

    Muito Gosto! Somos oGrupo DATA! O nosso propósito ésimplificar a vida dos nossos clientes e fazemos isso em todo o mundo, atravésdas nossas soluções de TI. Somos umamultinacional, que opera ativamente em Portugal, e estamos em constanteexpansão! Adoramos trabalharcom grandes empresas e fazer crescer as empresas com as quais...

  • Data Engineer

    2 semanas atrás

    Lisboa, Porto, Portugal GRiT Solutions Tempo inteiro

    Data Engineer - Senior Databricks Engineer Building Data Highways: Data Engineer Position Available! There's no secret to become number-one, it takes willingness to improve and determination to pursue it. At GRiT®, it’s all about the journey getting there. We trust talent and intelligence are important, yet passion and perseverance are key to achieving...

  • Data Engineer – Databricks

    2 semanas atrás

    Lisboa, Portugal Mootiva Tempo inteiro

    Estamos a contratar | Data Engineer – Databricks (Performance & Security) Na Mootiva, estamos a recrutar um Data Engineer para integrar um projeto desafiante, com forte foco em excelência da plataforma Databricks, performance, segurança e boas práticas operacionais. Esta função é ideal para profissionais com uma abordagem sólida à engenharia de...

  • Databricks Engineer

    Há 6 dias

    Lisboa, Portugal Tata Consultancy Services Tempo inteiro

    Databricks Engineer needed to build secure data platforms within Azure and Databricks ecosystems, collaborating with data scientists and stakeholders.

  • Data Engineer

    Há 2 dias

    Lisboa, Portugal Hexa Consulting Tempo inteiro

    Na Hexa Consulting, promovemos a transparência e apoiamos percursos profissionais diversos no setor tecnológico. Com sede em Portugal, respondemos à crescente procura no setor de IT. A nossa missão passa por construir relações sólidas , ser um parceiro de referência através de uma abordagem diferenciadora na consultoria em IT e contribuir para o...