Data Engineer

Há 4 dias

Braga Lisboa Viana do Castelo, Portugal Xpand IT Tempo inteiro

Problemas complexos exigem a experiência certa Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.

Na Xpand IT, a equipa de Data Engineering desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.

Principais responsabilidades

Enquanto Data Engineer é essencial trabalhar juntamente com os Platform Engineers, para desenvolver soluções de software, aplicando as melhores práticas em termos de desenho e arquitetura de sistemas distribuídos de grande escala.

As principais responsabilidades passam por garantir o desempenho e a escalabilidade do software que interage com os sistemas backend Big Data, contribuindo para a manutenção da performance geral do sistema.

Principais responsabilidades diárias:

- Implementar soluções em arquiteturas distribuídas em que a performance de tratamento de grandes volumes de dados é fulcral
- Desenhar e desenvolver soluções de software robustas e escaláveis, independentemente da quantidade de dados a processar
- Implementar boas práticas e padrões de desenho das soluções Big Data no software produzido;
- Analisar problemas complexos que necessitam de soluções eficientes para manipular grandes quantidades de informação;
- Desenvolver modelos e organização de estruturas de dados que otimizem as operações de “pesquisa” e “armazenamento” em sistemas distribuídos de grande escala;
- Desenhar e desenvolver de APIs de comunicação entre os sistemas de backend Big Data e sistemas externos através de protocolos de comunicação standard.

Stacks:

Python, Java/Scala, Spark, Kafka/Confluent, MongoDB, Databricks

Requisitos

- Licenciatura e/ou Mestrado em Informática, Sistemas de Informação ou Ciência da Computação;
- Experiência em tecnologias baseadas em Java (JBoss, Spring, Spring MVC, Hibernate) e na definição de interfaces de comunicação utilizando standards como XML, JSON, SOAP;
- Experiência na implementação de padrões de design em soluções de software avançadas (multi-threaded, multi-process, multi-cloud);
- Experiência com bases de dados relacionais e não relacionais (SQL, MySQL, NoSQL, Hadoop, MongoDB);
- Elevada experiência no uso de ferramentas como Eclipse, Maven, Jenkins, GIT, JIRA ou equivalentes;
- omínio do Inglês, falado e escrito.

Candidata-te aqui

Poderá encontrar o anúncio original publicado em: https://www.itjobs.pt/oferta/508300/data-engineer

  • Data Engineer | AWS

    4 semanas atrás

    Viana do Castelo, Portugal Decskill Tempo inteiro

    Decskill, founded in 2014 as an IT Consulting Company, places paramount importance on its greatest asset: its people. Our main mission is to deliver value through knowledge and talent, and we achieve this by fostering a culture of excellence and investing in the development and well-being of our people. With over 600 dedicated professionals and offices in...

  • Lisbon

    1 semana atrás

    Lisboa, Portugal Automation Engineer Tempo inteiro

    Job Description Automation Engineer - SDET - Lisbon Overview #TEamCandour are seeking a talented and motivated Automation Engineer - SDET - to join our thriving, global enterprise client working out of their expanding Lisbon tech hub. This position is being offered on a hybrid basis and will required 2 days attendance per week at the office in Central...

  • Lisbon

    2 semanas atrás

    Lisboa, Lisboa, Portugal Automation Engineer Tempo inteiro

    Job DescriptionAutomation Engineer - SDET - LisbonOverview#TEamCandour are seeking a talented and motivated Automation Engineer - SDET - to join our thriving, global enterprise client working out of their expanding Lisbon tech hub. This position is being offered on a hybrid basis and will required 2 days attendance per week at the office in Central Lisbon.As...

  • Data Engineer

    Há 7 dias

    Castelo Do Neiva, Portugal Wire IT Tempo inteiro

    Join or sign in to find your next jobJoin to apply for the Data Engineer role at Wire ITBased in Portugal, Wire IT is your specialised IT consulting partner with 18 years of experience driven by an experienced and senior team that helps clients make the right decisions in a fast‐moving market. Wire IT's ambition is to grow while keeping true to its nature:...

  • Big Data Engineer

    Há 5 dias

    Braga, Portugal Affinity Tempo inteiro

    2 days ago Be among the first 25 applicantsGet AI-powered advice on this job and more exclusive features.Data Engineer – BMW Group Data LandscapeWe’re looking for bright Data Engineer Masterminds to join our team. At Critical TechWorks, we’re not just engineering software; we’re sculpting the data landscape of tomorrow. Our Data Engineers are pivotal...

  • Data Engineer

    Há 7 dias

    Castelo Branco, Portugal Aubay Portugal Tempo inteiro

    A prominent IT Consulting Company is seeking a Senior Data Engineer in Castelo Branco, Portugal. The role involves creating data pipelines, implementing validation rules, and enhancing data products via APIs. Ideal candidates will have over 4 years of experience in data engineering, strong SQL and data modeling skills, and fluency in English. Join a team...

  • Data Engineer

    2 semanas atrás

    Braga, Portugal KWAN Tempo inteiro

    We are looking for a Data Engineer to work in Braga who's eager to embark on an exciting new opportunity! Apply here About KWAN We connect IT professionals with projects that match their skills, professional experience, and goals, then we offer a career progression program, delivered by in-house specialists - our People Experience Partners - to guide them...

  • Senior Data Engineer

    3 semanas atrás

    Castelo Branco, Portugal emagine - Portugal Tempo inteiro

    Senior Data Engineer – Full Remote (Portugal) Project: Long-Term Migration to Microsoft Fabric We are looking for an experienced Senior Data Engineer to join a long-term project focused on a strategic migration to Microsoft Fabric , working with Databricks and modern data platform technologies. This role is fully remote within Portugal and requires strong...

  • Aws Data Engineer

    Há 3 dias

    Braga, Portugal Affinity Tempo inteiro

    Data Engineer needed for data engineering tasks, including ETL/ELT processes, with SQL and Python skills. Requires experience with platforms like Starburst/Trino, Apache Airflow, and Cloud concepts.

  • Data Engineer

    Há 16 horas

    Braga, Portugal Decskill Tempo inteiro

    Decskill was founded in 2014 as an IT Consulting Company and their main mission is to delivery value through the knowledge. We enable companies to meet the chalenges of digital world by providing our clients with business models that ensure technological capacity, flexibility and agility. We are more than 500 consultants with offices in Lisbon, Porto and...