Data Engineer

2 semanas atrás

Braga Lisboa Viana do Castelo, Portugal Xpand IT Tempo inteiro

Problemas complexos exigem a experiência certa Um dos maiores desafios da atualidade é o correto armazenamento e processamento de dados tendo em consideração estes três domínios (3Vs): Volume, Velocidade e Variedade.

Na Xpand IT, a equipa de Data Engineering desenvolve e implementa arquiteturas e soluções de software que tratam da captura, ingestão, armazenamento e gestão de dados críticos de grandes clusters de informação onde os 3Vs estão sempre presentes. Tiramos partido de um conjunto de frameworks avançadas como Spark, Kafka, Hive/Impala, Azure Data Services ou MongoDB usando Java e Scala como linguagens de programação para interagir com estas frameworks.

Principais responsabilidades

Enquanto Data Engineer é essencial trabalhar juntamente com os Platform Engineers, para desenvolver soluções de software, aplicando as melhores práticas em termos de desenho e arquitetura de sistemas distribuídos de grande escala.

As principais responsabilidades passam por garantir o desempenho e a escalabilidade do software que interage com os sistemas backend Big Data, contribuindo para a manutenção da performance geral do sistema.

Principais responsabilidades diárias:

- Implementar soluções em arquiteturas distribuídas em que a performance de tratamento de grandes volumes de dados é fulcral
- Desenhar e desenvolver soluções de software robustas e escaláveis, independentemente da quantidade de dados a processar
- Implementar boas práticas e padrões de desenho das soluções Big Data no software produzido;
- Analisar problemas complexos que necessitam de soluções eficientes para manipular grandes quantidades de informação;
- Desenvolver modelos e organização de estruturas de dados que otimizem as operações de “pesquisa” e “armazenamento” em sistemas distribuídos de grande escala;
- Desenhar e desenvolver de APIs de comunicação entre os sistemas de backend Big Data e sistemas externos através de protocolos de comunicação standard.

Stacks:

Python, Java/Scala, Spark, Kafka/Confluent, MongoDB, Databricks

Requisitos

- Licenciatura e/ou Mestrado em Informática, Sistemas de Informação ou Ciência da Computação;
- Experiência em tecnologias baseadas em Java (JBoss, Spring, Spring MVC, Hibernate) e na definição de interfaces de comunicação utilizando standards como XML, JSON, SOAP;
- Experiência na implementação de padrões de design em soluções de software avançadas (multi-threaded, multi-process, multi-cloud);
- Experiência com bases de dados relacionais e não relacionais (SQL, MySQL, NoSQL, Hadoop, MongoDB);
- Elevada experiência no uso de ferramentas como Eclipse, Maven, Jenkins, GIT, JIRA ou equivalentes;
- omínio do Inglês, falado e escrito.

Candidata-te aqui

Poderá encontrar o anúncio original publicado em: https://www.itjobs.pt/oferta/507142/data-engineer

  • Data Engineer | AWS

    Há 3 dias

    Viana do Castelo, Portugal Decskill Tempo inteiro

    Decskill, founded in 2014 as an IT Consulting Company, places paramount importance on its greatest asset: its people. Our main mission is to deliver value through knowledge and talent, and we achieve this by fostering a culture of excellence and investing in the development and well-being of our people. With over 600 dedicated professionals and offices in...

  • Data Engineer

    Há 2 dias

    Lisboa, Portugal Grupo Data Portugal Tempo inteiro

    Hi We are Grupo Data and we are searching for the best talent Our goal is to simplify our clients' lives with innovative IT solutions. We operate at global scale and we are expanding to Portugal If you are passionate and have the desire to make the difference, we want to get to know you Join us to be part of this incredible adventure Who are we looking for?...

  • Data Engineer

    2 semanas atrás

    Lisboa, Lisboa, Portugal Grupo Data Portugal Tempo inteiro 60 000 € - 80 000 € por ano

    Hi We are Grupo Data and we are searching for the best talent Our goal is to simplify our clients' lives with innovative IT solutions. We operate at global scale and we are expanding to PortugalIf you are passionate and have the desire to make the difference, we want to get to know you Join us to be part of this incredible adventureWho are we looking for?...

  • Big Data Engineer: Scale Distributed Systems

    3 semanas atrás

    Viana do Castelo, Portugal Devs.pt Tempo inteiro

    Uma empresa de tecnologia em Viana do Castelo está à procura de um Data Engineer para desenvolver e implementar soluções de software que otimizam o armazenamento e processamento de dados em grandes volumes. O candidato ideal deve ter formação em Informática e experiência em Java, Hadoop, e MongoDB. O trabalho envolve colaboração com engenheiros de...

  • Lisbon

    Há 6 dias

    Lisboa, Portugal Automation Engineer Tempo inteiro

    Job Description Automation Engineer - SDET - Lisbon Overview #TEamCandour are seeking a talented and motivated Automation Engineer - SDET - to join our thriving, global enterprise client working out of their expanding Lisbon tech hub. This position is being offered on a hybrid basis and will required 2 days attendance per week at the office in Central...

  • Lisbon

    1 semana atrás

    Lisboa, Lisboa, Portugal Automation Engineer Tempo inteiro 30 000 € - 60 000 € por ano

    Job DescriptionAutomation Engineer - SDET - LisbonOverview#TEamCandour are seeking a talented and motivated Automation Engineer - SDET - to join our thriving, global enterprise client working out of their expanding Lisbon tech hub. This position is being offered on a hybrid basis and will required 2 days attendance per week at the office in Central Lisbon.As...

  • Data Engineer

    4 semanas atrás

    Braga, Portugal KWAN Tempo inteiro

    We are looking for a Data Engineer to work in Braga who's eager to embark on an exciting new opportunity! Apply here About KWAN We connect IT professionals with projects that match their skills, professional experience, and goals, then we offer a career progression program, delivered by in-house specialists - our People Experience Partners - to guide them...

  • Data Engineer

    Há 2 horas

    Braga, Portugal Affinity Tempo inteiro

    Data Engineer procurado para design e implementação de pipelines de dados escaláveis no GCP, otimizando armazenamento, garantindo qualidade e implementando CI/CD. Requer experiência e conhecimento de SQL e Python.

  • Data Platform Engineer

    2 semanas atrás

    Castelo Branco, Portugal Smart Consulting Tempo inteiro

    At Smart Consulting, we’re looking for a Data Platform Engineer to join our data organization and ensure the reliability, scalability, and excellence of our cloud-based data platform. We believe data empowers better decisions — and we want you to be part of that journey. What it takes to be a Data Platform Engineer: Experience working with data pipelines...

  • Data Engineer

    Há 2 horas

    Braga, Portugal Affinity Tempo inteiro

    A Randstad Digital encontra-se a recrutar um Data Engineer para integração direta num cliente internacional francês, com instalações em Braga.1 dia presencial por semana no escritório.responsabilidades chaveRealizar o design e implementação de pipelines de dados escaláveis usando Terraform com serviços GCP como BigQuery, Dataflow, Dataproc e...