PESSOA ENGENHEIRA DE DADOS SR

Lopes Consultoria de Imóveis

Sao Paulo, SP, BR

há 12 horas

ATRIBUIÇÕES :

Contribuir na visão de longo prazo das práticas de governança de dados

Trabalhar com problemas envolvendo muitos dados, com fontes diversas, com alta confiabilidade

Desenvolvimento de algoritmos distribuídos processando e armazenando dados em streaming e batch

Ser responsável em manter os datasets mais críticos, sempre com alta qualidade

Identificar, desenhar e automatizar processos internos, através do desenvolvimento de data pipelines e frameworks

Desenvolvimento de códigos para consumo de APIs, incluindo data streaming

Desenvolvimento de crawlers / robôs para coleta de fontes externas e redes sociais

REQUISITOS E QUALIFICAÇÕES

Necessário

Experiência avançada com Python, Scala e / ou Java

Experiência com SQL

Experiência avançada em arquiteturas de Big Data (Hadoop, Spark, Hive, Yarn, etc.)

Experiência com Kafka

Experiência com NoSQL (ex. Cassandra, ElasticSearch, Solr, Druid, etc.)

Experiência com ambiente Linux

Experiência com Shell

Experiência com Docker

Experiência com Cloud (AWS / GCP / Azure)

Diferencial

Vivência em projetos ágeis

Experiência com Apache Airflow

Experiência com Scraper / Crawler

INFORMAÇÕES ADICIONAIS

Oferecemos :

Assistência Médica;

Assistência Odontológica;

Ajuda de custo Home Office;

Convênio Farmácias;

Prime Care;

Desconto em Instituições de Ensino;

PLR;

Programa de indicações;

Seguro de Vida;

Vale refeição;

Gympass.

Reportar esta vaga de emprego

Thank you for reporting this job!

Your feedback will help us improve the quality of our services.