Engenheiro de Dados PL
Porto Seguro
São Paulo, SP, BR
há 1 dia

Descriçãoda área :

DesenvolverArquitetura de Dados robusta e escalonável, que suporte os times de dados(Analytics, BI, Data Science e Machine Learning) e negócios,democratizando o acesso aos dados, de forma segura, simples, estruturada e comqualidade.

Pré-requisitos : Experiência :

Experiência :

  • Implantação de projetos de dados;
  • Modelagem de dados;
  • Modelagem de camadas de dados;
  • Consumo de dados estruturado, semiestruturada e não estruturada;
  • Ingestão de dados via Streaming e Batch;
  • Clouds (Azure, AWS e / ou GCP);
  • Linguagem de programação (Python, Spark, Scala, Java, SQL)
  • Construção de Pipelines de ingestão e manipulação de dados (ETL / ELT);
  • Trabalho em equipe com metodologia Ágil;
  • Versão de código (Git);
  • Integração continua e entrega continua (CICD);
  • Redes, segurança e infraestrutura;
  • Processamento distribuído (Clusterização);
  • Mensageria, eventos, filas e tópicos (Kafka, Event Hub, RebbitMQ);
  • Banco de dados SQL e NOSql;
  • Orquestração de dados via Airflow;
  • Cursose conhecimentos específicos :

  • Databricks / Delta Lake / Lake House;
  • Programação Java / Python / Spark / Scala / SQL;
  • Ingestão de dados (Apache kafka, python, spark);
  • Armazenamento de dados (Database, Data Warehouse, Data Lake, Lakehouse);
  • Cloud (Azure, AWS, GCP);
  • Governança de dados (Data Catalog, Data Lineage, Quality, metadata, etc);
  • Manipulação de banco de dados (SQL / NOSql)
  • DataOps / DevOps
  • Apache Airflow
  • Principaiscompetências :

  • Colaborativo;
  • Protagonista;
  • Questionador;
  • Organizado;
  • Foco no cliente;
  • Foco em resultado;
  • Analítico.
  • Principaisatividades :

  • Democratizar o acesso aos dados, de forma segura, simples, estruturada e com qualidade;
  • Analisar e especificar as necessidades de negócio assegurando o correto desenvolvimento e implementação das aplicações.
  • Trabalhando sempre com foco em desenvolver a arquitetura mais completa e adequada para suportar a vertical financeira da Porto Seguro em dados / data driven;
  • Criar e manter fluxos de dados (estruturados e ou não) que suportem soluções de BI, Analytics, Data Science e Machine Learning;
  • Focar na integração de dados, segurança, modelagem, otimização e qualidade;
  • Desenhar e construir novos modelos / pipelines de dados;
  • Criar novos processos de ETL / ELT e otimizar existentes;
  • Construir interfaces (APIs / Self Service) para acesso aos dados;
  • Incentivar a busca e reutilização de informações corporativas e compartilhadas, a fim de evitar a duplicação de dados;
  • Monitorar os processamentos de preparação e carga de dados e relatórios das áreas, com a finalidade de garantir a atualização dos dados e informações;
  • Assegurar a correta utilização das aplicações, softwares e camadas de dados de BI e Analytics na empresa;
  • Garantir o armazenamento dos dados de forma segura, conforme lei de proteção aos dados (LGPD);
  • Documentar o ambiente, arquitetura e projetos desenvolvidos pela área;
  • Suportar e treinar o time, compartilhando o conhecimento;
  • Oferecemos :

  • Assistência médica;
  • Assistência odontológica;
  • Auxílio babá;
  • Auxílio creche;
  • Auxílio farmácia;
  • Bolsa auxílio (idiomas);
  • Bolsa auxílio (superior e especialização);
  • Participação nos lucros;
  • Previdência privada;
  • Seguro de vida;
  • Vale alimentação;
  • Vale refeição;
  • Vale transporte.

    Reportar esta vaga de emprego
    checkmark

    Thank you for reporting this job!

    Your feedback will help us improve the quality of our services.

    Candidatar-se
    Meu email
    Ao clicar em "Continuar", você concorda que a neuvoo coleta e processa seus dados pessoais, que você forneceu neste formulário, para criar uma conta neuvoo e assinar nossos alertas por e-mail, de acordo com nossa Política de Privacidade . Você pode retirar seu consentimento a qualquer momento, seguindo estas etapas .
    Continuar
    Formulário de candidatura