Responsabilidades
- Projetar, desenvolver e manter os processos de ingestão de dados;
- Modelar e projetar estruturas de dados para DW/Data Lake (estruturado/não estruturado);
- Construir e manter os processos de tratamento e armazenamento de dados;
- Construir e manter os processos de controle e monitoramento do Data Lake;
- Construir integrações, utilizando APIs e soluções de mensageria;
- Monitorar as ingestões de Dados, envolvendo ciclos de qualidade de dados;
- Ajudar a impulsionar a otimização e a ferramenta para melhorar a consistência e a qualidade dos dados;
- Garantir a confiabilidade da plataforma e dos dados através de testes unitários;
- Orquestrar a integração e coleta de dados em diferentes ambientes;
- Automatizar criação de esteiras DevOps/DataOps em escala de serviços e infraestrutura na nuvem (utilizar linguagens de programação para automação e provisionamento);
- Realizar otimizações, monitoramento e alerta em recursos na nuvem.
Requisitos
Requisitos:
- Graduação Superior Completa (Ciências da Computação, Engenharia da Computação, Sistemas de Informação ou áreas correlatas);
- Sólida experiência e vivência prática na criação e manutenção de pipelines de dados;
- Domínio em linguagem de programação Python e PySpark;
- Experiência com ferramentas, soluções e integração de dados na nuvem AWS: Airflow (MWAA), Glue, S3, Athena e AWS Lambda;
- Experiência em Banco de Dados estruturado (Postgree, Oracle ou SQL Server);
- Experiência em soluções de integração, preferencialmente APIs;
- Experiência em testes de unitário, integrados e performance;
- Experiência no levantamento funcional de requisitos junto às áreas de negócio.
Requisitos Desejáveis:
- Desejável Pós-graduação nas áreas de Big Data, Arquitetura ou áreas correlatas;
- Inglês avançado (desejável);
- Certificação(ões) em provedores de Cloud Computing.
