Responsabilidades
- Criação de algoritmos para ajudar a facilitar o acesso aos dados brutos.
- Cuidar da aquisição dos dados;
- Desenvolver processos de conjunto de dados;
- Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados;
- Estruturar conjuntos de dados para resolver problemas de negócios;
- Preparar dados para modelagem preditiva e prescritiva;
- Encontrar padrões ocultos usando dados;
- Estruturar o uso de dados para descobrir tarefas que podem ser automatizadas;
- Entregar atualizações automatizadas para as partes interessadas com base em análises.
Requisitos
Possuir conhecimentos de programação e SQL avançados, ferramentas, plataformas, frameworks e arquitetura distribuída, responsável por desenvolver o pipeline, que definirá a organização, fluxo e a estrutura de armazenagem e apresentação dos dados, transformando os dados brutos em informações que possam ser analisadas.
- Data Factory
- Databricks
- Pyspark
- Python
