Responsabilidades
Levantamento de Requisitos:
- Realizar a identificação e análise das origens de dados necessárias para o desenvolvimento de produtos de dados;
- Verificar e documentar os campos e suas tipagens, assegurando a consistência e integridade dos dados;
- Identificar e detalhar a construção de campos calculados, descrevendo e aplicando as regras para a construção.
Refinamento de Histórias:
- Colaborar com o time de desenvolvimento para refinar histórias de usuário, garantindo que os requisitos de dados estejam claramente definidos e compreendidos;
- Construir e verificar regras de consolidação de dados, transformando dados da camada bronze para as camadas prata e ouro, seguindo o modelo de dados em medalhão.
Desenvolvimento e Homologação:
- Construir notebooks que serão utilizados como base para o desenvolvimento dos scripts dos produtos de dados;
- Desenvolver cenários para apoiar a homologação pelo time de negócios, assegurando que os produtos de dados atendam aos requisitos estabelecidos;
- Utilizar tecnologias como PySpark e SQL no Databricks para implementar soluções de dados eficientes e escaláveis.
Documentação e Entregas:
- Construir e atualizar a documentação de refinamento de requisitos e entregas, garantindo que todas as etapas do processo estejam bem documentadas e acessíveis para o time;
- Assegurar que a documentação esteja sempre atualizada e reflita as mudanças e melhorias contínuas no processo de desenvolvimento de dados.
Requisitos
Conhecimento Técnico:
- PySpark: Experiência em usar PySpark para processamento de dados em larga escala;
- SQL: Habilidade em escrever e otimizar consultas SQL para manipulação e análise de dados;
- Databricks: Familiaridade com a plataforma Databricks para desenvolvimento e gerenciamento de pipelines de dados.
Modelagem de Dados:
- Compreensão do modelo de dados em medalhão (bronze, prata, ouro) e capacidade de entender e implementar transformações de dados entre essas camadas;
- Experiência em identificar e definir origens de dados, campos e suas tipagens.
Análise de Dados:
- Habilidade em construir e verificar regras de consolidação de dados para garantir a qualidade e integridade dos dados;
- Capacidade de desenvolver cenários para homologação de dados.
Documentação e Comunicação:
- Competência em construir e atualizar documentação técnica e de requisitos, assegurando clareza e acessibilidade para todos os membros do time;
- Boas habilidades de comunicação para colaborar efetivamente com equipes de desenvolvimento e negócios.
Resolução de Problemas:
- Capacidade de identificar problemas e desenvolver soluções eficientes e escaláveis;
- Pensamento analítico e atenção aos detalhes para garantir a precisão dos dados.
Descrição perfil técnico desejável:
- Conhecimentos em Sistemas Bancários: Experiência com sistemas bancários, incluindo plataformas de gestão de contas, transações financeiras e compliance bancário.
- Cobrança e Recuperação de Crédito: Familiaridade com processos de cobrança e recuperação de crédito, incluindo estratégias de mitigação de risco e análise de crédito.
