Engenheiro(a) de Dados

Responsabilidades

Descrição das principais atividades e reponsabilidades:

• Desenhar, construir e integrar mecânica de monitoria e acompanhamento do ecossistema de dados
• Desenhar e Garantir a aplicação das melhores práticas de desenvolvimento de pipelines, focando em performance e escalabilidade
• Identificar, administrar e tratar os riscos das atividades que estão sob sua responsabilidade e time
• Desenhar/Construir padrões e boas práticas de desenvolvimento, documentação do ambiente e entregas
• Garantir e implementar o desenho da arquitetura de dados
• Garantir o correto entendimento das necessidades de negócio e visão estratégica
• Garantir que todas as necessidades mapeadas a serem desenvolvidas, sejam entregues com qualidade, escalabilidade e dentro do prazo
• Apoiar na Redução/Otimização de custos
• Formação e capacitação de time tecnicamente
• Garantir e ter visão capaz de relacionar

Requisitos

• Experiência com Azure;
• Experiência com Databricks;
• Experiência com Delta Lake / Lake House;
• Experiência com CosmosDB, Azure Synapse e Analysis Services;
• Experiência com linguagem de programação Python, SQL e PySpark;
• Experiência com processamento distribuído de dados;
• Experiência com esteira de integração e entrega contínua (CI/CD)/Azure DevOps;
• Experiência com o desenvolvimento de APIs / Azure Functions;