Engenheiro(a) de Dados

Responsabilidades

Descrição das principais atividades e reponsabilidades:

• Co construir mecânica de monitoria e acompanhamento do ecossistema de dados
• Identificar e aplicar melhorias em pipelines de dados garantindo a sua performance e escalabilidade
• Identificar, sugerir, administrar e tratar os riscos das atividades que estão sob sua responsabilidade
• Garantir/Documentar o ambiente e entregas do time
• Construir produtos de Dados
• Criar a ingestão de dados, tratamento e modelagem
• Garantir a alta disponibilidade dos dados
• Garantir a equalização do conhecimento entre seus pares
• Garantir o devido acompanhamento dos prazos e acordos de entregas
• Apoiar o desenho de novas arquiteturas
• Ter visão capaz de relacionar / integrar áreas e soluções de dados

Requisitos

• Experiência com Azure;
• Experiência com Databricks;
• Experiência com Delta Lake / Lake House;
• Experiência com CosmosDB, Azure Synapse e Analysis Services;
• Experiência com linguagem de programação Python, SQL e PySpark;
• Experiência com processamento distribuído de dados;
• Experiência com esteira de integração e entrega contínua (CI/CD)/Azure DevOps;
• Experiência com o desenvolvimento de APIs / Azure Functions;