Responsabilidades
Operação e Sustentação
- Executar a operação diária do ambiente BigData, seguindo os procedimentos definidos no Runbook do time.
- Monitorar a saúde dos clusters, jobs, pipelines e serviços de dados.
- Atuar na investigação e resolução de incidentes, garantindo restabelecimento rápido das operações.
- Realizar troubleshooting técnico em pipelines, workflows, jobs, clusters e integrações.
Pipelines e Processos
- Acompanhar e validar execuções de processos ETL/ELT e cargas críticas.
- Realizar reprocessamentos, correções, ajustes e retomadas de fluxos conforme necessidade operacional.
- Atuar em problemas relacionados a performance, consistência e falhas em ingestões.
Ferramentas e Ecossistema BigData
- Operar e monitorar plataformas como Hadoop, Spark, Kafka, Nifi, Cloudera, Databricks ou equivalentes (ajustar conforme o ambiente real).
- Acompanhar dashboards, indicadores e métricas operacionais.
- Utilizar ferramentas corporativas para controle de chamados, demandas e incidentes (ex.: Jira, ServiceNow).
Governança, Segurança e Compliance
- Garantir aderência aos processos de auditoria, segurança, acesso e compliance da empresa.
- Atualizar e manter documentações, RACI/RASCI, procedimentos operacionais e fluxos.
Procedimentos e Mudanças
- Executar atividades de GMUDs relacionadas a mudanças no ambiente analítico.
- Apoiar equipes de engenharia e projeto em novas implementações, atualizações e releases.
- Realizar validações pós-mudança e acompanhar estabilização dos ambientes.
Colaboração e Comunicação
- Interagir constantemente com times de Engenharia de Dados, Arquitetura, Segurança, DevOps e aplicações.
- Realizar passagem de turno, atualizações de status e comunicação clara em incidentes.
- Participar de reuniões de alinhamento para tratativas de incidentes críticos.
Requisitos
Formação Acadêmica
- Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação, Análise e Desenvolvimento de Sistemas ou áreas correlatas.
Experiência
- Experiência atuando com BigData, Data Engineering ou operação de ambientes analíticos.
- Experiência prévia com troubleshooting e sustentação de pipelines e workflows críticos.
Soft Skills:
- Comprometimento com horários, entregas e responsabilidades.
- Proatividade para resolver problemas complexos em ambientes críticos.
- Capacidade analítica e atenção a detalhes.
- Boa comunicação e habilidade de trabalhar com múltiplos times.
- Organização, disciplina e orientação a processos.
- Resiliência para atuar sob pressão em incidentes de alta criticidade.
Descrição perfil técnico:
Big Data & Processamento Distribuído
- Experiência em ambientes Hadoop, Spark, Hive, Impala, HDFS ou plataformas equivalentes.
- Conhecimento prático em pipelines de ingestão, transformação e orquestração de dados.
- Uso de ferramentas de orquestração como Airflow, Oozie, Control-M ou similares.
Streaming & Integrações
- Conhecimento de mensageria/streaming (Kafka, EventHub, Kinesis).
Linguagens e Scripts
- Conhecimento em SQL avançado.
- Experiência com Python e Shell Script para automações e análises.
Monitoramento e Observabilidade
- Experiência com Dynatrace, Grafana, Kibana, Splunk ou ferramentas similares.
- Cloud
- Conhecimento de serviços de dados em Cloud OCI (Obrigatório) – Desejável Azure e AWS.
- Conhecimento de Data Lake, Data Lakehouse e integrações com ambientes híbridos.
Ferramentas Operacionais
- Jira / ServiceNow
- Git / Versionamento
- Ferramentas de documentação (Confluence, SharePoint)
Diferenciais:
- Experiência prévia em operação de ambientes BigData corporativos.
- Experiência com Databricks, Cloudera ou HDInsight.
- Certificações de Engenharia de Dados ou Cloud.
- Conhecimento em Data Mesh, Data Governance e arquiteturas modernas de dados.
- Experiência com CI/CD aplicado a dados.
