Desenvolvedor Pyspark

Profissional com sólida experiência em Engenharia de Dados em larga escala, especialista em PySpark e Databricks para criação e otimização de pipelines. Domínio avançado de Python, SQL e .NET (C#), atuando em ambientes multicloud (Azure, AWS, GCP) e migração de sistemas para a nuvem. Experiência em performance tuning, sistemas de recomendação escaláveis e integração de ferramentas como Airflow, ADF, BigQuery e Delta Lake, seguindo práticas de CI/CD e metodologias ágeis.
Brasil SP São Paulo Híbrida

Requisitos

  • Experiência em Engenharia de Dados com foco em larga escala.
  • Expetise em PySpark e Databricks para desenvolvimento e otimização de pipelines.
  • Domínio de Python (avançado em PySpark), SQL e .NET (C#).
  • Atuação em ambientes multicloud: Azure, AWS e Google Cloud.
  • Experiência em migração de sistemas legados para a nuvem.
  • Otimização de performance com redução de tempo de execução em mais de 60%.
  • Criação de sistemas de recomendação escaláveis com PySpark.
  • Conhecimento em Apache Airflow, Azure Data Factory, BigQuery, Delta Lake e Oracle.
  • Práticas de CI/CD com Azure DevOps.
  • Atuação com metodologias ágeis (Scrum, Kanban) e cultura DevOps.
CANDIDATAR-SE

    Aceito que meus dados sejam utilizados para possibilitar que a Jump Label identifique e entre em contato com o titular dos dados para fins de relacionamento e ações de seleção para vaga.

    Mais informações: Híbrido 2x por semana em Chácara Santo Antônio, São Paulo.

    Nível de experiência: Sênior

    Tipo de alocação: Híbrida