Engenheiro Big Data Sênior

Sobre a oportunidade

Você é um profissional com mais de 5 anos de experiência em Engenharia de Big Data, capaz de desenvolver as atividades com ampla autonomia, tendo potencial para desempenhar papéis de liderança e possui habilidade de lidar com tarefas de alta complexidade, solucionar desafios intrincados e fazer escolhas ponderadas, respaldadas por seu conhecimento e trajetória profissional?

Local

Salvador - BA

Presencial

Responsabilidades

Formação e Liderança: Como um profissional sênior, espera-se que esse indivíduo atue como mentor para membros mais jovens da equipe, transmitindo conhecimento e orientação técnica.

Desenho e Implementação de Soluções de Big Data: Projetar, construir e implementar soluções de big data para atender às necessidades de armazenamento, processamento e análise de grandes volumes de dados.

Manutenção da Infraestrutura: Garantir que os sistemas de big data estejam sempre operacionais, otimizados e com bom desempenho.

Otimização de Performance: Monitorar e otimizar a performance dos sistemas de big data, garantindo processamento rápido e eficiente dos dados.

Segurança dos Dados: Implementar e manter padrões e protocolos de segurança para proteger os dados e garantir a privacidade e conformidade, especialmente em contextos regulamentados.

Colaboração Interdisciplinar: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender suas necessidades e traduzi-las em soluções técnicas.

Escalabilidade: Projetar soluções que possam crescer em escala, lidando com volumes cada vez maiores de dados, sem comprometer a performance.

Implementação de Ferramentas de Big Data: Trabalhar com uma variedade de tecnologias de big data para implementar soluções adequadas às necessidades.

Gestão de Pipeline de Dados: Criar e gerenciar pipelines de dados completos, desde a ingestão até o armazenamento, processamento e análise.

Automatização: Implementar soluções automatizadas para tarefas recorrentes, garantindo eficiência e redução de erros manuais.

Avaliação de Novas Tecnologias: Manter-se atualizado com as últimas tecnologias e tendências em big data, avaliando e recomendando novas ferramentas e abordagens que podem beneficiar a organização.

Documentação: Criar documentação técnica robusta para soluções implementadas, garantindo que outros engenheiros e partes interessadas compreendam as soluções e possam trabalhar com elas no futuro.

Requisitos

Diploma em Ciência da Computação, Engenharia da Computação, Sistemas de Informação ou campos relacionados.

Mínimo de 5 anos em funções relacionadas à big data, com ênfase em infraestrutura e serviços;

Experiência comprovada no desenho, implementação, operação e otimização de soluções de big data escaláveis;

Histórico de projetos bem-sucedidos em ambientes complexos e de alta disponibilidade.

Profundo conhecimento e experiência prática com tecnologias de big data, como, Spark, ElasticSearch, Kubernetes, Hadoop, entre outras soluções para Big Data;

Experiência com Linux, Shell Script e configuração de serviços Linux;

Experiência com bancos de dados NoSQL, como Cassandra, InfluxDB ou Neo4j;

Experiência com ferramentas de Infraestrutura como Código (IoC), como Ansible e Terraform;

Experiência com orquestração de workflows de dados, como Apache Airflow ou Luigi;

Conhecimento em sistemas de armazenamento distribuído, como MinIO e HDFS;

Conhecimento sobre técnicas e ferramentas de otimização de performance para big data;

Habilidade em linguagens de programação Python, Java ou Scala;

Familiaridade com estruturas e operacionalização de data center on-premise;

Familiaridade com as melhores práticas de arquitetura de software.

Capacidade de comunicação, tanto para explicar complexidades técnicas para stakeholders não técnicos quanto para colaborar eficazmente com a equipe;

Capacidade de liderança e mentoria para desenvolver membros mais jovens da equipe;

Habilidades analíticas aguçadas e abordagem orientada a problemas.

Conhecimento em práticas de segurança voltadas para big data e conformidade regulamentar;

Experiência com contêineres e orquestração;

Inglês intermediário, especialmente para leitura e escrita técnica;

Disposição para se manter atualizado em uma área de tecnologia em rápida evolução.

Diferenciais

Certificações profissionais em big data ou tecnologias relacionadas;

Pós-graduação em campos relacionados com a vaga;

Conhecimentos de ambiente HPC;

Conhecimentos de integração de dados e interoperabilidade;

Experiência anterior em setores relacionados à saúde ou pesquisa;

Experiências com orquestradores e ferramentas para trabalho com Kubernetes, como Kubesphere, Kubeflow, Rancher e outras;

Conhecimento sobre padrões e regulamentos de saúde, como Lei Geral de Proteção de Dados (LGPD), GDPR e HIPAA;

Conhecimentos técnicos sobre Segurança da Informação e Privacidade (Privacy by Design);

Familiaridade com soluções de Cloud Computing, como AWS, Google Cloud ou Azure, e seus respectivos serviços voltados para big data;

Familiaridade com práticas de DevOps e CI/CD.

Carga horária

Presencial

Sobre a empresa

O CIDACS é um centro pioneiro na integração de dados, focado em entender, estudar e avaliar as condições de saúde da população brasileira por meio de Big Data.

Nosso trabalho auxilia gestores públicos, pesquisadores e a comunidade, contribuindo para transformar vidas.