Descrição

Implementar novas soluções de arquitetura de dados seguras, confiáveis, disponíveis e escaláveis
Implementar modelos de repositórios de dados da instituição tais como (Data Lakes, Delta Lake, Bases relacionais e não relacionais)
Implementar código, apoiar equipe na aquisição de dados, recuperação de informação, implementação de pipelines de processamentos de dados
e armazenamento de dados
Manter repositórios de dados seguros e pipelines de integração confiáveis e escaláveis
Implementar estruturas de comunicação de dados entre sistemas legados e repositórios de dados
Implementar as melhores práticas de segurança e criptografia para ambiente big data & data analytics
Prover suporte técnico as soluções de integração e tratamento de dados
Apoiar equipes de BackEnd, Análise e ciência de dados
Cuidar para que tudo funcione de maneira automática
Apoiar na analise e testes de novas tecnologias que possam melhorar nossos processos
Apoiar no planejamento e realização de novos projetos inerentes às soluções de dados na instituição.

Requisitos

Esperamos que você tenha:
Conhecimento na linguagem Python
Experiência em SQL
Inglês no mínimo intermediário
Noção das ferramentas de Dados da AWS
Noção em trabalhar com ETLs
Noção em tecnologias Datalake / Deltalake 
Noção em tecnologias de streaming de dados (Kinesis / Kafka)

Seria legal se você soubesse:
Conhecimento na linguagem NodeJs
Experiência nas ferramentas de Dados da AWS
Experiência em trabalhar com CDC (Change Data Capture) - Stream.


Ferramentas Que irá trabalhar( Grau de Conhecimento Básico ):

Ferramentas / Conceitos
Spark
Airflow

Ferramentas AWS ( Dados )
EKS
S3
Iam Role
RDS
Glue
Athena

Ferramentas de Apoio do Deploy e Desenvolvimento
Terraform
k8slens
Jupyter Notebook
Docker
Grafana