As atividades do Engenheiro de Dados estão ligadas a estruturação de dados, ingestão, modelagem e criação de estruturas de dados para Analytics, Data Science e Business Intelligence

Também conhecido como Data Engineer é um profissional que tem ganho muito espaço dentro das empresas desde a chegada do advento do Big Data e Data Science.

O Data Engineer é o profissional responsável por garantir que os dados (informações) estejam fluindo das origens até os destinos corretos, trabalhando no desenvolvimento de fluxos de dados ( data flows ) ou também chamados como pipelines. Existem diversas ferramentas e linguagens de programação para o desenvolvimento de fluxos.

O que faz um Engenheiro de Dados ?

O Engenheiro de Dados tem sua rotina de trabalho ligada ao desenho e desenvolvimento de procedimentos e objetos para armazenamento de dados, normalmente as rotinas são processos de carga (ETL) ou Ingestão de Dados.

Dentro dessas rotinas também estão os procedimentos de tratamento, limpeza e qualidade de dados

A Ingestão de Dados é um termo muito recorrente no mundo de Big Data, onde os dados são inseridos dentro de uma estrutura geralmente não relacional de dados ( para quem está acostumado com bancos de dados relacionais (RDBMS) ) essas estruturas podem ser baseadas em file system open source como Hadoop ou sistemas de Cloud.

No Hadoop o file system utilizado é o HDFS, sistemas de cloud possuem suas próprias tecnologias como S3 da AWS ou Blob Storage da Azure, além do File System do Google Cloud.

Também é responsável por alimentar o Data Warehouse ou Data Lake da Empresa.

Qual a Formação de um Data Engineer ?

Atualmente não existe uma formação superior ( pelo menos até agora – Março 2020 ) em Engenharia de Dados, claro que deve surgir, algo em breve. Geralmente são formados em tecnologia e se especializam em Engenharia de Dados através de treinamentos específicos ou mesmo especializações de Mercado.

Softwares para uso em Engenharia de Dados.

Os softwares podem ser diversos :

Open Source – Hadoop, Spark ( python, scala ou R ), Sqoop, Flink, Apache Nifi, entre outros.

Integração e ETL como – Informatica Power Center, SSIS, etc.

Softwares do Cloud utilizado, seja AWS, Azure ou Google Cloud.

Outras Atribuições do Engenheiro de Dados

A posição é muito ampla e digamos até mesmo complexa, é bastante comum vermos engenheiros de dados fazendo modelagem e construção de estruturas de dados em clustes de big data, bancos nosql ou mesmo bancos de dados relacionais.

A construção de relatórios e dashboards também acontece com bastante frequencia, dependendo muito do tamanho do projeto e da equipe colocada ao trabalho.

Mas de uma maneira muito simples o engenheiro de dados é o cara principal das Integrações e Processamentos de Dados dentro de um Ambiente de Big Data.

Salário de Engenheiro de Dados

Segundo o site Vagas o salário médio de um engenheiro de dados é de R$ 7.700,00, mas bastante comum encontrar salários na faixa de R$ 10.000,00 ou valores superiores, considerando contratação CLT. Em vagas PJ ( Pessoa Jurídica ) encontramos de profissionais na faixa de R$ 20.000,00, claro com muita experiência.