fbpx

Data Engineer ou Engenheiro de Dados – Conheça mais sobre

O Engenheiro de Dados é um profissional que tem ganho muito espaço dentro das empresas desde a chegada do advento do Big Data e Data Science.

O Data Engineer é o profissional responsável por garantir que os dados (informações) estejam fluindo das origens até os destinos corretos.

 

O que faz um Engenheiro de Dados ?

As Principais atribuições de um engenheiro de dados estão ligadas a desenhar e desenvolver rotinas e objetos para armazenamento de dados, normalmente as rotinas são processos de carga (ETL) ou Ingestão de Dados.

Dentro dessas rotinas também estão os procedimentos de tratamento, limpeza e qualidade de dados

A Ingestão de Dados é um termo muito recorrente no mundo de Big Data, onde os dados são inseridos dentro de uma estrutura geralmente não relacional de dados ( para quem está acostumado com bancos de dados relacionais (RDBMS) ) essas estruturas podem ser baseadas em file system open source como Hadoop ou sistemas de Cloud.

No Hadoop o file system utilizado é o HDFS, sistemas de cloud possuem suas próprias tecnologias como S3 da AWS ou Blob Storage da Azure, além do File System do Google Cloud.

Também é responsável por alimentar o Data Warehouse ou Data Lake da Empresa.

 

Qual a Formação de um Data Engineer ?

Atualmente não existe uma formação superior ( pelo menos até agora – Março 2020 ) em Engenharia de Dados, claro que deve surgir, algo em breve. Geralmente são formados em tecnologia e se especializam em Engenharia de Dados através de treinamentos específicos ou mesmo especializações de Mercado.

Softwares para uso em Engenharia de Dados.

Os softwares podem ser diversos :

Open Source – Hadoop, Spark ( python, scala ou R ), Sqoop, Flink, Apache Nifi, entre outros.

Integração e ETL como – Informatica Power Center, SSIS, etc.

Softwares do Cloud utilizado, seja AWS, Azure ou Google Cloud.

Outras Atribuições

A posição é muito ampla e digamos até mesmo complexa, é bastante comum vermos engenheiros de dados fazendo modelagem e construção de estruturas de dados em clustes de big data, bancos nosql ou mesmo bancos de dados relacionais.

A construção de relatórios e dashboards também acontece com bastante frequencia, dependendo muito do tamanho do projeto e da equipe colocada ao trabalho.

Mas de uma maneira muito simples o engenheiro de dados é o cara principal das Integrações e Processamentos de Dados dentro de um Ambiente de Big Data.

Conheça mais em outros artigos :

Saiba mais sobre Big Data

Sobre o autor

Marco Garcia

Comentar

Your sidebar area is currently empty. Hurry up and add some widgets.

/* ]]> */