Data Warehouse: Tudo o que você precisa saber!

Data Warehouse

O que é Data Warehouse?

O DW ou Data Warehouse surgiu como conceito acadêmico, criado na década de 1980.  Um conceito que define um Banco de Dados com capacidade de armazenar e organizar um grande volume de dados; responsável por criar e organizar relatórios por meio de históricos, que podem ajudar uma empresa obter insights e auxílio na tomada de decisões importantes. Traduzindo diretamente ao português temos “Armazem de Dados”

Data Warehouse – Objetivo

O objetivo do Data Warehouse é centralizar os dados retirados de diversas fontes e facilitar a consulta. Os dados podem ser extraídos de:

  • Planilhas;
  • ERPs;
  • CRMs etc e

 

Com diversos formatos:

  • Bancos de Dados (SQL
  • XLS
  • TXT, CSV, etc

 

Após a extração, os dados normalmente são acomodados na Staging Area, que é uma área destinada aos processos de qualidade e padronização dos dados. Posteriomente podem ser direcionados ao Enterprise Data Warehouse (EDW) ou aos Data Marts diretamente. Com isso, é possível buscar todas as informações importantes em um único lugar – organizado e atualizado, criado com foco em facilitar a consulta.

 

Data Warehouse – Vantagens e Desvantagens

Algumas das principais vantagens do são:

  • Simplicidade;
  • Qualidade de dados;
  • Acesso rápido;
  • Facilidade de uso;
  • Separa as operações de decisão das operações de produção;
  • Vantagem competitiva;
  • Custo de operação;
  • Administração do fluxo da informação;
  • Habilita o processo paralelo;
  • Infra-estrutura computacional;
  • Valores quantitativos e segurança.

 

Também tem algumas desvantagens:

  • Complexidade de desenvolvimento;
  • Tempo de desenvolvimento;
  • Alto custo de desenvolvimento;
  • Administração e treinamento.

 

Data Warehouse – Características

Comumente é conhecido como um imenso banco de dados capaz de armazenar milhões de registros. Contudo, ele não consiste somente nisso, existem outras importantes características que fazem dele um poderoso aliado da organização. Dentre elas, Turban (2004) diz que as principais são:

  • Organização;
  • Consistência;
  • Variedade de tempo;
  • Não-volatilidade;
  • Estrutura relacional;
  • Arquitetura clinete/servidor.

 

Data Warehouse – Segurança

Suas informações estão disponíveis apenas para leitura. Seus dados não podem ser modificados, exceto em casos onde tais dados tenham sido inseridos de modo incorreto. A possibilidade de fazer apenas a leitura das informações assegura a integridade do conteúdo armazenado.

 

Data Warehouse X Data Mart

Ilustração da diferença entre Data Warehouse e Data Mart
Ilustração da diferença entre DW e DMs

Um Data Mart é uma subdivisão ou subconjunto de um DW. Os data marts são como pequenas fatias que armazenam subconjuntos de dados, normalmente organizados para um departamento ou um processo de negócio.

Normalmente o Data Mart é direcionado para uma linha de negócios ou equipe, sendo que a sua informação costuma pertencer a um único departamento.

 

BI X Data Warehouse

O Data Warehouse é parte do processo de Business Intelligence - BI
O Data Warehouse é parte do processo de Business Intelligence – BI

O BI ou Business intelligence (inteligência empresarial em português), é o processo de recolha e tratamento de informações que apoiam a gestão de um negócio.

Normalmente, as várias vertentes de business intelligence utilizam informação recolhida em um data warehouse. Apesar disso, nem todos os data warehouses são usados no contexto de business intelligence, porque nem todos as aplicações de business intelligence exigem um dw, algumas ferramentas montam internamente sua própria estrutura de dados.

OLAP x Data Warehouse

Ilustração de como os dados são visualizados
Ilustração de como os dados são visualizados

OLAP (Online Analytical Processing – Processo Analítico em Tempo Real), é uma das ferramentas mais usadas para a exploração de um DW. O OLAP possibilita alterar e analisar grandes quantidades de dados em várias perspectivas diferentes. Alguns exemplos de ferramentas:

  • Microstrategy
  • Tableau
  • Qliksense
  • Power BI

 

A aplicação dessa ferramenta pode ser usada pelos gestores de qualquer área e nível, disponibilizando informações e ajudando na decisão final. O uso da OLAP pode ser aplicado em funções muito distintas, algumas das mais utilizadas variam desde funções financeiras:

  • Fluxos de caixa;
  • Contas;
  • Orçamentos, etc.

 

No marketing:

  • Análise de preço;
  • Volume de mercado;
  • dutos mais vendidos.

 

Nas vendas:

  • Previsões;
  • Lucro;
  • Clientes.

 

Exemplo prático

Os dados de um Data Warehouse podem ser apresentados numa interface gráfica amigável para facilitar a tomada de decisão.
Os dados de um Data Warehouse podem ser apresentados numa interface gráfica amigável para facilitar a tomada de decisão.

O Ministério da Justiça possui +1 Bilhão de registros que estão armazenados em um Data Warehouse. Além de um poderoso supercomputador da IBM, chamado Watson, que é capaz de coletar, agrupar e processar petabytes de dados em frações de segundos.

Os dados organizados e armazenados num Banco de Dados com conceito de modelagem de dados atual (Data Warehouse) permite, ao Ministério da Justiça, alcançar seu objetivo: Identificar indícios de ações ilícitas, sobre tudo ligadas à lavagem de dinheiro.

 

Quem pode aprender Data Warehouse?

Qualquer profissional interessado em ingressar no ramo de Business Intelligence, que tenha afinidade ou queira aprender Banco de Dados/SQL. O profissional deve possuir características técnicas e conhecimento em negócios. O caminho que recomendamos e adquirir conhecimento através das ferramentas utilizadas.

Qual curso fazer?

Claro, o curso de Data Warehouse, oras! O curso de Introdução ao DW faz parte dos cursos iniciais de nossas formações de Business Intelligence (BI) e Data Warehouse (DW).  Neste curso ensinaremos os conceitos e fundamentos das disciplinas de BI e DW. Durante o módulo, transmitimos uma visão mais abrangente e completa sobre os sistemas de inteligência; bem como suas principais ferramentas, etapas e processos necessários.

Visite nossa página de treinamentos para conhecer todas as opções de treinamentos de DW, além dos treinamentos de BigData, Hadoop, etc.

https://www.cetax.com.br/categoria/gestao-de-dados/

Qual conteúdo do curso?

Este é o conteúdo que será abordado durante o curso.

  • Introdução aos Conceitos de Data Warehouse
  • Introdução aos conceitos de Business Intelligence
  • Evolução dos Sistemas (DSS/EIS/bi)
  • Definição das siglas (DW/BI/ETL/ODS/CPM/MDM,etc)
  • Funções e componentes do Data Warehouse
  • Análise das Ferramentas utilizadas em cada parte do DW
  • Players do Mercado de BI/DW
  • Funções e Perfis dos analistas de DW
  • Demonstrações das ferramentas

Conheça mais sobre o DW nesse post do nosso blog :

Data Warehouse / Armazém de Dados: O que é, conceito e definição

Visite também a página de artigos do Ralph Kimball, muito conteúdo :

https://www.kimballgroup.com/category/articles-design-tips/

Douglas Godoi

Formado em Marketing e pós-graduando em Digital Data Marketing – FIAP. É, atualmente, responsável pelo Marketing Digital da Cetax. Também é viciado em café; apaixonado por empreendedorismo; entusiasta de tecnologia, inovação e fotografia.

Please create new and select contact form.