Data Warehouse
CEA462 – Sistemas de Apoio à
Decisão
<<seu nome aqui!>>
Universidade
Prof. MSc. Federal
George de Ouro
H. G. Preto
Fonseca
DECEA / João Monlevade
Universidade Federal de Ouro Preto
1
Sumário
Definição Implementação
Top Down
Botton up
Ambiente
Combinada
Ferramentas ETL
Data Marts
Metadados
Arquiteturas
Global
Data Marts independentes
Data Marts integrados
2
Introdução
A informação é o melhor recurso do qual empresas
podem dispor para tomar decisões
Obtida analisando históricos sobre vendas, clientes,
produtos, etc
Dados conflitantes de fontes diversas podem gerar
informações desencontradas
3
Introdução
A quantidade de dados a serem considerados cresce
com a expansão do negócio e com o passar do tempo...
Data Warehouses auxiliam a resolver esses problemas
ao prover montantes gigantescos de dados temporais
integrados para posterior análise!
4
Histórico
Criado pela IBM na década de 60 com o nome
Information WareHouse
Relançado diversas vezes sem sucesso
O nome Data WareHouse foi dado por William Inmon,
considerado o pai desta tecnologia
Tornou-se viável com o surgimento de novas tecnologias para
armazenar e processar uma grande quantidade de dados.
5
Definição
Conjunto de dados agrupados por assunto,
integrados, variável em relação ao tempo e não
volátil, que serve de suporte para o processo de
tomada de decisões
6
Definição
Orientado a Assunto
Um Data Warehouse está sempre orientado ao redor do principal
assunto da organização
Ao contrário de aplicações clássicas, orientadas por processos /
funções
Integrado
Os dados criados dentro de um ambiente de Data Warehouse
são integrados
A integração beneficia com a convenção consistente de nomes,
estrutura consistente de códigos etc 7
Definição
Não volátil
Os dados nunca são excluídos nem alterados de um Data
Warehouse
Variante no tempo
Data Warehouse apresenta os dados com seu posicionamento
em relação ao tempo
8
Comparativo com BD operacional
Aspecto BD Operacional Data Warehouse
Usuários Funcionários Alta administração
Utilização Tarefas Cotidianas Decisões estratégicas
Padrão de Uso Previsíveis Difícil de prever
Princípio de Func. Com base em transações Com base em análise de dados
Valores de dados Valores atuais e voláteis Valores históricos e imutáveis
Detalhamento Alto Sumarizado
Organização dos dados Orientado a aplicações Orientado a assunto
9
Comparativo com BD operacional
Algumas diferenças adicionais do Data Warehouse para
um BD operacional
Permitem a redundância de dados
Buscas complexas e ad hoc (personalizadas pelo usuário)
Modelagem de dados multidimensional
10
Ambiente de Data Warehouse
Centralizado
(Staging Area)
FAD 1
Ferramentas
ETL
Data FAD 2
Warehouse
Procedimentos
ETL FAD 3
Ambiente Ambiente DW Ambiente
Transacional De Extração Corporativo De Usuário
11
Ambiente de Data Warehouse
Com Data Marts
(Staging Area)
Data
Mart
FAD 1
Ferramentas
ETL
Data
Data Mart
FAD 2
Warehouse
Procedimentos
ETL Data
Mart FAD 3
Ambiente DW Ambiente
Ambiente Ambiente
De Extração Corporativo Dos
Transacional De Usuário
Data Marts
12
Ambiente de Data Warehouse
Extraction, Transformation and Load
Consiste da integração e limpeza dos dados
Integração: consolidação dos dados de diversas origens
Limpeza: rejeição de valores inválidos
13
Ambiente de Data Warehouse
Extraction, Transformation and Load
Os processos ETL consomem 70% do tempo de
desenvolvimento em um projeto de DW
Estes processos são específicos para cada organização
Opcionalmente, pode-se ter uma segunda área intermediária,
chamada Operational Data Store (ODS)
14
Ambiente de Data Warehouse
Extraction, Transformation and Load
Carga – receber os dados de diversos Sistemas de
Processamento de Transações
SQL Server Vendas
Vendas
ORACLE Marketing
Data Serviços
Produção Warehouse
Planilhas
RH Outras
Outros
Integrar, validar, Povoar o Distribuir 15
consolidar os dados Data Warehouse os dados
Ambiente de Data Warehouse
Extraction, Transformation and Load
Transformação e integração - processo de formatação e
modificação de dados extraídos de várias origens para
transformá-los em informações úteis ao Data Warehouse
Os dados de origem são consistentes mas apresentados de
diferentes formas
Data Warehouse
codificação
Aplicação A m, f
m, f
Aplicação B 1, 0
Aplicação C masculino, feminino
16
Ambiente de Data Warehouse
Extraction, Transformation and Load
Transformação e integração
Data Warehouse
Medidas e atributos
Aplicação A centímetros
centímetros
Aplicação B polegadas
Aplicação C pés
17
Ambiente de Data Warehouse
Extraction, Transformation and Load
Transformação e integração
mudança
Nome_Cliente Categoria Compras Nome_Cliente Categoria Compras
Barr, Adam II 17,60 Barr, Adam 2 17,60
Chai, Sean IV 52,80 Chai, Sean 4 52,80
Melia, Erin VI 8,82 Melia, Erin 6 8,82
... ... ... ... ... ...
Primeiro Ultimo Categ Compras junção Nome_Cliente Categ Compras
Adam Barr 2 17,60 Barr, Adam 2 17,60
Sean Chai 4 52,80 Chai, Sean 4 52,80
Erin Melia 6 8,82 Melia, Erin 6 8,82
... ... ... ... ... ...
Nome_Cliente Preço Qtde Nome_Cliente Preço Qtde Total
Barr, Adam 0,55 32
cálculo Barr, Adam 0,55 32 17,60
Chai, Sean 1,10 48 Chai, Sean 1,10 48 52,80
18
Melia, Erin 0,98 9 Melia, Erin 0,98 9 8,82
... ... ... ...
Ambiente de Data Warehouse
Data Mart
Data Mart - Subconjunto lógico de um Data Warehouse,
um Data Warehouse setorial
Geralmente descritos como um subconjunto dos dados contidos
em um Data Warehouse extraído para um ambiente separado
Finanças Data Mart
Finanças
RH RH Data Mart
Marketing
Marketing Data Mart 19
Data Warehouse
Arquitetura de Data Warehouses
Arquitetura global
Utiliza um repositório comum de dados, integrado, utilizado por
toda a organização
Dados
Operacionais
e Externos
Arquitetura
Global
20
Arquitetura de Data Warehouses
Arquitetura de data marts independentes
Possui um data mart para atender a cada departamento em
específico
Não se tem acesso aos data marts de outros departamentos
Dados
Operacionais
e Externos Arquitetura
Independente
21
Arquitetura de Data Warehouses
Arquitetura de data marts integrados
Possui um data mart para atender a cada departamento em
específico
Os dados são compartilhados entre os data marts de diferentes
departamentos
Dados
Operacionais
e Externos Arquitetura
Integrada
22
Implementação de Data Warehouses
Abordagem Top-down
O modo como os dados serão armazenados e consultados
nasce do DW e posteriormente são distribuídos entre os Data
Marts
Tem objetivo de atender às necessidades da organização como
um todo e não departamentos isolados
Modelo mais comum de implementação
Demorada implementação e resultado apenas a longo prazo
23
Implementação de Data Warehouses
Abordagem Bottom-up
Parte dos Data Marts até compor o DW por completo
Maior dificuldade na padronização dos dados
Implementação mais rápida e manutenção mais fácil devido ao
menor tamanho das partes
24
Implementação de Data Warehouses
Abordagem Combinada
Combina características de ambas abordagens
Planejamento geral da estruturação do DW para toda a
organização (conforme Top-down)
Desenvolvimento dos data marts de forma graduada,
apresentando funcionalidades parciais
A criação de cada data mart é padronizada para facilitar a
integração dos dados
25
Metadados
“Dados sobre dados”
Possuem papel de grande importância nos DW
Especialmente na fase de desenvolvimento, onde especificam os
dados de variadas fontes..
26
Bibliografia
Tecnologia e Projeto de Data Warehouse. Machado, F.N.R..
São Paulo, Erica, 2010.
27