Tecnologias
Inserir TítulodeAqui
Inserir
BI e BigTítulo
Data Aqui
Data Warehousing
Responsável pelo Conteúdo:
Prof. Me. Orlando da Silva Junior
Revisão Textual:
Prof.ª Dr.ª Selma Aparecida Cesarin
Data Warehousing
Nesta unidade, trabalharemos os seguintes tópicos:
Fonte: Getty Images
• Inteligência de Negócios e Armazenamento de Dados;
• Processos de Armazenamento de Dados;
• Gestão de Desempenho de Negócios.
Objetivos
• Entender os conceitos de Armazenamento de Dados;
• Descrever processos de extração, transformação e carga de dados;
• Avaliar o desempenho de Sistemas de BI.
Caro Aluno(a)!
Normalmente, com a correria do dia a dia, não nos organizamos e deixamos para o úl-
timo momento o acesso ao estudo, o que implicará o não aprofundamento no material
trabalhado ou, ainda, a perda dos prazos para o lançamento das atividades solicitadas.
Assim, organize seus estudos de maneira que entrem na sua rotina. Por exemplo, você
poderá escolher um dia ao longo da semana ou um determinado horário todos ou alguns
dias e determinar como o seu “momento do estudo”.
No material de cada Unidade, há videoaulas e leituras indicadas, assim como sugestões
de materiais complementares, elementos didáticos que ampliarão sua interpretação e
auxiliarão o pleno entendimento dos temas abordados.
Após o contato com o conteúdo proposto, participe dos debates mediados em fóruns de
discussão, pois estes ajudarão a verificar o quanto você absorveu do conteúdo, além de
propiciar o contato com seus colegas e tutores, o que se apresenta como rico espaço de
troca de ideias e aprendizagem.
Bons Estudos!
UNIDADE
Data Warehousing
Contextualização
A transformação dos dados brutos em dados “informacionais” foi um grande passo
da Área de Tecnologia nos últimos tempos.
Tornar a Tecnologia da Informação uma atividade estratégica sempre foi uma dificul-
dade para Organizações que pensavam nela como uma central de custos necessária para
o negócio, e não como um ativo importante para a geração de receitas e patrimônio.
Com os dados estruturados em dimensões, tempo, geografia, tipos etc., conseguimos
informações mais precisas sobre o negócio no qual trabalhamos horas e horas todos os dias.
Por exemplo, um Relatório que mostre o consumo médio de energia elétrica para bares
(tipo de cliente) em Laguna (geografia) no período de janeiro a maio de 2017 (tempo).
A inteligência de negócios nos permitiu construir essa visão.
Nesta Unidade, vamos compreender o fluxo que os dados seguem em um ambiente
corporativo, começando com a captura das fontes de informação e chegando à análise
de dados dos tomadores de decisão.
6
Inteligência de Negócios
e Armazenamento de Dados
O Armazenamento de Dados tem sido uma premissa fundamental para o funciona-
mento de Sistemas de Informações Gerenciais.
Desde a década de 1980, os Data Warehouses têm sido conceituados para dar
embasamento de decisões e fornecer os alicerces informativos para capacidades ana-
líticas avançadas.
Além deles, outros elementos acompanham a sua construção e a tomada de decisão,
conectando os dados à inteligência dos negócios.
Nesta Unidade, você verá os três elementos importantes das Tecnologias de BI e de
Big Data, que são os Data Warehouses, os Processos de Armazenamento de Dados
e a Gestão de Desempenho de Negócios.
O que são Data Warehouses
Um Data Warehouse (ou Armazém de Dados) é uma coleção de dados produzidos
para embasar a tomada de decisões (SHARDA; DELEN; TURBAN, 2019).
Os DWs, como também são chamados, consistem em repositórios contendo dados
históricos e atualizados com potencial interesse para a gestão de toda uma Organização.
Na maior parte das vezes, os dados de um DW são estruturados e organizados de
maneira que a tomada de decisão seja feita de forma analítica.
Raramente, dados não estruturados são utilizados para a tomada de decisão, ainda
que esses dados sejam imagens médicas ou petições judiciais. Com poucas análises, o
tomador de decisão deve ser capaz de decidir.
Características dos Data Warehouses
Um Data Warehouse é uma coleção de dados orientada a assunto, integrada, não
volátil, variável no tempo para suporte às decisões da gerência. Também podem ser
conceituados e compreendidos a partir dessas e outras características (INMON, 2005):
• Orientado por assunto: no DW, os dados são organizados por assuntos, como pro-
dutos, vendas e clientes. Cada assunto organizado tem informações suficientemente
relevantes para a tomada de decisões de cada área do negócio, proporcionando
visão sistêmica da Organização;
• Integrado: o DW deve se consistir dados vindos de fontes diferentes, disponibilizan-
do-os de maneira centralizada e em formato unificado, com acesso fácil aos usuários;
• Variável no tempo: no DW, os dados históricos permitem detectar tendências, des-
vios e relações em longo prazo, permitindo a realização de previsões e comparações.
O fator temporal é uma medida importante em Sistemas de Armazenamento de
Dados, pois, geralmente, os dados estão organizados dessa forma (visões diárias,
quinzenais, mensais, semestrais etc.);
7
7
UNIDADE
Data Warehousing
• Não volátil: após a inserção dos dados no armazém, eles não podem mais ser
alterados ou atualizados. Dados desatualizados podem ser expurgados e todas as
modificações são registradas como novos dados.
Outras características podem ser apresentadas para os DWs, como a sua estrutura
relacional e multidimensional, a estrutura cliente/servidor para acesso aos dados pelos
usuários e a capacidade de análise em tempo real.
Data Marts
Data Marts (DM) conjuntos de dados especializados que armazenam dados de deter-
minada Área de Negócios da Organização. Eles possuem uma estrutura organizada que
privilegia a extração de informações que são importantes para o negócio, como informa-
ções condensadas de vendas por clientes e segmentos de Mercado (DE MORAIS, 2018).
Enquanto o Data Warehouse combina diferentes Bancos de Dados, o data mart geral
mente é menor e se concentra em um assunto ou Departamento particular (SHARDA;
DELEN; TURBAN, 2019).
Na prática, um DM é um subconjunto do Data Warehouse direcionado a uma área
da Empresa, podendo ser dependente ou independente.
Data marts dependentes são criados diretamente a partir de um Data Warehouse.
Já os data marts independentes são pequenos Data Warehouses projetados para
uma Unidade ou Departamento Estratégico de Negócios, sendo que sua fonte não é um
Data Warehouse empresarial.
DMs dependentes garantem que todos os usuários finais estejam observando a mes-
ma versão dos dados, sendo mais consistentes e de maior qualidade.
Metadados
Metadados são dados que descrevem a estrutura e o significado dos dados. Em ter-
mos práticos, são definidos como técnicos ou de negócios. De acordo com a Abordagem
por padrões, podemos distinguir os metadados nas seguintes categorias (SHARDA;
DELEN; TURBAN, 2019):
• Metadados sintáticos: dados que descrevem a sintaxe dos dados;
• Metadados estruturais: dados que descrevem a estrutura dos dados;
• Metadados semânticos: dados que descrevem o significado dos dados em domí-
nios específicos.
Os metadados facilitam o entendimento dos relacionamentos entre os dados e são
indispensáveis para a comunicação entre computadores.
Todos os dados descritivos de um arquivo ou documento são metadados, como nome
do arquivo, autor e data de criação.
8
Projeto de Data Warehouse
A construção de Data Warehouses corporativos se apoia basicamente em duas abor-
dagens opostas: uma por Bill Inmon e outra por Ralph Kimball.
As Figuras 1 e 2 ilustram, respectivamente, as arquiteturas para o Projeto de Data
Warehouse propostas por Inmon e Kimball.
Na Abordagem de Inmon, conhecida como Abordagem EDW, o desenvolvimento
acontece de cima para baixo, adaptando ferramentas tradicionais de Bancos de Dados
relacionais como utilitários do Armazém de Dados. Essa Abordagem emprega Meto-
dologias e Ferramentas de Bancos de Dados tradicionais, como o modelo entidade-
-relacionamento, diagramas de fluxos de dados e o modelo espiral.
Na Abordagem de Kimball, conhecida como Abordagem DM, a construção acontece
de baixo para cima. Os data marts são construídos um a um, um por vez, com foco em
Departamentos específicos da Organização.
Essa estratégia reduz o tempo de desenvolvimento total do DW, bem como o custo
do seu desenvolvimento e as etapas para a sua implantação final.
Apesar das diversas vantagens do modelo Kimball, não existe uma estratégia que
seja a ideal para todos os tipos de Armazenamento de Dados. Para Empresas que estão
começando esse processo, um único DM é o primeiro passo para um DW mais consis-
tente e extensível a todos os usuários da Organização.
Data Data access
Data tools
mart
Data ETL Data
Warehouse
Data Data access
mart tools
Data
Operational Data Warehouse Deparemental Individual
Figura 1 – Arquitetura de Inmon
Fonte: Adaptada de YESSAD; LABIOD, 2016
Data Warehouse
ERP Data
access
tools
CRM ETL Data mart
Data
access
OTHERS Data mart tools
Operational Departemental Data marts form Data Warehouse Individual
Figura 2 – Arquitetura de Kimball
Fonte: Adaptada de YESSAD; LABIOD, 2016
9
9
UNIDADE
Data Warehousing
Arquiteturas de Armazenamento de Dados
Em contraste com os Bancos de Dados relacionais, um DW mantém dados em formato
não normalizado, beneficiando-se da agilidade garantida em operações de consultas.
O Processo de Desnormalização faz com que o usuário realize consultas de forma
transparente, não precisando saber o nome de Tabelas de Índices ou Tabelas Intermedi-
árias. Assim, um DW estabelece relacionamentos entre entidades de dados e possibilita
consultas de forma eficiente (MACHADO, 2014).
Embora a desnormalização não seja a melhor forma de organizar a informação,
aceitamos e aplicamos esse processo em razão de imperativos rígidos de desempenho.
No caso do DW, o Sistema pode não alcançar um desempenho satisfatório sem a
desnormalização.
Processos de Armazenamento de Dados
Neste item, veremos como funcionam os processos de integração, extração, transfor-
mação e carga de dados.
Também conheceremos os conceitos e ideias para a análise e a modelagem de dados
em Data Warehouses.
Integração de Dados
Um importante propósito de um Data Warehouse é reunir dados advindos de múlti-
plos Sistemas. Na maior parte das aplicações do mundo real, os dados estão distribuídos
em diferentes locais, Sistemas e servidores.
Nesses casos, um dos passos essenciais antes da utilização dos dados analíticos é a con-
catenação de todos os dados necessários à análise em uma base única. Esse procedimento
é conhecido como integração de dados, e pode resolver muitos problemas práticos.
No entanto, a integração de dados apresenta muitos desafios, como as diferentes for-
mas de Armazenagem dos Dados em cada localidade, as diferentes convenções para
datas, chaves de acesso e outras padronizações.
Assim, a integração deve observar três aspectos, que são a redundância dos dados no
momento da concatenação, a duplicidade dos dados e eventuais conflitos.
Extração, Transformação e Carga de Dados
O processo de extração, transformação e carga (ETL) de dados é a atividade central
do processo de ingestão e Armazenamento de Dados.
Seu objetivo é abastecer o Data Warehouse com dados integrados e limpos, que
podem vir de qualquer fonte de informação, como ERPs, mainframes, planilhas ou uma
fila de mensagens.
10
Em essência, o processo de ETL consiste na execução de três etapas:
1. Extração de dados: Leitura de dados de uma ou mais base de dados;
2. Transformação dos dados extraídos: Transformação dos Dados extraídos de
seu formato original para o formato no qual eles precisam estar para poder ser
inseridos em um Data Warehouse, data mart ou outra Base de Dados. A trans-
formação ocorre usando-se regras ou Tabelas de referência ou combinando-se
os dados com outros dados;
3. Carga dos Dados Transformados: Inserção dos Dados no Armazém de Dados.
Os Bancos de Dados tradicionais têm suporte para o Processamento de Transação
On-Line (OLTP), que inclui inserções, atualizações e exclusões, enquanto também têm
suporte para requisitos de consulta de informações, sendo otimizados para processar
consultas e transações.
Nos DWs, trabalhamos como o Processamento Analítico On-Line (OLAP), que é
um termo usado para descrever a análise de dados complexos do DW.
Ferramentas OLAP utilizam capacidades de computação distribuída para análises
que exigem mais armazenamento e poder de processamento do que pode estar em um
desktop individual.
Análise e Modelagem de Dados
A Figura 3 apresenta uma visão geral da estrutura conceitual de um DW. Essa visão
é importante quando começamos a estudar a implementação física dos Sistemas de
Bancos de Dados que irão compor o nosso Data Warehouse.
Fluxo reverso
Data warehouse
OLAP
Dados
Banco de dados Limpeza Reformatação DSS
Metadados EIS
Mineração de dados
Outras entradas de dados
Atualizações/novos dados
Figura 3 – Visão geral da estrutura conceitual de um DW
Fonte: Adaptada de ELMASRI; NAVATHE, 2011
O objetivo da Modelagem Multidimensional é tirar proveito dos relacionamentos
inerentes aos dados para preencher esses dados em matrizes multidimensionais, cha-
madas de cubos.
Por exemplo, um DW pode ser observado como um cubo em três dimensões (perío-
dos fiscais, produtos, regiões da Empresa).
Muitas vezes, o desempenho de dados em formatação dimensional é melhor do que
no Modelo Relacional.
11
11
UNIDADE
Data Warehousing
Os Modelos Multidimensionais também têm esquemas. As Figuras 4 e 5 ilustram os
seguintes esquemas:
• Esquema Estrela: consiste em uma Tabela de Fatos com uma única Tabela para
cada dimensão. Uma constelação de fatos é um conjunto de Tabelas de Fatos que
compartilham algumas Tabelas de Dimensão;
• Esquema Floco de Neve: as Tabelas de Dimensão são organizadas em uma hie-
rarquia ao normalizá-las. Quando normalizamos um DW, procuramos aumentar a
granularidade dos dados, ou seja, o nível de detalhe.
Tabela de fatos I Tabela de dimensão Tabela de fatos II
Resultados de negócios Produto Previsão de negócio
Produto Num_prod Produto
Trimestre Nome_prod Trim_futuro
Região Descr_prod Região
Receita Estilo_prod Receita_projetada
Linha_prod
Figura 4 – Constelação de fatos
Fonte: Adaptada de ELMASRI; NAVATHE, 2011
Tabelas de dimensão Tabelas de dimensão
NomeP Trimestre fiscal Datas TF
Nome_prod Tabela de fatos Trim Data_ini
Descr_prod Produto Ano Data_fim
Resultados de negócios
Num_prod Data_ini
Nome_prod Produto
Estilo Trimestre
Num_linha_prod Regiao
Receita
Região vendas
Num_linha_prod Região
Nome_linha_prod Sub-região
Figura 5 – Esquema floco de neve
Fonte: Adaptada de ELMASRI; NAVATHE, 2011
O Modelo de Armazenamento Multidimensional envolve dois tipos de Tabelas: uma
Tabela de Dimensão, que consiste em tuplas de atributos da dimensão, e uma Tabela
de Fatos, que pode ser imaginada como tendo tuplas, uma para cada fato registrado.
Ela contém algumas variáveis observadas e identifica essas variáveis como ponteiros
para Tabelas de Dimensão, isto é, as Tabelas contêm os dados, e as dimensões identifi-
cam cada tupla nesses dados.
A Figura 6 ilustra as Tabelas de Fato e de dimensão no Esquema Estrela:
12
Tabela de dimensão Tabela de dimensão
Produto Trimestre fiscal
Num_prod Tabela de fatos Trim
Nome_prod Resultados de negócios Ano
Descr_prod Data_ini
Estilo_prod Produto Data_fim
Linha_prod Trimestre
Região_vendas
Receita Tabela de dimensão
Região
Sub-região
Figura 6 – Tabelas de Fato e de dimensão no esquema estrela
Fonte: Adaptada de ELMASRI; NAVATHE, 2011
Mudar da hierarquia unidimensional para outra é chamado de rotação (giro). O cubo
de dados pode ser imaginado girando para mostrar uma orientação diferente dos eixos.
Muitas operações podem ser derivadas da rotação.
Gestão de Desempenho de Negócios
O Business Intelligence é um conjunto de Estratégias e Tecnologias utilizadas pelas
Empresas para prover visões das operações de negócio. Um Sistema de BI é composto
por várias tarefas, incluindo:
• Criação de métricas: medidas que informarão o Progresso da Empresa;
• Divulgação de indicadores (reporting): consolidação e publicação de informa-
ções estratégicas e de infraestrutura;
• Analytics: uso exploratório de dados;
• Monitoramento: coleta e gestão das informações.
Essas tarefas auxiliam os Analistas e Especialistas em BI a fornecer melhores respos-
tas aos tomadores de decisão.
O desenvolvimento de produtos gerados por essas atividades constitui recursos úteis
à tomada de decisão.
As implementações de Data Warehouses resultam no desenvolvimento de um Siste-
ma de Gestão de Desempenho de Negócios (BPM).
Esse sistema refere-se a processos, metodologias, parâmetros e tecnologias de negó-
cios usados por Empresas para mensurar, monitorar e gerir desempenho de negócios,
abrangendo três componentes-chave (SHARDA; DELEN; TURBAN, 2019):
• Um circuito fechado de Processos Gerenciais e Analíticos integrados e suportados
por Tecnologia;
• Ferramentas usadas por Empresas para definir metas estratégicas a fim de mensu-
rar e gerir o desempenho dessas metas;
• Um conjunto de Processos vinculados à estratégia organizacional, como planejamen-
to financeiro, geração de relatórios, modelagem, análise e monitoramento de indica-
dores-chave de desempenho.
13
13
UNIDADE
Data Warehousing
BPM abrange um conjunto de processos em circuito fechado que ligam a estraté-
gia à execução, tendo como objetivo a otimização do desempenho dos negócios. Esse
circuito fechado acarreta que o desempenho ideal é alcançado por meio (SHARDA;
DELEN; TURBAN, 2019):
• Do estabelecimento de metas e objetivos na etapa estratégica;
• Pela promoção de iniciativas e planos para atingir as metas estratégicas na etapa
de planejamento;
• Pelo monitoramento do desempenho real em relação às metas e objetivos na etapa
de monitoramento;
• Pela aplicação de medidas corretivas na etapa de atuação e ajuste;
Indicadores-chave de Desempenho (KPI)
Um indicador-chave de desempenho, ou KPI, é uma métrica estrategicamente ali-
nhada aos objetivos da Organização.
Ele representa um objetivo estratégico e mede o desempenho com relação a uma
meta. Embora exista muita confusão a respeito do que é um KPI na prática, devemos
afirmar que um indicador, por ser estratégico, é dependente unicamente da Empresa e
de como ela emprega tal medida.
Assim, indicadores operacionais também podem ser considerados KPIs, desde que
correspondam a metas específicas, tenham amplitudes de desempenho, tenham prazos
ou marcos bem definidos, e possam ser comparados a baselines que sinalizem uma
referência aceitável para o indicador.
Medição de Desempenho
O Balanced Scorecard (BSC) é um dos mais populares Sistemas de Medição de
Desempenho adotado pelas Empresas.
O BSC apresenta uma visão holística de um Sistema de Mensuração ligado à direção
estratégica da Organização em quatro perspectivas: a visão do cliente, o cenário financeiro,
o panorama de aprendizado e crescimento e o quadro dos processos internos de negócio.
Na prática, as perspectivas não financeiras formam uma cadeia causal de aprendiza-
gem que leva a mudanças nos processos de negócio para produzir resultados junto ao
cliente, que traz o retorno financeiro.
O termo balanced (equilibrado) quer dizer que as medidas combinadas devem abran-
ger indicadores que são financeiros e não financeiros, precursores e retardados, internos
e externos, quantitativos e qualitativos, de curto prazo e de longo prazo.
Nesta Unidade, estudamos Conceitos e Técnicas para Armazenamento de Dados em
Sistemas de Processamento Analítico.
Também visitamos os processos de extração, transformação e carga de dados, bus-
cando entender como esses processos constroem um pipeline de dados extraindo dados
de diferentes fontes de informações e entregando ao tomador de decisão, que se torna
habilitado a analisar desempenho e resultados.
14
Material Complementar
Indicações para saber mais sobre os assuntos abordados nesta Unidade:
Vídeos
Modelagem de Dados Multidimensional
[Link]
Data Lake X Data Warehouse X Data Mart – O Que é e suas Diferenças
[Link]
Leitura
Oracle Modern Data Warehouse
[Link]
Conceitos de Data Warehouse
[Link]
15
15
UNIDADE
Data Warehousing
Referências
BARBIERI, C. Governança de Dados: Práticas, Conceitos e Novos Caminhos. Rio de
Janeiro: Alta Books, 2020.
DE MORAIS, I. S. et al. Introdução à Big Data e à Internet das Coisas (IoT). Porto
Alegre: SAGAH, 2018.
ELMASRI, R.; NAVATHE, S. B. Sistemas de banco de dados: fundamentos e aplica-
ções. 6. ed. São Paulo: Pearson Addison Wesley, 2011.
INMON, W. H. Building the Data Warehouse. Nova Iorque: Wiley, 2005.
MACHADO, F. N. R. Projeto e implementação de Banco de Dados. [Link]. São Paulo:
Érica, 2014.
SHARDA, R.; DELEN, D.; TURBAN, E. Business Intelligence e Análise de Dados
para Gestão do Negócio. [Link]. Porto Alegre: Bookman, 2019.
YESSAD, L.; LABIOD, A. Comparative study of Data Warehouses modeling
approaches: Inmon, Kimball and Data Vault. 2016 International Conference on
System Reliability and Science (ICSRS). IEEE, 2016. p. 95-9.
16