Data Storage
Lirio Ramalheira
Introdução ao Armazenamento de Dados (Continuação)
Aula anterior
• Os dados são uma coleção de fatos brutos a partir dos quais conclusões podem ser tiradas.
• Os dados podem ser classificados como estruturados ou não estruturados
Aula anterior
• Os dados são uma coleção de fatos brutos a partir dos quais conclusões podem ser tiradas.
• Os dados podem ser classificados como estruturados ou não estruturados
Arquitetura de armazenamento centrada no servidor. Nesta arquitetura, cada servidor possui um
número limitado de dispositivos de armazenamento,
Arquitetura centrada na informação. Nesta arquitetura, os dispositivos de armazenamento são
gerenciados de forma centralizada e independente dos servidores.
Armazenamento
Em um acesso em nível de bloco, o sistema de arquivos é criado em um host e os dados são
acessados em uma rede no nível de bloco. Neste caso, discos brutos ou volumes lógicos são
atribuídos ao host para criar o sistema de arquivos.
Image Source: No livro Information Storage and Management Storing, Managing, and Protecting Digital Information in Classic
Armazenamento
Em um acesso em nível de bloco, o sistema de arquivos é criado em um host e os dados são
acessados em uma rede no nível de bloco. Neste caso, discos brutos ou volumes lógicos são
atribuídos ao host para criar o sistema de arquivos.
Em um acesso em nível de arquivo, o sistema de arquivos é criado em um servidor de arquivos
separado ou no lado do armazenamento, e a solicitação em nível de arquivo é enviada por uma rede.
O acesso em nível de objeto é os dados são acessados através de uma rede em termos de objetos
independentes com um identificador de objeto exclusivo.
Image Source: No livro Information Storage and Management Storing, Managing, and Protecting Digital Information in Classic
Armazenamento
Armazenamento de conexão direta ou Direct-Attached
Storage (DAS)
é uma arquitetura na qual o armazenamento é conectado
diretamente aos hosts.
O DAS é classificado como interno ou externo, com base
na localização do dispositivo de armazenamento em relação
ao host.
Image Source: No livro Information Storage and Management Storing, Managing, and Protecting Digital Information in Classic
Armazenamento
Benefícios e limitações do DAS
Uma matriz de armazenamento possui um número limitado de
portas, o que restringe o número de hosts que podem se
conectar diretamente ao armazenamento.
Quando as capacidades são atingidas, a disponibilidade do
serviço pode ser comprometida.
O DAS não faz uso ideal dos recursos devido à sua capacidade
limitada de compartilhar portas front-end.
Em ambientes DAS, os recursos não utilizados não podem ser
facilmente realocados, resultando em ilhas de pools de
armazenamento superutilizados e subutilizados
Image Source: No livro Information Storage and Management Storing, Managing, and Protecting Digital Information in Classic
Aula anterior
• RAM (Random Access
Memory
• ROM (Read-Only Memory)
Image Source: [Link]
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Existem vários tipos de armazenamento de dados na maioria dos sistemas de computador.
As mídias de armazenamento são classificadas pela:
• velocidade com que os dados podem ser acessados
• custo por unidade de dados para comprar a mídia
• confiabilidade da mídia.
Entre as mídias normalmente disponíveis são estes:
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Existem vários tipos de armazenamento de dados na maioria dos sistemas de computador.
As mídias de armazenamento são classificadas pela:
• velocidade com que os dados podem ser acessados
• custo por unidade de dados para comprar a mídia
• confiabilidade da mídia.
Entre as mídias normalmente disponíveis são estes:
• Cache. é a forma de armazenamento mais rápida e cara. A memória cache é relativamente
pequena; seu uso é gerenciado pelo hardware do sistema computacional.
Memória principal ou Randomic Access Memory (RAM). O meio de armazenamento usado
para os dados disponíveis para operação é a memória principal.
As instruções de máquina de uso geral operam na memória principal.
O conteúdo da memória principal é perdido em caso de falha de energia ou falha do sistema; a
memória principal é, portanto, considerada volátil.
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Memória flash. A memória flash difere da memória principal porque os dados armazenados são
retidos mesmo se a energia for desligada ou seja, ela é não volátil.
A memória flash tem um custo por byte menor que a memória principal, mas um custo por byte
mais alto que os discos magnéticos.
Armazenamento em disco magnético. O principal meio para armazenamento on-line de dados a
longo prazo é a unidade de disco magnético, não é volátil.
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Memória flash. A memória flash difere da memória principal porque os dados armazenados são
retidos mesmo se a energia for desligada ou seja, ela é não volátil.
A memória flash tem um custo por byte menor que a memória principal, mas um custo por byte
mais alto que os discos magnéticos.
Armazenamento em disco magnético. O principal meio para armazenamento on-line de dados a
longo prazo é a unidade de disco magnético, não é volátil.
Armazenamento óptico. O disco de vídeo digital (DVD) é um meio de armazenamento óptico,
com dados gravados e lidos usando uma fonte de luz laser.
O formato Blu-ray DVD tem capacidade de 27 gigabytes a 128 gigabytes, dependendo do
número de camadas suportadas.
Embora o uso original fosse o armazenamento de dados de vídeo, eles são capazes de
armazenar qualquer tipo de dados digitais.
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
According to their speed and their cost (de acordo com sua velocidade e seu custo).
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Storage Area Network (SAN) architecture (Arquitetura de Rede de área de Armazenamento)
um grande número de discos é conectado por uma rede de alta velocidade a vários
computadores servidores.
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Storage Area Network (SAN) architecture (Arquitetura de Rede de área de Armazenamento)
um grande número de discos é conectado por uma rede de alta velocidade a vários
computadores servidores.
Os discos geralmente são organizados localmente usando uma técnica de organização de
armazenamento chamada redundant arrays of independent disks (RAID) ou matrizes
redundantes de discos independentes, para dar aos servidores uma visão lógica de um disco
muito grande.
Overview of Physical Storage Media (Visão geral da média de
armazenamento físico)
Storage Area Network (SAN) architecture (Arquitetura de Rede de área de Armazenamento)
um grande número de discos é conectado por uma rede de alta velocidade a vários
computadores servidores.
Os discos geralmente são organizados localmente usando uma técnica de organização de
armazenamento chamada redundant arrays of independent disks (RAID) ou matrizes
redundantes de discos independentes, para dar aos servidores uma visão lógica de um disco
muito grande.
Network attached storage (NAS) ou armazenamento conectado à rede (NAS) é uma
alternativa ao SAN.
NAS é muito parecido com SAN, exceto que em vez do armazenamento em rede parecer um
disco grande, ele fornece uma interface de sistema de arquivos usando protocolos de
sistema de arquivos em rede.
Redundant Arrays of independent disks (RAID)
Ter um grande número de discos em um sistema apresenta oportunidades para melhorar a
taxa na qual os dados podem ser lidos ou gravados, se os discos forem operados em paralelo
Além disso, esta configuração oferece o potencial para melhorar a confiabilidade do
armazenamento de dados, porque informações redundantes podem ser armazenadas em
vários discos.
Os sistemas RAID são usados por sua maior confiabilidade e maior taxa de desempenho, ou
seja, Melhoria da confiabilidade por meio de redundância.
Redundant Arrays of independent disks (RAID)
Na sua forma mais simples, a distribuição de dados consiste em dividir os bits de cada byte
em vários discos; essa distribuição é chamada de distribuição em nível de bit.
A distribuição em nível de bloco distribui blocos em vários discos. Ele trata a matriz de discos
como um único disco grande e fornece números lógicos aos blocos; assumimos que os
números dos blocos começam em 0
Redundant Arrays of independent disks (RAID)
Na sua forma mais simples, a distribuição de dados consiste em dividir os bits de cada byte
em vários discos; essa distribuição é chamada de distribuição em nível de bit.
A distribuição em nível de bloco distribui blocos em vários discos. Ele trata a matriz de discos
como um único disco grande e fornece números lógicos aos blocos; assumimos que os
números dos blocos começam em 0
. A distribuição em nível de bloco oferece diversas vantagens em relação à distribuição em
nível de bit, incluindo a capacidade de suportar um número maior de leituras de bloco por
segundo e menor latência para leituras de bloco único.
Paralelizar grandes acessos para que o tempo de resposta de grandes acessos seja reduzido.
RAID Levels
Combinar striping de disco com blocos de paridade
Os blocos num sistema RAID são particionados em conjuntos, como veremos.
Para um determinado conjunto de blocos, um bloco de paridade pode ser calculado e
armazenado em disco; o i-ésimo bit do bloco de paridade é calculado como o “ou exclusivo”
(XOR) dos i-ésimos bits de todos os blocos do conjunto.
Se o conteúdo de qualquer um dos blocos em um conjunto for perdido devido a uma falha, o
conteúdo do bloco poderá ser recuperado calculando o XOR bit a bit dos blocos restantes no
conjunto, juntamente com o bloco de paridade.
Sempre que um bloco é gravado, o bloco de paridade do seu conjunto deve ser recalculado e
gravado no disco.
O novo valor do bloco de paridade pode ser calculado (i) lendo todos os outros blocos do
conjunto do disco e calculando o novo bloco de paridade, ou (ii) calculando o XOR do valor
antigo do bloco de paridade com o valor antigo e novo do bloco atualizado.
RAID Levels
RAID nível 0 refere-se a matrizes de disco com distribuição
no nível dos blocos, mas sem qualquer redundância
• RAID nível 1 refere-se ao espelhamento de disco com
distribuição de blocos.
RAID nível 5 refere-se à paridade distribuída intercalada em
blocos. Os dados e a paridade são particionados entre
todos os discos N + 1. Para cada conjunto de N blocos
lógicos, um dos discos armazena a paridade e os outros N
discos armazenam os blocos.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
O RAID nível 6, o esquema de redundância P + Q, é muito
parecido com o RAID nível 5, mas armazena informações
redundantes extras para proteção contra múltiplas falhas de
disco.
Em vez de utilizar paridade, o nível 6 utiliza códigos
corretores de erros, como os códigos Reed-Solomon (ver
notas bibliográficas). No esquema da Figura 12.4g, dois bits
de dados redundantes são armazenados para cada quatro
bits de dados – diferentemente de um bit de paridade no
nível 5 – e o sistema pode tolerar duas falhas de disco.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
Os fatores a serem levados em consideração na escolha de um nível RAID são:
• Custo monetário de requisitos extras de armazenamento em disco.
• Requisitos de desempenho em termos de número de operações de E/S por segundo.
• Desempenho quando um disco falha.
• Desempenho durante a reconstrução (ou seja, enquanto os dados em um disco com falha
estão sendo reconstruídos
em um novo disco)
A fonte de alimentação, ou o controlador de disco, ou mesmo a interconexão do sistema em
um sistema RAID pode se tornar um ponto único de falha que pode interromper o
funcionamento do sistema RAID.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
Um hot spare refere-se a uma unidade sobressalente em uma matriz RAID que substitui
temporariamente uma unidade de disco com falha, assumindo a identidade da unidade de
disco com falha.
Com o hot spare, um dos seguintes métodos de recuperação de dados é executado
dependendo da implementação do RAID: Se o RAID de paridade for usado, os dados serão
reconstruídos no hot spare a partir da paridade e dos dados nas unidades de disco
sobreviventes no conjunto RAID.
.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
Um hot spare refere-se a uma unidade sobressalente em uma matriz RAID que substitui
temporariamente uma unidade de disco com falha, assumindo a identidade da unidade de
disco com falha.
Com o hot spare, um dos seguintes métodos de recuperação de dados é executado
dependendo da implementação do RAID: Se o RAID de paridade for usado, os dados serão
reconstruídos no hot spare a partir da paridade e dos dados nas unidades de disco
sobreviventes no conjunto RAID.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
RAID Levels
Um hot spare refere-se a uma unidade sobressalente em uma matriz RAID que substitui
temporariamente uma unidade de disco com falha, assumindo a identidade da unidade de
disco com falha.
Com o hot spare, um dos seguintes métodos de recuperação de dados é executado
dependendo da implementação do RAID: Se o RAID de paridade for usado, os dados serão
reconstruídos no hot spare a partir da paridade e dos dados nas unidades de disco
sobreviventes no conjunto RAID.
O hardware do servidor geralmente é projetado para permitir troca a quente; isto é, os discos
defeituosos podem ser removidos e substituídos por novos sem desligar a energia. O
controlador RAID pode detectar que um disco foi substituído por um novo e pode
imediatamente reconstruir os dados que estavam no disco antigo e gravá-los no novo disco.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Intelligent Storage System (Sistema de armazenamento inteligente)
Um sistema de armazenamento inteligente consiste em quatro componentes principais:
front-end, cache, back-end e discos físicos
Em sistemas de armazenamento inteligentes modernos, o front-end, o cache e o back-end
são normalmente integrados em uma única placa (conhecida como processador de
armazenamento ou controlador de armazenamento).
Intelligent Storage System (Sistema de armazenamento inteligente)
Front-end O front-end fornece a interface entre o sistema de
armazenamento e o host.
Normalmente, um front-end possui controladores redundantes para
alta disponibilidade.
Cada controlador front-end possui lógica de processamento que
executa o protocolo de transporte apropriado, como Fibre Channel,
iSCSI, FICON ou FCoE para conexões de armazenamento.
Cache é uma memória semicondutora onde os dados são colocados
temporariamente para reduzir o tempo necessário para atender às
solicitações de E/S do host.
O back-end fornece uma interface entre o cache e os discos físicos. O
back-end fornece uma interface entre o cache e os discos físicos.
Os discos físicos são conectados ao controlador de armazenamento
back-end e fornecem armazenamento persistente de dados.
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Intelligent Storage System (Sistema de armazenamento inteligente)
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Data Provisioning (Provisionamento de armazenamento)
Os discos físicos são conectados ao controlador de
armazenamento back-end e fornecem
armazenamento persistente de dados.
As unidades lógicas são criadas a partir dos
conjuntos RAID particionando a capacidade
disponível em unidades menores.
Essas unidades são então atribuídas ao host com.
base em seus requisitos de armazenamento.
Cada unidade lógica criada a partir do conjunto RAID
recebe um ID exclusivo, denominado número de
unidade lógica (LUN).
Os LUNs ocultam dos hosts a organização e a
composição do conjunto RAID
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Data Provisioning (Provisionamento de armazenamento)
Image Source: No livro DATABASE SYSTEM CONCEPTS Abraham Silberschatz Yale University Henry F. Korth Lehigh University S. Sudarshan Indian Institute of
Technology, Bombay SEVENTH EDITION
Obrigado.
Dica do dia: Nucle Map Simulator
[Link]
"Tsar Bomba" - largest USSR bomb
designed (100 Mt)
Tsar Bomba era uma bomba de
hidrogênio