Análise de Clusters

O que é Análise de Clusters?

Introdução a análise de conglomerados
Análise das variáveis e objetos a serem agrupados
Medidas de similaridade ou distância
Método de agrupamento hierárquico
Método de agrupamento não-hierárquico
Quantidades de cluster
Validação de agrupamentos

1
 O que é Análise de Clusters?
Identificar situações que sejam apropriadas à utilização de análise de
conglomerados
Explicar as principais medidas de similaridade ou distância
Entender as principais diferenças entre os procedimentos
hierárquicos e não-hierárquicos
Interpretar os resultados apresentados pela técnica
Determinar o número de grupos mais adequado para o problema

Clusters
Conhecida na área de Data Mining como Análise de Cluster
É uma técnica de interdependência que busca agrupar os elementos
conforme sua estrutura
Agrupar elementos em grupos homogêneos internamente
Busca que os grupos sejam heterogêneos entre si

2
 Clusters
Busca alocar as observações mais similares no mesmo grupo;
Com base em suas características (variáveis);
Buscando assim maximizar a homogeneidade dos objetos em cada
grupo;
Esta técnica teve suas origens na psicologia, em busca de agrupar
comportamentos de pacientes.

Clusters
Cabe ressaltar que a análise de conglomerados é uma técnica
descritiva ou exploratória;
Não possui o rigor da inferência estatística;
É dividida em duas categorias:
◦ Hierárquica (abordagem estatística);
◦ Não-hierárquica (abordagem de machine learning).

3
 Em quais situações poderíamos utilizar
análise de conglomerados ?

Em quais situações poderíamos utilizar

análise de conglomerados ?
Exemplo 1:

Um gestor está interessado em identificar grupos de investidores de

acordo com o perfil comportamental.

O objetivo é lançar pacotes de serviços de acordo com o perfil de

cada grupo (mais conservador ou grupo de risco).

4
 Em quais situações poderíamos utilizar
análise de conglomerados ?
Exemplo 2:

Um diretor de marketing busca identificar segmentos homogêneos

de consumidores, a fim de estabelecer programas de marketing
específicos para cada público.

Propaganda focada nos hábitos de consumo de cada grupo.

Em quais situações poderíamos utilizar

análise de conglomerados ?
Exemplo 3:

Um educador visa identificar grupos de alunos mais propensos à

evasão escolar.

A partir da identificação destes grupos, gestores podem tomar

decisões pedagógicas.

10

5
 Em quais situações poderíamos utilizar
análise de conglomerados ?
Exemplo 4:

Uma seguradora busca identificar grupos de clientes de menor risco

para lançar mão de produtos e promoções.

Redução em franquias.

11

Etapas
1. Análise das variáveis e dos objetos a serem agrupados:
◦ Seleção de variáveis
◦ Identificação de outliers
◦ Padronização de variáveis

2. Seleção da medida de distância entre grupos

12

6
 Etapas
3. Seleção do algoritmo de agrupamento:
◦ Hierárquico
◦ Não-hierárquico

4. Escolha da quantidade de grupos formados

5. Interpretação e validação dos grupos formados

13

Variáveis e Objetos
A seleção de variáveis, para análise de conglomerados, deve ser feita
com extremo cuidado
Os grupos a serem formados refletirão a estrutura inerente das
variáveis escolhidas
De acordo com a natureza das variáveis deve-se escolher a medida
de similaridade a qual corresponde o critério de construção dos
grupos

14

7
 Variáveis e Objetos
Cabe ressaltar que a técnica não distingue se as variáveis são ou não
relevantes ao estudo
Essa tarefa fica a cargo do analista de dados
A inclusão de variáveis não representativas ou com
multicolinearidade pode distorcer os resultados
•A multicolinearidade interfere na ponderação das medidas de
similaridade

15

Variáveis e Objetos
Antes de realizar a análise de conglomerados é recomendável
verificar a existência de outliers
Cabe ao analista de dados decidir se deve retirar os outliers ou
aplicar alguma técnica de categorização
Observações atípicas (outliers) podem formar grupos específicos e
estes grupos podem ser de interesse do analista de dados

16

8
 Padronização
Após a escolha das variáveis representativas do fenômeno, o analista
de dados deve verificar as escalas das mesmas
Variáveis com escalas/medidas diferentes podem distorcer a
estrutura do agrupamento
A maior parte das medidas de distância sofrem influência das
diferenças de escala entre as variáveis

17

Padronização
A variável que apresenta maior dispersão tende a ter um peso mais
elevado no cálculo das medidas de distância
Para contornar este problema existem as técnicas de padronização
de variáveis
A padronização faz com que seja atribuído o mesmo peso para todas
as variáveis

18

9
 Padronização
Método Z Padrão (𝒁 𝒔𝒄𝒐𝒓𝒆):
É a forma mais utilizada de padronização de dados
Padroniza cada variável com média zero (0) e desvio padrão um (1)

19

Padronização
Método Range -1 a 1:
Faz com que a variável padronizada tenha amplitude 1

Método Range 0 a 1:
Faz com que a variável apresente variação de 0 a 1

20

10
 Padronização
Método de máxima amplitude:
Confere à variável o valor máximo de 1

Método de média 1:
Transforma a variável de maneira que apresente média 1

21

Medidas de Similaridade
Após a seleção das variáveis e verificação da necessidade ou não de
padronizar
A próxima etapa é a escolha da medida de similaridade
A técnica de agrupamento só é possível com a adoção de uma
medida de similaridade
Permite fazer o comparativo entre as observações da amostra

22

11
 Medidas de Similaridade
Existem diversas medidas de similaridade ou distância
A medida depende da natureza das variáveis
Para ilustrar o conceito de uma medida geométrica vamos observar
um exemplo

23

Medidas de Similaridade
Exemplo:
Um analista de dados pretende agrupar seis empresas no setor de
comércio. Para isto utilizou as seguintes informações:

Empresas Vendas (em US$ milhões) Número de empregados

Varejo A 327,5 2.150
Varejo B 312,2 661
Varejo C 652,6 7.200
Varejo D 929 7.764
Varejo E 1.613,50 10.281
Varejo F 1.971 8.672

24

12
 Medidas de Similaridade
Exemplo:
Para fins ilustrativos estamos analisando apenas duas variáveis
(Vendas e Número de Empregados)
Para este exemplo, podemos representar cada observação como um
ponto em um espaço bidimensional
Foi construído um gráfico de dispersão onde é possível visualizar a
presença de três grupos

25

Medidas de Similaridade
Exemplo:
Representação em um espaço bidimensional;

26

13
 Medidas de Similaridade
Para um maior número de variáveis, já não seria possível identificar
visualmente os grupos formados
Dada a limitação gráfica do espaço tridimensional
Para isto é utilizado outros critérios de aglomeração
São utilizadas as medidas de distância ou similaridade

27

Medidas de Similaridade
A escolha das medidas de similaridade implica o conhecimento da
natureza das variáveis (discreta, contínua, binária) e da escala de
medida (nominal, ordinal)
Dependendo da natureza das variáveis as medidas podem ser:
Medidas de distância (variáveis numéricas)
Medidas correlacionais (variáveis numéricas)
Medidas de associação (variáveis qualitativas)

28

14
 Medidas de Similaridade
Distância Euclidiana:
◦ Distância entre duas observações (𝑖 𝑒 𝑗)
◦ Corresponde à raiz quadrada da soma dos quadrados das diferenças
entre os pares (𝑖 𝑒 𝑗) para todas as 𝑝 variáveis:

Onde 𝑥𝑖𝑘 é o valor da variável 𝑘 referente à observação 𝑖 e 𝑥𝑗𝑘

representa a varável 𝑘 para a observação 𝑗.

29

Medidas de Similaridade
Distância Quadrática Euclidiana:
É a distância entre duas observações (𝑖 𝑒 𝑗) que corresponde à soma
dos quadrados das diferenças entre 𝑖 𝑒 𝑗 para todas as 𝑝 variáveis:

30

15
 Medidas de Similaridade
Continuação do Exemplo
Vamos refazer o exemplo agora usando a distância euclidiana;
O primeiro passo é realizar a padronização das variáveis por meio da
técnica Z Padrão.

31

Medidas de Similaridade
Continuação do Exemplo
Logo, a tabela com valores padronizados ficará da seguinte forma:

Número de Vendas (em US$

empregados milhões) Empresas
-1,0375 -0,9310 Varejo A
-1,4265 -0,9532 Varejo B
0,2818 -0,4582 Varejo C
0,4292 -0,0562 Varejo D
1,0867 0,9393 Varejo E
0,6664 1,4592 Varejo F

32

16
 Medidas de Similaridade
Continuação do Exemplo
Agora iremos aplicar a distância quadrática euclidiana na tabela
padronizada:

Logo, calculando a distância 𝑑12, temos:

𝑑2𝑖𝑗=(−0,931− (−0,953))2 + (−1,038) − (−1,427)2 = 0,152

33

Medidas de Similaridade
Continuação do Exemplo
A distância 𝑑12 refere-se a distância entre Varejo A e B;
A matriz de similaridade mostra os valores de distâncias:

Empresas Varejo A Varejo B Varejo C Varejo D Varejo E Varejo F

Varejo A 0,000
Varejo B 0,152 0,000
Varejo C 1,964 3,163 0,000
Varejo D 2,916 4,248 0,183 0,000
Varejo E 8,010 9,898 2,601 1,423 0,000
Varejo F 8,616 10,200 3,824 2,353 0,447 0,000

34

17
 Medidas de Similaridade
Continuação do Exemplo
Comparando com os grupos formados pelo gráfico de dispersão:

35

Medidas de Similaridade
Continuação do Exemplo
A matriz de similaridade mostra as distâncias de cada par de
empresas;
Percebe-se que a menor distância entre empresas varejo A e Varejo
B notará o primeiro grupo a ser formado;
Cabe ressaltar que as medidas mais utilizadas são as de similaridade;
Especialmente a distância euclidiana simples e a quadrática.

36

18
 Medidas de Similaridade
Distância de Mahalanobis:
É a distância estatística entre dois indivíduos 𝑖 𝑒 𝑗, considerando a
matriz de covariância para o cálculo das distâncias

37

Medidas de Similaridade
Existem diversas outras distâncias, tais como:
Distância de Minkowski
Distância absoluta, Manhattan ou quarteirão
Distância de Chebychev
Distância Customized

38

19
 Medidas de Similaridade
Medidas Correlacionadas:
As medidas correlacionadas baseiam-se na força da relação entre
variáveis
A mais utilizada é a medida de correlação de Pearson:

39

Medidas de Similaridade
Medidas de Associação:
São utilizadas para representar similaridade em variáveis de natureza
qualitativas
É realizada por meio de tabelas de contingência
São medidas pouco utilizadas na prática de análise de
conglomerados

40

20
 Pressupostos
Representatividade da amostra: a análise cluster será boa na medida
em que a amostra for representativa.
Impacto da multicolinearidade: as variáveis que são multicolineares
estão, de uma forma implícita, ponderadas mais pesadamente.
Alternativas para compensar o problema: distância Mahalanobis e
escores fatoriais.

41

Medidas de Similaridade
1. Porque é importante padronizar as variáveis incialmente?

2. O que é uma medida de similaridade e qual seu objetivo?

3. Quais são as medidas de similaridade mais utilizadas?

42

21
 Medidas de Agrupamento
Uma vez (1) selecionada as variáveis, (2) padronizado as variáveis,
escolhida a (3) medida de similaridade e construída a (4) matriz de
similaridade...
É necessário determinar o algoritmo que fará o processo de
agrupamento e...
há basicamente dois métodos: (1) Hierárquico e (2) Não-hierárquico

43

Medidas de Agrupamento
Método Hierárquico:
Apresentam a estrutura de uma árvore;
Inicialmente todos os elementos pertencem a um só grupo;
Em seguida os grupos vão sendo formados de acordo com o método
para cálculo da distância:
◦ Ward
◦ Centroide
◦ Menor distância ou Single linkage
◦ Complete linkage
◦ Average linkage, dentre outros

44

22
 Medidas de Agrupamento – Método de Ligação
1) Single linkage: baseado na distância mínima entre dois objetos. É
também chamado de nearest neighbor.

45

Medidas de Agrupamento – Método de Ligação

2) Complete linkage: é baseado na distância máxima, razão pela qual
é conhecido como a abordagem do vizinho mais longe (furthest
neighbor).

46

23
 Medidas de Agrupamento – Método de Ligação
3) Average linkage: ou ligação média, onde o critério é a distância de
todos os indivíduos de um grupo em relação a todos de outro (no
SPSS, as opções between-groups e within-groups linkage). Tende a
produzir grupos com aproximadamente a mesma variância.

47

Medidas de Agrupamento – Método de Variância

4) Ward’s method: minimiza a soma dos quadrados entre dois grupos
em relação a todas as variáveis. Tende a produzir grupos com mesmo
número de observações.

48

24
 Medidas de Agrupamento – Método de Variância
5) Centroid method: a distância entre os grupos é a distância entre
seus centroides, que são os valores médios das observações em
relação às variáveis. Cada vez que indivíduos são agrupados, um novo
centroide é calculado. Tanto este método quanto o de Ward exigem a
distância euclidiana.

49

Medidas de Agrupamento
Método Hierárquico:
Uma maneira de representar graficamente é por
meio do dendrograma
Mostra as etapas da aglomeração dos grupos
É possível visualizar os elementos de cada
cluster
De acordo com o corte é possível verificar o
número de grupos formados

50

25
 Vantagens e desvantagens dos métodos
hierárquicos
1. São rápidos e exigem menos tempo de processamento;
2. Não realocam combinações anteriores;
3. Sensivelmente impactados por outliers;
4. Não são apropriados para amostras muito grandes.

51

Medidas de Agrupamento
Método Não-hierárquico:
É necessário especificar o número de grupos
anteriormente
É um processo interativo em busca da solução
ótima
O processo busca satisfazer duas condições: (1)
coesão interna e (2) isolamento entre grupos
É menos custoso computacionalmente

52

26
 Vantagens e desvantagens dos métodos
não-hierárquicos
1. Podem realocar combinações anteriores
2. São menos sensíveis a outliers, à medida de distância e a
variáveis inapropriadas (quando os grupos sementes são
escolhidos pelo pesquisador)
3. Os resultados dependem do processo de escolha dos
pontos semente. Segundo Hair (1998), o processo aleatório
é inferior às técnicas hierárquicas
4. Johnson e Wichern (2007) criticam prefixação do número
de grupos

53

Medidas de Agrupamento
Método Não-hierárquico:

Como definir o número de cluster (k) inicialmente?

54

27
 Medidas de Agrupamento
Método Não-hierárquico:
Existe dificuldade em estabelecer o número de clusters de
partida
Uma alternativa é realizar o método hierárquico como
técnica exploratória para verificar o K
Posteriormente utiliza-se o método não-hierárquico para
alocar as observações

55

Medidas de Agrupamento
Método Não-hierárquico:
O algoritmo mais popular é o K-means
Pode ser usado para agrupamento de grandes quantidades
de dados
O critério de distância mais utilizado no K-means é a
distância euclidiana

56

28
 Medidas de Agrupamento
Conjunto de dados a serem agrupados

57

Medidas de Agrupamento
Seleção inicial dos Centroides

58

29
 Medidas de Agrupamento
Atribuir os pontos aos centroides mais próximos

59

Medidas de Agrupamento
Atribuição

60

30
 Medidas de Agrupamento
Recalcular os centroides

61

Medidas de Agrupamento
Atribuir os pontos aos centroides mais próximos

62

31
 Medidas de Agrupamento
Atribuição

63

Medidas de Agrupamento
Recalcular os centroides

64

32
 Medidas de Agrupamento
Atribuir os pontos aos centroides mais próximos

65

Medidas de Agrupamento
Depois de muitas interações….

66

33
 Medidas de Agrupamento
Centroides e atribuições após a convergência

67

Medidas de Agrupamento
Método Não-hierárquico:
Um dos problemas enfrentados pelo algoritmo k-means é a
seleção das sementes
Pode produzir diferentes resultados
É interessante validar o método de agrupamento.

68

34
 Validação
Critério interno:
Um exemplo é a avaliação de cluster pelo critério da ANOVA
Porém, um critério interno muitas vezes não avalia a
utilidade do agrupamento para uma aplicação
Alternativa: Critério externo
Avaliar de acordo com um critério definido por especialistas
da área
Verifica se os grupos formados fazem sentido

69

Validação
Após a especificação do número de clusters, o pesquisador
deve ficar atento ao número de observações que compõem
cada cluster
Verificar se existem grupos com quantidade muito pequena de
elementos
Formação de grupo com apenas um único elemento pode
haver elementos com observações atípicas

70

35
 Validação
Analisar se existe um disparate acentuado entre o tamanho
dos grupos, ou se existem grupos com uma ou duas
observações (possíveis outliers)
Comparar a solução final com as expectativas do pesquisador
Morretin e Bussab (2017) referem uma técnica quantitativa
para avaliação dos agrupamentos, o Coeficiente de Correlação
Cofenética, que relaciona a matriz de distâncias originais com a
oriunda da classificação (matriz cofenética); algo em torno de
0,8 já seria bom.

71

Alguns procedimentos de validação

Dividir a amostra em dois grupos
Usar outras variáveis conhecidas por discriminar entre os
grupos, ou refazer a análise excluindo algumas variáveis
Refazer a análise utilizando outros métodos de agrupamento e
outras medidas de similaridade

72

36
 Definindo o perfil da solução
Consiste na descrição das características de cada grupo para
explicar como elas podem diferir em dimensões relevantes.
Utilizam-se dados não previamente incluídos no procedimento
de agrupamento (demográficos, psicográficos etc.)
O enfoque é na descrição, não do que determinou diretamente
os grupos, mas das características dos grupos depois de que
eles foram identificados
Pode-se utilizar a análise discriminante: a variável dependente
categórica são os grupos

73

Uma combinação de ambos os métodos

Primeiro, uma técnica hierárquica estabelece o número de
grupos, traça o perfil dos núcleos centrais e identifica outliers;
Depois de eliminar eventuais outliers, aplica-se um método
não-hierárquico, tendo como grupos sementes os núcleos
centrais definidos através do método hierárquico.

74

37