O Clustering é uma técnica de aprendizado não supervisionado onde os dados são
organizados em grupos, com base em similaridades, de forma que maximize a
semelhança entre os dados dentro do cluster e minimize a semelhança entre os outros
clusters. Deve ser usado quando se pretende identificar padrões e estrutura nesses
dados sem qualquer parâmetro conhecido. Quando agrupados os dados, pode-se utilizar
os resultados de duas formas: para resumir os dados de toda base de dados e pegar
apenas as características comuns entre si, e não todos atributos em cada um dos
clusters. Ou para preparação dos dados na utilização de outros métodos de mineração
de dados, como por exemplo, o método de classificação de aprendizado supervisionado
de cada um dos clusters, adicionando um rótulo.
Dois dos principais algoritmos de clustering são o K-Means e o DBSCAN, e
abaixo aprofundaremos em ambos:
K-Means: agrupamento de dados em K clusters, onde K é um número de escolha do
usuário. Esse número significa a quantidade de grupos necessários que o usuário
deseja. Para facilitar na decisão, pode-se levar em conta os objetivos da análise,
insights esperados no resultado ou com técnicas de validação de cluster, como o
método do cotovelo(Elbow Method), analisando a maior quebra na curva do gráfico de
número de clusters, no ponto exato que a adição de mais clusters não traz nada
significativo.
Para executar com perfeição este algoritmo, segue-se os passos:
Escolher o valor de K com base em técnicas citadas acima e selecionar
aleatoriamente K pontos como centroides iniciais.
Atribuir pontos aos clusters calculando a distância entre cada ponto de dados e os
centroides, juntando cada ponto ao cluster ao qual tem o centroide mais próximo.
Com todos os dados associados aos clusters, precisa-se recalcular os centroides de
cada cluster, calculando a média das coordenadas de cada ponto pertencente a cada
cluster, encontrando assim, um centroide mais assertivo.
Realizar a convergência, repetindo os passos 2 e 3, até que os centroides não se
movam muito entre as execuções.
Resultados mostrados, obtemos os centroides finais e a atribuição de cada
dado/ponto em um dos clusters.
Após obter os clusters, os resultados podem ser utilizados para a análise de
mercado, identificando padrões de compra em diferentes segmentos de mercados, assim
como detectar anomalias, pontos que não se encaixam em nenhum dos clusters podem
ser potenciais sinais de fraudes se estiver usando o Clustering numa instituição
financeira com dados de transações de cartão de crédito.
DBSCAN: agrupamento de pontos de dados com base na densidade local, sem a
necessidade de especificar o número de clusters antes da execução, identificando
regiões com mais densidade no gráfico e usando como parâmetro para criação dos
clusters, isolando pontos em locais de baixa densidade, aumentando os clusters
conforme o ponto central da região com alto volume de dados.
K-Means: agrupamento de dados em K clusters, onde K é um número de escolha do
usuário. Esse número significa a quantidade de grupos necessários que o usuário
deseja. Para facilitar na decisão, pode-se levar em conta os objetivos da análise,
insights esperados no resultado ou com técnicas de validação de cluster, como o
método do cotovelo(Elbow Method), analisando a maior quebra na curva do gráfico de
número de clusters, no ponto exato que a adição de mais clusters não traz nada
significativo.
[Link]
algoritmos-e-aplica%C3%A7%C3%A3o-ace572a062a9