CAPÍTULO 3 – Machine learning

Insights de mineração de dados

O que é machine learning?

Por que o artigo de Samuel foi tão significativo? Observando as damas,

ele mostrou como machine learning funciona – em outras palavras, um
computador poderia aprender e melhorar processando dados sem ter de ser
explicitamente programado. Isso foi possível por conta de conceitos avançados
de estatística, especialmente a análise de probabilidade. Assim, um
computador poder ser treinado para fazer previsões precisas (TAULLI, 2020, p.
65).

É claro que muito mais é necessário. Na próxima seção do capítulo,

vamos dar uma olhada mais aprofundada nos principais conceitos estatísticos
necessários ao machine learning. Dentre eles, estão: desvio-padrão,
distribuição normal, teorema de Bayes, correlação e extração de recursos
(TAULLI, 2020, p. 65).

Desvio-padrão

O desvio-padrão mede a dispersão dos valores em relação à média. Na

verdade, não há necessidade de aprender a calculá-lo (o processo envolve
vários passos), uma vez que o Excel ou como software qualquer pode fazer
isso por você facilmente (TAULLI, 2020, p. 65).

Distribuição normal

Quando esboçada em um gráfico, a distribuição normal se parece com

um sino (é por isso que ela costuma ser chamada de “curva do sino”) e
representa a soma das probabilidades para uma variável. Curiosamente, a
curva normal é comum no mundo real, pois reflete distribuições de dados com
altura e peso (TAULLI, 2020, p. 66).
 Correlação

Um algoritmo de machine learning geralmente envolve algum tipo de

correlação entre os dados. Uma maneira quantitativa de descrever isso é usar
a correlação de Pearson, que mostra a força da relação entre duas variáveis
que vão de 1 a -1 (esse é o coeficiente) (TAULLI, 2020, p. 68).

Extração de recursos

No Capítulo 2, analisaremos a seleção das variáveis para um modelo. O

processo é muitas vezes chamado de extração de recursos ou engenharia de
recursos (TAULLI, 2020, p. 69).

Aplicando algoritmos

Mesmo que existam centenas de algoritmos de machine learning

disponíveis, eles normalmente podem ser divididos em quatro categorias
principais: aprendizagem supervisionada, aprendizagem não supervisionada,
aprendizagem por reforço e aprendizagem semissupervisionada. Vamos dar
uma olhada em cada uma delas (TAULLI, 2020, p. 75).

-Aprendizagem supervisionada

A aprendizagem supervisionada usa dados rotulados. Suponha, por

exemplo, que temos um conjunto de fotos de milhares de cães. Os dados são
considerados rotulados se cada foto identificar cada uma das raças. Na maioria
dos casos, isso torna a análise mais fácil, uma vez que os resultados podem
ser comparados com a resposta correta (TAULLI, 2020, p. 75).

-Aprendizagem não supervisionada

A aprendizagem não supervisionada acontece quando se está

trabalhando com dados não rotuladas. Isso significa que serão usados
algoritmos de deep learning para detectar padrões (TAULLI, 2020, p. 77).

A abordagem mais comum para a aprendizagem não supervisionada é o

agrupamento (clustering), que manipula dados não rotulados e usa algoritmos
para colocar itens semelhantes em grupos. O processo geralmente começa
com suposições, seguidas de iterações dos cálculos para obtenção de
melhores resultados. No centro disso está a busca por itens de dados que
estão próximos uns dos outros, o que pode ser feito por meio de uma
variedade de métodos quantitativos: (TAULLI, 2020, p. 77).

Métrica euclidiana: trata-se de uma linha reta entre dois pontos de

dados. A métrica euclidiana é bastante comum no machine learning.

Métrica de similaridade do cosseno: como o nome indica, usa-se um

cosseno para medir o ângulo. A ideia é encontrar semelhanças entre dois
pontos de dados em termos de orientação.

Métrica de Manhattan: envolve tomar a soma das distâncias absolutas

entre dois pontos nas coordenadas de um gráfico. É chamada de “Manhattan”
porque faz referência ao layout da cidade, que permite que sejam percorridas
distências mais curtas nas viagens.

Considere que muitos pesquisadores de IA acreditam que a

aprendizagem não supervisionada provavelmente será crítica para o próximo
nível de realizações. De acordo com um artigo na Nature escrito por Yann
LeCun, Geoffrey Hinton e Yoshua Bengio, “espera-se que a aprendizagem não
supervisionada se torne muito mais importante no longo prazo. As
aprendizagens humana e animal são, em grande parte, não supervisionadas:
descobrimos a estrutura do mundo observando-o, não porque nos dizem o
nome de cada objeto” (TAULLI, 2020, p. 78).

-Aprendizagem por reforço

Quando você era criança e queria praticar um novo esporte, é possível

que não tenha lido um manual. Em vez disso, observou o que outras pessoas
faziam e tentou descobrir como as coisas funcionavam. Em algumas situações,
cometeu erros e perdeu a bola enquanto seus companheiros de equipe
demonstravam descontentamento. Em outras, entretanto, você fez os
movimentos certos e marcou pontos. Por meio desse processo de tentativo e
erro, seu aprendizado foi melhorando com base em reforços positivos e
negativos (TAULLI, 2020, p. 79).
 -Aprendizagem semissupervisionada

Essa é a mistura de aprendizagem supervisionada e não supervisionada

que surge quando se tem uma pequena quantidade de dados não rotulados. É
possível, no entanto, usar sistemas de deep learning para transformar os dados
não supervisionados em dados supervisionados – um processo chamado de
pseudorotulagem. Depois disso, os algoritmos podem ser aplicados (TAULLI,
2020, p. 79).

Um caso de uso interessante de aprendizagem semissupervisionada é a

interpretação de ressonâncias magnéticas. Uma radiologista pode iniciar
rotulando os exames e, depois disso, um sistema de deep learning pode
encontrar o restante dos padrões (TAULLI, 2020, p. 79).

Tipos comuns de algoritmos de machine learning

Simplesmente não há espaço suficiente neste livro para cobrir todos os

algoritmos de machine learning! Portanto, é melhor nos concentrarmos nos
mais comuns. Na parte restante deste capítulo, vamos dar uma olhada no
seguinte:

• Aprendizagem supervisionada: os algoritmos podem se resumir em duas

variações. Uma delas é a classificação, que divide o conjunto de dados em
rótulos comuns. Entre os exemplos desses algoritmos estão o classificador
Naive Bayes e o k-NN (redes neurais serão discutidas no Capítulo 4). Em
seguida, temse a regressão, que encontra padrões contínuos nos dados. Para
compreendê-la, vamos dar uma olhada em regressão linear, modelagem por
agrupamento (ensemble modelling) e árvores de decisão.

• Aprendizagem não supervisionada: nessa categoria, vamos discutir o

agrupamento (clustering). Para isso, vamos falar sobre agrupamento k-means.

A Figura 3.3 apresenta uma estrutura geral para algoritmos de machine

learning.

Classificador Naive Bayes (Aprendizagem supervisionada/Classificação)

 No início deste capítulo, apresentamos o teorema de Bayes. No que se
refere a machine learning, o teorema foi transformado no classificador Naive
Bayes. Ele é “naive” (em português, “ingênuo”) porque a suposição é que as
variáveis são independentes umas das outras – isto é, a ocorrência de uma
variável não tem nenhuma relação com as outras. É verdade que isso pode
parecer uma desvantagem. No entanto, o fato é que o classificador Naive
Bayes provou ser bastante eficaz e rápido de ser desenvolvido (TAULLI, 2020,
p. 81).

Um caso de uso comum para os classificadores. Naive Bayes é a

análise de texto. Os exemplos incluem detecção de spam por e-mail,
segmentação de clientes, análise de sentimentos, diagnóstico médico e
previsões meteorológicas. A razão para esses usos é que essa abordagem é
útil na classificação de dados com base em características-chave e padrões
(TAULLI, 2020, p. 81).

K-Nearest Neighbor (Aprendizagem supervisionada/Classificação)

O método K-Nearest Neighbor (K-NN) é usado para classificar um

conjunto de dados (k representa o número de vizinhos). A teoria é que é
possível que os valores próximos sejam bons preditores em um modelo. Pense
nisso como “farinha do mesmo saco” (TAULLI, 2020, p. 83).

Regressão linear (Aprendizagem supervisionada/Regressão)

A regressão linear mostra a relação entre certas variáveis. A equação –

supondo que haja dados de qualidade suficientes – pode ajudar a prever os
resultados com base em entradas (TAULLI, 2020, p. 84).

Árvore de Decisão (Aprendizagem supersionada/Regressão)

 Não há dúvidas de que o agrupamento pode não funcionar em alguns
conjuntos de dados. A boa notícia, entretanto, é que existem alternativas, como
uma árvore de decisão. Essa abordagem em geral funciona melhor com dados
não numéricos (TAULLI, 2020, p. 86).

O início de uma árvore de decisão é o nó de raiz, que está no topo do

fluxograma. A partir desse ponto, haverá uma árvore de caminho de decisão
chamados de divisões. Nesses pontos, em algoritmo será usado para tomada
de decisão e uma probabilidade será calculada. No final da árvore estará a
folha (ou resultado) (TAULLI, 2020, p. 86).

Modelagem por agrupamento (Aprendizagem

supervisionada/Regressão)

A modelagem por agrupamento (ensemble modelling) usa mais de um

modelo para as previsões. Mesmo que isso aumente a complexidade, essa
abordagem tem gerado resultados sólidos (TAULLI, 2020, p. 87).

Agrupamento k-means (Não supervisionada/Agrupamento)

O algoritmo de agrupamento k-means, eficiente em grandes conjuntos,

coloca dados semelhantes não rotulados em diferentes grupos. O primeiro
passo é selecionar k, que é o número de grupos (clusters). Para ajudar com
isso, é possível realizar visualizações desses dados para verificar-se existem
áreas de agrupamento visíveis (TAULLI, 2020, p. 89).

Principais aprendizados

Machine learning, cujas raízes remontam à décade de 1950, é onde um

computador pode aprender sem ser explicitamente programado. Em vez disso,
ele vai ingerir e processar dados usando técnicas estatísticas sofisticadas
(TAULLI, 2020, p. 93).
 Um dado discrepante (outlier) é aquele que está muito fora do resto dos
números no conjunto de dados.

O desvio-padrão mede a dispersão dos valores em relação à média.

A distribuição normal – que tem forma de sino – representa a soma das

probabilidades para uma variável.

O teorema de Bayes é uma técnica estatística sofisticada que fornece

um olhar mais profundo sobre propabilidades.

Um verdadeiro positivo acontece quando um modelo faz uma previsão

correta. Um falso positivo, por outro lado, ocorre quando uma previsão do
modelo mostra que o resultado é verdade, mesmo que não o seja.

A correlação de Pearson mostra a força da relação entre duas variáveis

cujo intervalo está entre 1 e -1.

A extração de recursos, ou engenharia de recursos, descreve o

processo de seleção de variáveis para um modelo. Isso é fundamental, uma
vez que uma variável errada pode causar grande impacto sobre os resultados.

Os dados de treinamento são usados para criar relações em um

algoritmo. Os dados de teste, por outro lado, são usados para avaliar o modelo.

A aprendizagem supervisionada utiliza dados rotulados para criar um

modelo, enquanto a aprendizagem não supervisionada não o faz. Há também a
aprendizagem semissupervisionada, que usa uma mistura de ambas as
abordagens.

A aprendizagem por reforço é uma maneira de treinar um modelo

recompensando previsões precisas e punindo aquelas que não o são.

O algoritmo k-NN baseia-se na noção de que os valores que estão

próximos são bons preditores para um modelo.

A regressão linear estima a relação entre certas variáveis. O R-quadrado

indicará a força do relacionamento.

Uma árvore de decisão é um modelo que se baseia em um fluxo de

trabalho de decisões sim/não.
 Um modelo por agrupamento usa mais de um modelo para as previsões.

O algoritmo de agrupamentos k-means coloca dados não rotulados

semelhantes em diferentes grupos.