Implantação de Serviços
de Inteligência Artificial
em Nuvem
– Microsoft AI900
MACHINE LEARNING
AI-900
MACHINE LEARNING
Aprendizado de Máquina
O machine learning é uma subcategoria
da inteligência artificial e automatiza
efetivamente o processo de
construção de modelos analíticos e
permite que as máquinas se adaptem a
novos cenários de forma independente.
Aprendizado de Máquina
Maquinas Podem Pensar?
1912-
Teste de Turing
O teste de Turing funciona da seguinte forma: um
interrogador (humano) fará perguntas a duas entidades
ocultas; uma delas é um humano e outra é um
computador. A comunicação entre o interrogador e as
entidades é feita de modo indireto, pelo teclado, por
exemplo. O interrogador tentará, através do “diálogo“
realizado entre ele e as entidades, decidir qual dos dois é
o humano. O computador será programado para se
passar por humano, e o humano responderá de forma
a confirmar a sua condição. Se no final do teste o
interrogador não conseguir distinguir quem é o
humano, então conclui-se que o computador pode
pensar, segundo o teste de Turing.
1912-
Machine Learning
Machine Learning é a base para a maioria das soluções
de inteligência artificial e, a criação de uma solução
inteligente geralmente começa com o uso do machine
learning para treinar um modelo de previsão usando
os dados históricos que você coletou
Ideb Exemplo: Prever o resultado
de um jogo de futebol
TÍPOS
APRENDIZADO DE MÁQUINA
SUPERVISIONADO NÃO SUPERVISIONADO
Quando não temos dados
Quando tentamos concisos ou suficientes
prever uma variável para chegar em um
dependente a partir objetivo ou rótulo.
de uma lista de
variáveis
independentes.
POR REFORÇO
Quando precisamos determinar qual é a melhor ação a ser tomada,
dependendo das circunstâncias na qual essa ação será executada
SUPERVISIONADO
Quando tentamos prever uma variável dependente
a partir de uma lista de variáveis independentes.
SUPERVISIONADO
Regressão
A regressão é uma forma
de machine learning que é
usada para prever um
rótulo numérico com
base nas características de
um item.
SUPERVISIONADO
Regressão
MÉTRICAS DE REGRESSÃO
1. Erro absoluto médio (MAE) - Ele produz a pontuação que mede o quão próximo o modelo está de os valores reais quanto menor a
pontuação, melhor o desempenho do modelo.
2. Erro quadrático médio (RMSE) - Ele representa a raiz quadrada da média quadrada dos erros entre os valores previstos e reais.
3. Erro quadrático relativo (RSE)- Baseia-se no quadrado das diferenças entre as previsões e valores verdadeiros. O valor está entre 0 e
1. Quanto mais próximo este valor estiver de 0, melhor é o desempenho do modelo. A relatividade dessa métrica ajuda a compare os
desempenhos do modelo para os rótulos em diferentes unidades.
4. Erro absoluto relativo (RAE) - É baseado em diferenças absolutas entre o previsto e o verdadeiro valores. O valor está entre 0 e 1.
Quanto mais próximo este valor estiver de 0, melhor é o desempenho do modelo. A relatividade dessa métrica ajuda a comparar
desempenhos do modelo para os rótulos em diferentes unidades.
5. Coeficiente de determinação (R2) - Reflete o desempenho do modelo: quanto mais próximo R2 de 1 – melhor o modelo se ajusta
aos dados.
MÉTRICAS DE REGRESSÃO
O Histograma Residual apresenta a frequência de distribuição
dos valores residuais. Residual é a diferença entre os valores
O gráfico Preditivo vs verdadeiro apresenta as diferenças
previstos e reais. Representa a quantidade de erro no modelo.
entre os valores previstos e verdadeiros. a linha pontilhada
Para modelos de alto desempenho, devemos esperar que a
descreve o desempenho ideal do modelo e a linha sólida
maioria dos erros seja pequena. Eles vão se agrupar em torno de
reflete as previsões médias do modelo. Aproximar essas linhas
no histograma Residual
umas das outras, melhora o desempenho do modelo.
O Azure ML Studio fornece explicações para o melhor
modelo de ajuste. A parte dessas explicações é o
histograma de Importância Global. Apresenta a
importância de cada característica na previsão do rótulo.
SUPERVISIONADO
CLASSIFICAÇÃO
A classificação é uma
forma de machine learning
que é usada para prever a
qual categoria
ou classe um item
pertence.
SUPERVISIONADO
CLASSIFICAÇÃO
MÉTRICAS DE
CLASSIFICAÇÃO
A matriz de confusão (ou matriz de erro) fornece uma visão tabulada dos valores previstos e reais
para cada classe. Geralmente é usado como uma performance avaliação para modelos de
Classificação.
Uma matriz de confusão binária é dividida em quatro quadrados que
representam os seguintes valores:
•Verdadeiro positivo (TP) - o número de casos positivos que o modelo
previu corretamente.
•Verdadeiro negativo (TN) - o número de casos negativos que o modelo
previu corretamente.
•Falso positivo (FP) - o número de casos positivos que o modelo previu
como negativo.
•Falso negativo (FN) - o número de casos negativos que o modelo previu
como positivo
MÉTRICAS DE
CLASSIFICAÇÃO
•A Métrica de Exatidão (Accuracy) define quantas previsões (positivas e negativas) são
realmente previu certo. Para calcular essa métrica, use a seguinte fórmula: (TP+TN)/Número
total de casos.
•A Métrica de Precisão define quantos casos positivos são realmente previstos corretamente.
Para calcular esta métrica, use a seguinte fórmula: TP/(TP+FP).
•A Métrica de Recall ou True Positive Rate (TPR) define quantos casos positivos esse modelo
previstos são realmente previstos corretamente. Para calcular essa métrica, use a seguinte
fórmula: TP/(TP+FN).
•A Métrica F1 Score combina Precisão e Recall. Para calcular essa métrica, use o seguinte
fórmula: 2TP/(2TP+FP+FN).
•A Métrica Fall-out ou False Positive Rate (FPR) define quantos casos negativos modelo
previsto são reais previstos corretamente. Para calcular essa métrica, use o seguinte fórmula:
FP/(FP+TN).
As Características do Operador do Receptor ou Curva ROC é a relação entre o FPR (Fall-
out) e TPR (Recall). A Curva ROC produz a Área Sob Curva (AUC).
Area Under Curve (AUC) é uma métrica de desempenho do modelo de classificação que
reflete o quão bom o modelo se ajusta aos dados. Para modelos de classificação binária, o valor
AUC de 0,5 representa que uma previsão de modelo é igual a valores selecionados
aleatoriamente de "Sim" ou "Não". Se a AUC valor está abaixo de 0,5, o desempenho do modelo
é pior do que aleatório. Idealmente, o mais adequado modelo tem um valor de 1. Tal modelo
ideal prevê todos os valores corretamente
TÍPOS
APRENDIZADO DE MÁQUINA
NÃO SUPERVISIONADO
Quando não temos dados concisos ou
suficientes para chegar em um
objetivo ou rótulo.
NÃO SUPERVISIONADO
CLUSTERING
Clustering é uma forma de
machine learning usada para
agrupar itens semelhantes
em clusters com base em
suas características.
NÃO SUPERVISIONADO
CLUSTERING
MÉTRICAS DE
CLUSTERING
1. Distância média para outro centro - Reflete a
distância média para cada ponto de dados em um
cluster para os centróides de todos os outros clusters.
2. Distância Média ao Centro de Cluster- Reflete quão
longe é a distância média para cada dado ponto em um
cluster para o centroide do cluster.
3. Número de Pontos - Seu valor é o número de pontos
atribuídos a cada cluster.
4. Distância Máxima ao Centro de Cluster -Reflete a dispersão do cluster. O valor da métrica é a soma de
distâncias de cada ponto no cluster para o centroide do cluster.
5. Avaliação Combinada - Combina as métricas acima por cluster no modelo combinado métrica de avaliação.
APRENDIZAGEM
POR REFORÇO
Quando precisamos determinar
qual é a melhor ação a ser
tomada, dependendo das
circunstâncias na qual essa ação será
executada
FLUXO DE TRABALHO
MACHINE LEARNING
FLUXO DE TRABALHO
MACHINE LEARNING
Ingestão de
Dados
Preparação
Implantação do
Transformação
Modelo
de Dados
Seleção
Avaliação Engenharia
de Recursos
Treinamento
do Modelo
INGESTÃO DE DADOS
MACHINE LEARNING
É o processo de trazer dados
de diferentes fontes para um
repositório ou
armazenamento comum.
Após a ingestão, os dados
ficam acessíveis para diversos
serviços. Existem três maneiras
gerais de obter os dados: fazer
upload do conjunto de
dados, entrada manual e
importar dados.
PREPARAÇÃO E TRANSFORMAÇÃO DE
DADOS
MACHINE LEARNING
Precisamos preparar ou pré-processar
dados: encontrar e corrigir dados
erros, remover outliers, imputar
dados ausentes com valores de
dados apropriados.
SELEÇÃO E ENGENHARIA DE RECURSOS
MACHINE LEARNING
Antes do treinamento do
modelo, precisamos revisar os
dados, selecionar recursos que
influenciam a previsão (rótulo)
e descartar outros recursos do
conjunto de dados final.
SELEÇÃO E ENGENHARIA DE RECURSOS
MACHINE LEARNING
Normalização
Se o conjunto de dados tiver números
campos/colunas em diferentes escalas, como
uma coluna tem todos os valores de 0 a 0,5 e Engenharia de Recursos
outra coluna? de 100 para 500, precisamos Se, para melhor modelo desempenho, a
trazê-los para o escala. solução de ML requer a geração de um
novo recurso com base no recursos
atuais.
AVALIAÇÃO
MACHINE LEARNING
Após o término do treinamento, precisamos
pontuar (testar) um modelo com o conjunto
de dados de teste. O Auto ML usa um
conjunto de dados de validação para
validação de modelo e validação cruzada dos
processos filhos. Azure ML Designer utiliza a
pontuação Módulo de modelo para pontuar as
previsões do modelo usando o conjunto de
dados de teste. A pontuação os resultados são
fornecidos ao módulo Avaliar Modelo. O
módulo avalia a pontua os resultados e
produz as métricas de desempenho do
modelo padrão.
IMPLANTAÇÃO DO MODELO
MACHINE LEARNING
Se o desempenho do modelo for satisfatório,
podemos implantar o modelo em um
ambiente de produção. Para a implantação do
modelo, precisamos criar a versão de
produção do pipeline de treinamento -
pipeline de inferência