Big Data Analytics com R e
R - Fundamentos para Análise
Microsoft Azure Machine Learning
de Dados
[Link]
R Fundamentos
Seja Bem-Vindo
[Link]
R Fundamentos
[Link]
R Fundamentos
• Introdução à Ciência de Dados
• Big Data Fundamentos
• Python Fundamentos para Análise de Dados
• Big Data Analytics com R e Microsoft Azure Machine Learning
• Big Data Real-Time Analytics com Python e Spark
• Engenharia de Dados com Hadoop
• Machine Learning
• Business Analytics
• Visualização de Dados e Design de Dashboards
• Gerenciamento de Dados com MongoDB
• Análise de Séries Temporais em R
• Séries Temporais
• Administração SAS
• Data Science Aplicada à Área de Saúde
• IoT Analytics
[Link]
R Fundamentos
R Fundamentos para Análise de Dados
[Link]
R Fundamentos
Como este curso está dividido?
[Link]
R Fundamentos
Como este curso está dividido?
Capítulo 1 Capítulo 2 Capítulo 5 Capítulo 6
Operadores
Importação e
Lógicos e Tipos de
Introdução Gráficos e Mapas Limpeza de Dados
Objetos
Capítulo 3 Capítulo 4 Capítulo 8
Capítulo 7
Web Scraping e
Matrizes, Strings e Funções,
Manipulação de Importação de
Estruturas de Expressões
Bancos de Dados Softwares
Controle Regulares e Datas
Estatísticos
[Link]
R Fundamentos
Como este curso está dividido?
Capítulo 9
Subsetting, Séries Temporais, Documentação e Projeto
[Link]
R Fundamentos
Como este curso está dividido?
Capítulo 10
Avaliação Final e E-book
[Link]
R Fundamentos
O que esperar deste curso?
[Link]
R Fundamentos
O que esperar deste curso?
• Praticidade
• Dinamismo
• Muito Conteúdo
• Alguns Conceitos Avançados
• Objetividade
[Link]
R Fundamentos
O que NÃO esperar deste curso?
[Link]
R Fundamentos
O que NÃO esperar deste curso?
• Este não é um curso de Estatística
• Comprovar Modelos com Fórmulas Matemáticas
[Link]
R Fundamentos
Quizzes e Exercícios
[Link]
R Fundamentos
Scripts
[Link]
R Fundamentos
Projetos
[Link]
R Fundamentos
Projetos
Projeto - Análise de Redes Sociais
[Link]
R Fundamentos
Avaliação Final
25 questões – 2 tentativas – 70% - 12 meses
[Link]
R Fundamentos
E como deve ser sua abordagem neste curso
[Link]
R Fundamentos
[Link]
R Fundamentos
E como deve ser sua abordagem neste curso
Comunique-se
Crie os scripts
4 horas de
dedicação por
semana
[Link]
R Fundamentos
Como se conectar com a
comunidade R?
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
• Users of R Statistical Package
• R Brasil – Programadores
• Estatística Brasil
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
Por que Cientistas de Dados usam R?
[Link]
R Fundamentos
Breve História
do R
[Link]
R Fundamentos
Projeto de pesquisa em Auckland, na Nova
1993
Zelândia
1995 R liberado como projeto open-course
1997 Formado o grupo R-Core
Breve História
2000 Liberada a versão 1.0.0 do R do R
2003 Criação da R Foundation
Primeira conferência internacional de usuários
2004
em Vienna
Formado o R Consortium (com participação da
2015
IBM e Microsoft)
[Link]
R Fundamentos
R possui diversas funções para:
• Extração de Dados
• Limpeza de Dados
• Carregamento e Transformação de Dados
• Análise Estatística
• Modelagem Preditiva
• Machine Learning
• Visualização de Dados
[Link]
R Fundamentos
Pesquisa
realizada no site
KD
[Link]
R Fundamentos
Número de
pacotes R
publicados por
ano no CRAN
Fonte: [Link]
[Link]
R Fundamentos
[Link]
R Fundamentos
Espera-se que o
Cientista de Dados
domine pelo menos
uma destas 3
linguagens
[Link]
R Fundamentos
[Link]
R Fundamentos
Sintaxe
”A” != ”a”
[Link]
R Fundamentos
Dificuldade
[Link]
R Fundamentos
Vantagens e
Desvantagens
[Link]
R Fundamentos
Vantagens
• Grande variedade de pacotes disponíveis
• Flexibilidade e Rapidez
• Machine Learning
[Link]
R Fundamentos
Desvantagens
• Não há interface gráfica. Tudo é feito por
linha de comando
• Limitações no uso de memória,
principalmente com datasets muito
grandes
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
[Link]
R Fundamentos
Oracle e Microsoft estão investindo pesado na
linguagem R para suas soluções analíticas
[Link]
R Fundamentos
Versatilidade
[Link]
R Fundamentos
• sqldf – pacote que permite realizar queries SQL em
dataframes no R
• forecast – modelar séries temporais
• plyr – dividir uma estrutura de dados em grupos e aplicar
funções a cada grupo
• stringr – manipulação de strings
• Database drivers – RMongo, RODBC, RMySQL
• ggplot2 – visualização de dados
• qcc – controle de qualidade estatístico
• randomForest – pacote para Machine Learning
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
Qual a importância do Big Data Analytics?
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
Funcionário Idade Salário Cargo
Aristóteles 32 R$ 7.500,00 Analista Financeiro
Sócrates 41 R$ 9.300,00 Gerente Financeiro
Informação
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
As pessoas trabalham com informações mas a
tecnologia armazena dados
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
Funcionário Idade Salário Cargo
Aristóteles 32 R$ 7.500,00 Analista Financeiro
Sócrates 41 R$ 9.300,00 Gerente Financeiro
Conhecimento
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
Funcionário Idade Salário Cargo
Aristóteles 32 R$ 7.500,00 Analista Financeiro
Sócrates 41 R$ 9.300,00 Gerente Financeiro
Inteligência – capacidade de resolver problemas, usando o
conhecimento, através das informações disponíveis
Por exemplo: por que os funcionários do setor financeiro tem queda
de performance após 1 ano trabalhando na empresa
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
Big Data Analytics
Extrair conhecimento a partir dos
dados
[Link]
R Fundamentos
Dados x Informação x Conhecimento x Inteligência
Machine Learning
Ensinar algoritmos a usar
inteligência, ou seja, usar o
conhecimento para resolver
problemas
[Link]
R Fundamentos
Evolução dos Sistemas Analíticos
[Link]
R Fundamentos
Evolução dos Sistemas Analíticos
[Link]
R Fundamentos
Evolução dos Sistemas Analíticos
O conhecimento nos faz mais inteligentes;
pessoas e empresas que aprendem (e agora, máquinas)
[Link]
R Fundamentos
Estamos vivendo a era da explosão dos dados
bit byte kylobyte megabyte gigabyte terabyte petabyte exabyte zettabyte yottabyte
Em 2014 a humanidade acumulou em dados Big Data
o equivalente a 1.8 Zettabyte
[Link]
R Fundamentos
O que é Big Data Analytics?
O objetivo é simples: melhorar seus processos de trabalho e adquirir insights
valiosos acerca das tendências de mercado, comportamento dos
consumidores e suas expectativas
[Link]
R Fundamentos
O que é Big Data Analytics?
Big Data Analytics é o trabalho analítico e inteligente em grandes volumes de
dados, estruturados ou não-estruturados, que são coletados, armazenados e
interpretados por softwares de altíssimo desempenho
[Link]
R Fundamentos
Dados de
Ferramentas
de BI
Conteúdo de
Pesquisas
Redes Sociais
Matéria-prima
Arquivos de
Indicadores Log e
Sensores
E-mails Relatórios
[Link]
R Fundamentos
Vantagens e Benefícios
[Link]
R Fundamentos
• Direcionamento das Vendas
Vantagens e • Aperfeiçoamento do Processo de Logística
• Atendimento mais eficiente
Benefícios • Melhoria na Gestão de Recursos Humanos
• Identificação de Padrões
• Análise da Concorrência
[Link]
R Fundamentos
5 Perguntas que Precisam ser respondidas antes
de pensar em Big Data Analytics
[Link]
R Fundamentos
5 Perguntas que Precisam ser respondidas antes de pensar em
Big Data Analytics
1- Qual seu objetivo?
2- Qual a origem dos dados?
3- Que solução escolher?
4- Este será um trabalho em equipe?
5- Qual o impacto que o Big Data Analytics terá no negócio?
[Link]
R Fundamentos
Big Data Analytics em
Áreas de Negócio
[Link]
R Fundamentos
Saúde
[Link]
R Fundamentos
Saúde
• Combate a doenças e epidemias
• Dispositivos móveis de monitoramento
• Atendimento médico individualizado
• Wearables e apps
[Link]
R Fundamentos
A Accenture Healthcare IT Vision
2015, uma pesquisa anual sobre
tendências de tecnologia, traz
dados interessantes sobre o uso
de Big Data na saúde.
[Link]
R Fundamentos
45% dos executivos da área
consultados afirmaram que fazem
análise preditiva
[Link]
R Fundamentos
59% disseram que já usam
algoritmos com o objetivo de
fazer softwares operarem com
mais inteligência
[Link]
R Fundamentos
73% de todos os executivos de
saúde relataram ter obtido um
ROI positivo depois de investir em
tecnologias como dispositivos
móveis do tipo wearables
[Link]
R Fundamentos
Construção
[Link]
R Fundamentos
Logística
Estatística + Matemática + Mídias Sociais + Macroeconomia + Tecnologia + Dados
Big Data Analytics
[Link]
R Fundamentos
Marketing
• Análise de mercado mais específica
• Interpretação de Dados mais eficaz
• Mais fontes de dados
• Automação do Marketing
• Experiências mais significativas no PV
[Link]
R Fundamentos
Indústria
• Eficiência no Planejamento
• Gestão de Suprimentos
• Redução de Custos
• Qualidade
[Link]
R Fundamentos
E-commerce
[Link]
R Fundamentos
Energia
[Link]
R Fundamentos
A Empresa como um todo
• Mudança de Cultura
• Visão Empresarial
• Esforço Top-Down
[Link]
R Fundamentos
• Big Data já não é mais um tema distante
• Big Data fará toda a diferença para seu negócio
• Qualquer empresa pode se beneficiar do Big Data
• Big Data é um trabalho em equipe
[Link]
R Fundamentos
Mas por onde eu começo?
[Link]
R Fundamentos
Como o Big Data pode me ajudar a aumentar o Market Share da empresa?
[Link]
R Fundamentos
Coletar Dados
Faturamento
Marketing
Clientes
Custos
Efetividade das Campanhas de Marketing
Concorrentes
Redes Sociais
[Link]
R Fundamentos
Trabalhar Sobre os Dados
Carga
Limpeza
Transformação
Compreensão
[Link]
R Fundamentos
Técnicas de Análise
Aplicar modelos estatísticos e compreender o relacionamento entre os dados
Definir variáveis de observação e explanatórias
Buscar correlação e causalidade
[Link]
R Fundamentos
Machine Learning
Juntar tudo e criar um modelo de machine learning, prevendo como estas
variáveis afetam umas às outras quando alteradas
Automatizar o processo
[Link]
R Fundamentos
Apresentar seus Resultados
[Link]
R Fundamentos
Usando o Github
[Link]
R Fundamentos
O que é um sistema de controle de versão?
[Link]
R Fundamentos
Várias pessoas
trabalhando nos
mesmos arquivos
[Link]
R Fundamentos
Histórico e Conceitos
[Link]
R Fundamentos
• Concurrent Versions System (CVS)
• Subversion (SVN)
Sistemas de Controle • Visual SourceSafe (VSS)
de Versão • Rational ClearCase
• Git
[Link]
R Fundamentos
[Link]
R Fundamentos
• Não depender de um servidor central
• Dar ênfase à velocidade
• Integridade dos dados
• Potencializar o trabalho paralelo
[Link]
R Fundamentos
[Link]
[Link]
R Fundamentos
[Link]
[Link]
R Fundamentos
Muitos Cientistas de Dados
estão no Github
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
No Github você pode encontrar ainda uma infinidade de
material sobre Data Science e projetos completos
[Link]
R Fundamentos
Principais Conceitos do Git
[Link]
R Fundamentos
Branch
Ramificação do projeto,
Principais cada branch representa uma versão do
conceitos do Git seu projeto e podemos seguir uma linha de
desenvolvimento a partir de cada branch
[Link]
R Fundamentos
Clone
Cópia local de todos os arquivos de um
Principais repositorio git
conceitos do Git
[Link]
R Fundamentos
Commit
Coleção de alterações realizadas, é uma
Principais espécie de checkpoint, sempre que
conceitos do Git necessário você pode retroceder até
algum commit existente
[Link]
R Fundamentos
Fork
Uma bifurcação do projeto, uma cópia do
Principais projeto existente para seguir uma nova
conceitos do Git direção
[Link]
R Fundamentos
Master
Principais
conceitos do Git Branch padrão de um repositório Git
[Link]
R Fundamentos
Merge
É a capacidade de incorporar alterações
Principais do git, quando acontece uma junção de
conceitos do Git diferentes branches
[Link]
R Fundamentos
Pull
Principais
conceitos do Git Puxa as alterações do repositório remoto
[Link]
R Fundamentos
Push
Principais Empurra as suas alterações para o
conceitos do Git repositório remoto
[Link]
R Fundamentos
Repositório
Principais Local onde ficam todos os arquivos do
conceitos do Git projeto, inclusive o histórico e versões
[Link]
R Fundamentos
Como utilizar o Github?
[Link]
[Link]
R Fundamentos
[Link]
[Link]
R Fundamentos
Github Desktop
[Link]
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
Preparação de Documentos com R e LaTeX
[Link]
R Fundamentos
O que é LaTeX?
[Link]
R Fundamentos
A ideia central do LaTeX é distanciar o autor o máximo
possível da apresentação visual da informação, pois a
constante preocupação com a formatação desvia o
pensamento do conteúdo escrito
[Link]
R Fundamentos
Tempo e Esforço
Por que empregar tempo e esforço
em documentos mais simples?
Tamanho e Complexidade do Documento
[Link]
R Fundamentos
R e LaTeX
Arquivos com extensão .Rnw
[Link]
R Fundamentos
R e LaTeX
Arquivos com extensão .Rnw
[Link]
R Fundamentos
R e LaTeX
Sweave()
knit()
Reproducible Research
[Link]
R Fundamentos
knitr()
[Link]
R Fundamentos
Sweave()
[Link]
R Fundamentos
Usando o R Markdown e Criando seu
Portfólio
[Link]
R Fundamentos
Markdown
Linguagem de marcação de texto, que permite criar documentos
a partir de texto plano
[Link]
R Fundamentos
Usando o R Markdown
knitr + markdown + pandoc = rmarkdown
[Link]('rmarkdown')
[Link]
R Fundamentos
Usando o R
Markdown
[Link]
R Fundamentos
Documentos R Markdown são totalmente reproduzíveis
[Link]
R Fundamentos
Sintaxe Markdown Saída HTML
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
[Link]
R Fundamentos
knit2html()
Converte .Rmd em .Html
[Link]
R Fundamentos
[Link]