Trabalho de Vanda Albuquerque e António Andrade
UFCD 11012 Formadora Sandra Monteiro
Big Data e Data Analytics
Os megadados referem-se à vasta quantidade de
dados estruturados e não estruturados que são
gerados por várias fontes, como as redes sociais, os
dispositivos IoT , e às transacções comerciais.
Um dos pontos essenciais do conceito é o facto de
ter sido capaz de gerar valor para empresas e para o
mercado . Graças às novas tecnologias , é possível
recolher, manipular, analisar e exibir dados com maior
eficácia.
Exemplos de Big Data: Hadoop, SQL, Spark.
Os centros de dados tiveram que aprender a
lidar com o crescimento exponencial de dados
gerados e desenvolver ferramentas que fossem
para além de banco de *dados relacionais .
A velocidade para obter informação faz parte do
sucesso que o Big Data pode proporcionar.
*‘Dados Relacionais’
Os dados são organizados em tabelas que contêm
informação sobre cada entidade e representam
categorias predefinidas por meio de linhas e colunas,
armazenam e fornecem acesso a pontos de dados
relacionados entre si.
A primeira tabela é de informação do cliente, de
forma que cada registo inclui o nome, endereço, as
informações de envio e facturação, o número de
telefone e outras informações. Nos primeiros anos de
banco de dados, todos os aplicativos armazenavam
dados em sua própria estrutura única, essas
estruturas de dados eram ineficazes, difíceis de
manter e difíceis de optimizar ( existem desde 1970).
“MoneyBall”
O objectivo por detrás do investimento de Big
Data é melhorar a prestação de informação
aos gestores, fazendo com que haja um
suporte na tomada de decisões, com dados
reais e precisos.
Moneyball é um excelente exemplo de como
o Big Data pode ser utilizado em qualquer
vertente empresarial.
Breve explicação de “MoneyBall”
A equipa Oakland A’S pelo dirigente Billy Beane, começou a
procurar jogadores que estavam subvalorizados no mercado
do Basebol, ou seja, que recebiam salários mais baixos em
relação à sua capacidade de contribuir para a vitória,
conforme medido pelo Big Data analytics.
No mundo do desporto, o basebol foi um dos primeiros a
adoptar esta prática analítica na tomada de decisões em
relação à avaliação de jogadores e estruturação da equipa,
que consistiu em rearranjar o posicionamento dos jogadores
defensivos no campo de acordo com o histórico estatístico
de ‘batidas’ de cada atleta da equipa adversária, adoptando
*Sabermetria para observar e analisar jogadores.
Em 2011 foi realizado o filme MoneyBall.
É um filme norte-americano do género drama biográfico dirigido
por Bennett Miller, com roteiro de Steven Zaillian, Stan
Chervin e Aaron Sorkin baseado no livro Moneyball: The Art of
Winning an Unfair Game, de Michael Lewis, que conta a história
de Billy Beane, dirigente da equipa de basebol do Oakland
Athletics.
Protagonizado por Brad Pitt, Jonah Hill e Philip Seymour Hoffman,
o filme se concentra nas tentativas de Beane em criar uma
equipa competitiva para a temporada de 2002 de Oakland.
* Sabermetria ( Sabermetrics), é o termo geral para
análise desportiva e análise empírica do basebol,
especialmente o desenvolvimento de métricas
avançadas baseadas em estatísticas de basebol que
medem a actividade do jogo.
Refª a Sabermetria
[Link]
FQOy-a0WU
Refª ao filme
[Link]
.be/PeOO4-
K4pHw
Big Data Analytics
Analisa vários aspectos como:
Visualização de crises;
Análise da situação actual da empresa;
Antecipação de tendências em diferentes nichos de
mercado;
Resolução de problemas em menor tempo e de forma
mais adequada.
O Big Data é uma coleta ampla de dados e o
Analytics diz respeito à utilização de algoritmos para
a realização de análises.
Tipos de Big Data Analytics
Existem 4 tipos :
Análise Descritiva ( perceber o que aconteceu no passado e
ficar com uma ideia das tendências e explorar o futuro);
Análise de Diagnóstico ( permite analisar os indicadores de
Churn (taxa de desistência de clientes) ou tendências de
produto/serviços );
Análise Preditiva (através da utilização de modelos preditivos
consegue-se perceber o que irá acontecer no futuro, permite
saber quais os melhores produtos a comercializar ou o risco
de perda de um cliente;
Análise Prescritiva ( transmite mais valor para a organização,
prevendo por exemplo, o melhor local num website para se
colocar um banner ou qual a próxima acção para se reter um
cliente, etc...
Benefícios/Vantagens
Melhoria nas decisões;
Custos reduzidos;
Eficiência operacional;
Entendimento das necessidades do público-
alvo;
Facilidade para desenvolver produtos e
serviços;
Gestão de riscos.
Desvantagens
Preocupação com a privacidade (protecção das
informações pessoais);
Falta de Normalização (falta de normalização em
termos de formato, qualidade e segurança dos dados;
Questões relacionadas com a segurança dos dados
( torna-os um alvo valioso para cibercriminosos).
Refª [Link]/blog
Conclusão
Big Data e Data Analytics
Tem o potencial de fornecer informações
valiosas e impulsionar a inovação, mas
também suscita preocupações importantes
quanto à privacidade , Normalização,
segurança e gestão.
É importante que as empresas/organizacões
abordem estas preocupações através de
implementação de medidas de segurança
adequadas, do desenvolvimento de normas
para a recolha e analise de dados e de
resolução de problemas na privacidade.
À medida que o Big Data cresce em
tamanho e complexidade, a segurança e a
privacidade dos dados tornam-se cada vez
mais importantes. Implemente controles de
acesso, criptografe dados confidenciais e
siga as directrizes em conformidade para
proteger a infraestrutura de Big Data
contra violações e acesso não autorizado.
Monitorizar regularmente o sistema e
realizar auditorias de segurança também
pode ajudar a garantir a segurança dos
dados.
Princípios Chave de Segurança
Criptografia de dados: usar técnicas de criptografia para proteger os dados,
tanto em trânsito quanto em repouso, para evitar acesso não autorizado.
Controle de acesso: implementar controles de acesso fortes, como controle
de acesso baseado em função (RBAC), para limitar quem poderá acessar
dados e sistemas confidenciais e quais acções poderão executar.
Monitorizar o sistema: monitorizar regularmente a infraestrutura Big
Data para detectar possíveis violações de segurança ou actividades
suspeitas.
Backup e recuperação: ter um plano poderoso de backup e recuperação
para recuperar rapidamente dados caso se percam ou haja falha do sistema.
Conformidade: garantir que Big Data cumpre as regulamentações
relevantes do sector e as leis de protecção de dados, como GDPR ou HIPAA.
Melhores práticas de segurança para Big Data
Use protocolos de segurança padrão do sector: empregar protocolos e tecnologias
de segurança de última geração, como criptografia SSL/TLS e autenticação OAuth2,
para proteger os dados.
Audite e actualize políticas de segurança: actualizar regularmente as políticas de
segurança da organização, garantindo que estejam alinhadas com os padrões e
práticas recomendadas do sector.
Conduza avaliações de vulnerabilidade e testes de penetração: teste a segurança
de Big Data por meio de avaliações regulares de vulnerabilidade e testes de
penetração para identificar e corrigir possíveis pontos fracos.
Formação de funcionários: Forneça aos funcionários formação abrangente sobre
práticas de segurança e privacidade de dados, garantindo que eles entendem as suas
responsabilidades na protecção de dados confidenciais.
Anonimização de dados: Use técnicas de anonimato, como tokenização ou
mascaramento, para proteger dados confidenciais e, ao mesmo tempo, preservar o seu
valor analítico.
‘Passado’
Até ao ano 2000 só aproximadamente 25% dos
dados eram digitais sendo que a partir de 2012/2014
passou para 98%, muito se deve à queda dos preços
dos telemóveis e computadores , que se tornaram
mais acessíveis.
A partir do ano 2000, a Google e a Microsoft
decidiram usar o Big Data para melhorar as suas
plataformas e aumentar o seu alcance; o que permite
compreender o passado , interpretar o presente e
prever o futuro.
A titulo de curiosidade ,o uso dos primeiros
equipamentos para processar dados remontam a 1890.
Os Censos dos EUA enumerou as pessoas através de
uma máquina de tabulação.
Para melhor compreender o conceito
FCI Educação Continuada
[Link]