DESAFIO
Para que a manutenção de grandes conjuntos de dados seja efetiva, é importante existir
alto poder de processamento, além de softwares que atendam à alta demanda. Em regra,
sistemas gerenciadores de bancos de dados comuns podem não ser tão satisfatórios,
sendo necessário o uso de ferramentas mais robustas.
Observe a seguinte situação:
Você é cientista de dados de uma empresa de tecnologia de médio porte que atua com
streaming de vídeos e percebe que a produção de dados de sua organização está muito
alta e os bancos de dados relacionais tradicionais não estão dando conta de armazenar e
processar todo o fluxo de dados gerado.
Além disso, o valor gasto com esses sistemas gerenciadores de bancos de dados está
crescendo cada vez mais, tornando-os inviáveis para a saúde do negócio, e a empresa já
investiu muito dinheiro em ferramentas que não surtiram efeito.
Para medir o perfil de consumo de seus clientes, ela armazena informações referentes às
visualizações dos vídeos, detectando, por exemplo, quantas vezes um usuário pausou ou
por quanto tempo ele assistiu a determinado vídeo de maneira ininterrupta, além de outras
informações, como os assuntos em que ele tem mais interesse.
Os dados são gerados em formato texto ou binário e, por conseguinte, são gravados
automaticamente em planilhas eletrônicas, documentos de textos ou tabelas de bancos de
dados de origem sistêmica, etc.
Seu papel é implementar novas tecnologias que atendam às demandas de sua empresa e
que, ao mesmo tempo, sejam de baixo custo.
De acordo com o cenário apresentado, você deve especificar:
a) Qual ou quais tecnologias poderiam ser adotadas pela empresa? Justifique sua resposta
com o maior número de detalhes possível.
Arquitetura de Dados para Análise de Consumo de Vídeos
Abaixo está um resumo mais detalhado do diagrama para ilustrar como cada parte se
conecta e contribui para resolver o problema da empresa:
1. Fontes de Dados (Data Sources)
Aqui estão todos os eventos gerados pelos usuários enquanto interagem com os vídeos:
quantas vezes pausaram, quanto tempo assistiram, quais temas mais atraem. Esses dados
são coletados continuamente, o que gera uma quantidade massiva de informações.
2. Processamento em Tempo Real
Utilizamos o Kafka para captar e organizar os eventos em tempo real. Ele garante que cada
interação é rapidamente encaminhada para o sistema de processamento.
Depois, entra o Spark Streaming, que analisa esses dados conforme eles chegam. Isso
possibilita à empresa monitorar o comportamento do usuário quase instantaneamente.
3. Armazenamento no Data Lake
Para armazenar essa enorme quantidade de dados sem gastar muito, os dados vão para
um Data Lake (como Amazon S3 ou HDFS). Esse repositório é flexível e consegue lidar
com diferentes formatos, como texto, JSON e até arquivos binários, o que reduz o custo
em comparação a bancos de dados tradicionais.
4. Banco de Dados NoSQL
Para dados que exigem consulta rápida e frequente, armazenamos no MongoDB ou
Cassandra, que são bancos de dados NoSQL. Eles são ideais para os dados mais
complexos sobre o perfil do usuário, suportando consultas ágeis sobre visualizações e
interações específicas.
5. Data Warehouse
Para relatórios mais complexos e análises de longo prazo, usamos um Data Warehouse
como o BigQuery ou Redshift. Nele ficam os dados já transformados, prontos para
análises aprofundadas de tendências e comportamento ao longo do tempo.
6. BI e Visualização
Por fim, com ferramentas de BI, como Power BI ou Tableau, conseguimos visualizar e
explorar os dados de uma forma mais acessível para que as equipes de marketing e
produtos façam um acompanhamento eficaz do perfil e das preferências dos usuários.
b) Com base em sua resposta, anexe o desenho da arquitetura ideal imaginada por você
para atender à empresa.
Padrão de resposta esperado
a) Muitas podem ser as possibilidades de arquitetura. Como sugestão, uma delas seria o uso
do Apache Hadoop, visto que ele conta com ferramentas de armazenamento massivo de dados,
como o HDFS, além de ferramentas destinadas ao processamento, como é o caso do Spark e do
Hive. Os dados seriam captados das diversas fontes, como websites, sistemas gerenciadores de
conteúdo, planilhas eletrônicas, etc., e, em seguida, processados pelo Apache Spark, no qual
seria possível extrair os insights necessários. Por fim, seriam apresentados visualmente
pelo Tableau ou Power BI, por exemplo. Além disso, como vantagens, a empresa teria baixo custo
de investimento, pois a maioria das ferramentas é open source, com exceção do Power BI e do
Tableau. Na camada de segurança, por sua vez, pode-se utilizar o Apache Ranger e o Apache
Ambari para garantir a integridade dos dados.
b) O desenho anexo representa a arquitetura mencionada na questão A, porém você pode
representar outra arquitetura diferente desta, desde que atenda às camadas de ingestão,
armazenamento, processamento, apresentação e segurança.