LARGE LANGUAGE
MODEL
LARGE LANGUAGE MODEL
Agenda
Relação hierárquica entre os conceitos de IA
Definição, finalidades e exemplos
Esclarecimentos
Modelos fundacionais e qualidade do modelo
Como fazer um modelo saber mais?
Engenharia de Prompt
Serviços
Muito além da janela de chat
Casos práticos
LARGE LANGUAGE MODEL
Relação hierárquica entre os conceitos de IA
Fonte: Revista Medium (2024)
LARGE LANGUAGE MODEL
Definição
Em português: Grandes
Modelos de Linguagem
Modelos capazes de compreender
e produzir linguagem humana:
Um papagaio estocástico
Um autocomplete sofisticado.
LARGE LANGUAGE MODEL
Definição
Fonte: Adaptado do post do usuário @cuducos no X
LARGE LANGUAGE MODEL
Definição
rainha
mulher
Técnicas permitiram capturar a matemática
por trás dos significados das palavras
Palavras representadas por conjuntos de rei
números (vetores ou embeddings)
homem
Faz-se matemática com a semântica:
Um grande avanço na Linguística
Computacional! Rei – homem + mulher = rainha
LARGE LANGUAGE MODEL
Finalidades
Os modelos são ajustados para
diversas finalidades em torno de texto.
Exemplos:
Tradução
Atender instruções
Conversar
Gerar Código.
LARGE LANGUAGE MODEL
Finalidades
Uso clássico:
Dada uma sequência de palavras
prévias (janela de contexto), consegue
prever as melhores palavras a serem
geradas na sequência (complemento).
LARGE LANGUAGE MODEL
Exemplos
1. Meu cachorro pulou a …
2. Meu cachorro pulou a cerca …
3. Meu cachorro pulou a cerca e …
4. Meu cachorro pulou a cerca e mordeu …
5. Meu cachorro pulou a cerca e mordeu a …
6. Meu cachorro pulou a cerca e mordeu a vizinha …
7. Meu cachorro pulou a cerca e mordeu a vizinha.
LARGE LANGUAGE MODEL
Exemplos
Os exemplos de treinamento vão
influenciar na escolha dos
complementos possíveis, levando
em conta o contexto:
Latina (98%)
O SERPRO é a maior
do Sul (87%)
empresa de TI da América ________
do Norte (35%)
Futebol Clube (13%)
LARGE LANGUAGE MODEL
Exemplos
Os exemplos de treinamento vão
influenciar na escolha dos
complementos possíveis, levando
em conta o contexto:
Futebol Clube (95%)
O SERPRO é o novo Mineiro (84%)
patrocinador do América ____
do Sul (11%)
do Norte (10%)
LARGE LANGUAGE MODEL
Exemplos
A configuração de temperatura permite
deixar a geração mais aleatória,
aumentando a criatividade da LLM:
Se deixar muito alto, o modelo
começará a alucinar (ser impreciso)
Modelos ruins também vão alucinar,
mesmo com temperatura baixa.
LARGE LANGUAGE MODEL
Esclarecimento
Quando a LLM responde a uma pergunta,
ela está apenas complementando o contexto
com a melhor sequência:
O que é o SERPRO?
O que é o SERPRO? O SERPRO, ou Serviço Federal de
Processamento de Dados, é uma empresa pública
brasileira que atua na área de tecnologia da
informação e comunicação.
LARGE LANGUAGE MODEL
Esclarecimentos
LLM não é um sistema de busca
LLM não conhece formalmente
assuntos que não fizeram parte do
seu treinamento.
LLM não está aprendendo
enquanto conversa conosco
LARGE LANGUAGE MODEL
Modelos fundacionais
Diferente de outras técnicas de ML, não
é muito factível cada projeto criar e manter
sua própria LLM
Treinamentos extensos deram a origem aos
modelos fundacionais:
Tem amplo conhecimento geral e consegue
até ser multi-idioma.
Pode não saber algo específico mas é esperto
se bem instruído.
Serve de base para criação de novos modelos.
LARGE LANGUAGE MODEL
Modelos fundacionais
Fonte: Revista Medium (2024)
LARGE LANGUAGE MODEL
Modelos fundacionais
Fonte: Revista IEEE Spectrum (2024)
LARGE LANGUAGE MODEL
Qualidade do modelo
Fatores que fazem um modelo melhor que outro:
Treinamento maior/melhor
Mais parâmetros e camadas
Tamanho da janela de contexto (em tokens)
Ser multi-idioma.
LARGE LANGUAGE MODEL
Qualidade do modelo
Quanto maior e mais diversa for a base de
treinamento, mais relações entre as palavras em
diferentes contextos a LLM poderá aprender.
+ Treinamento ⇒ + Dados
+ Infraestrutura
+ Tempo
LARGE LANGUAGE MODEL
Qualidade do modelo
Quanto mais complexo for o modelo
(parâmetros, tokens, camadas), mais
nuances semânticas ele poderá considerar.
+ Complexidade ⇒ + Memória
+ Processamento
+ Tempo
Fonte: Revista Medium (2022)
LARGE LANGUAGE MODEL
Qualidade do modelo
Os modelos costumam ser lançados com
diferentes complexidades, indicadas no nome:
Gemma 2 2B -> 2 bilhões de parâmetros
Gemma 2 27B -> 27 bilhões de parâmetros.
LARGE LANGUAGE MODEL
Qualidade do modelo
Os modelos têm ainda o limite
na janela de contexto:
Medido em quantidade de tokens
Limita o tamanho da pergunta + resposta
Janelas grandes dão mais possibilidades:
Pedir análise de texto grande
Enviar mais histórico de conversa.
LARGE LANGUAGE MODEL
Qualidade do modelo
Outras informações importantes
sobre o modelo:
Tipo: instrução, chat, code…
Idiomas suportados
Resultado em benchmarks de interesse.
LARGE LANGUAGE MODEL
Como fazer um modelo saber mais?
Ajuste Fino (Fine Tuning)
Ajuste do Prompt (Prompt Tuning)
Engenharia de Prompt.
LARGE LANGUAGE MODEL
Engenharia de Prompt
Mesmo que o modelo não saiba responder
sobre tudo, ele tem muito valor se responde
adequadamente quando é bem instruído.
Geração Aumentada por Recuperação (RAG):
Buscar informações brutas sobre uma
assunto e injetar na instrução para ajudar
o modelo a responder melhor
“O importante não é saber, mas ter o
telefone de quem sabe!”
LARGE LANGUAGE MODEL
Serviços
Os modelos vêm sendo disponibilizados como
serviço para que sistemas possam interagir
com eles via API:
Amazon Bedrock, Azure Open AI, Google
Vertex AI, etc.
Hospedados On-Premises em servidores
com GPU.
LARGE LANGUAGE MODEL
Muito além da janela de chat
LLM não é útil apenas dando respostas
em conversas
LLM é talvez a técnica mais poderosa e flexível
para Processamento de Linguagem Natural:
Extrair metadados
Reconhecer entidades
Resumir
Classificar
Corrigir, limpar e normalizar textos
Hospedados On-Premises em
servidores com GPU.
LARGE LANGUAGE MODEL
Muito além da janela de chat
IA analisa se anexos são
pertinentes e condizentes
Sistema recebe um IA extrai metadados dos
Analista edita o
pedido anexos e dos textos do pedido
parecer final gerado
(ex: processo, petição,
pela IA e despacha
recurso, etc.)
resposta
IA gera resumo dos anexos e
textos grandes do pedido
IA sugere classificações e/ou Analista revê pré-
Sistema exibe pedidos grupos para o pedido análise feita pela IA e
enriquecidos faz seu trabalho com
pela IA na caixa de mais rapidez
IA gera sugestão de redação
entrada dos analistas para o parecer final Fonte: SERPRO
LARGE LANGUAGE MODEL
Muito além da janela de chat
A IA não precisa (e talvez nem deva)
necessariamente bater o martelo nas análises
automatizadas, mas certamente ela poderá
acelerar e empoderar o trabalho dos humanos.
LARGE LANGUAGE MODEL
Casos
práticos
LARGE LANGUAGE MODEL
Caso prático 1 - Playground
Análise interativa de um
Boletim de Ocorrência com
ajuda da LLM no Playground.
Acesse o vídeo caso prático 1
LARGE LANGUAGE MODEL
Caso prático 2 – Jupyter Notebook
Um pipeline para analisar notícias
recentes do site do SERPRO com ajuda
do Serpro LLM, escrito em Python no
Jupyter Notebook.
Acesse o vídeo caso prático 2
LARGE LANGUAGE MODEL
Caso prático 3 – Aplicação Web Customizada
Uma aplicação Web on-line que faz
integração com o SerproLLM com
exemplos visuais de tarefas de
Sumarização, Extração de Dados e
Classificação de documentos.
Acesse o vídeo caso prático 3
LARGE LANGUAGE MODEL
Fim do módulo