Dynamic Interactive Hypergames: implementação e avaliação
experimental de geração de vídeos sintéticos condicionados por tokens
semânticos
Gabriel de Oliveira Dias 1 Isabella Rodrigues de Oliveira 1 Linus Leonan Kiche Madera 1
Theodoro Priosti de Almeida 1
Lucas Cerqueira Figueiredo 1,2
1
Faculdade de Computação e Informática (FCI)
Universidade Presbiteriana Mackenzie – São Paulo, SP – Brasil
10314254, 10357696, 10401891, 10401614@[Link]
[Link]@[Link]
2026
Resumo
Este trabalho apresenta uma avaliação experimental de uma pipeline compacta para
geração de vídeos sintéticos condicionados por tokens semânticos e entradas WASD. A
pesquisa investiga se jogos parametrizáveis e automaticamente anotados podem servir como
fonte de dados controlados para treinar modelos generativos capazes de reproduzir, ainda
que de modo aproximado, aspectos visuais e temporais de cenas interativas. Foram
desenvolvidos três jogos sintéticos e gerado um conjunto de 12.960 clipes, totalizando
207.360 frames em resolução 128×128, com metadados contendo jogo, cor, velocidade, vida,
fundo e sequência de entradas. O modelo principal, denominado Z1, consiste em uma rede de
difusão condicional compacta baseada em convoluções 3D, treinada inicialmente em uma
GPU NVIDIA A100 80GB e posteriormente continuada em uma RTX PRO 6000 com 96GB.
Embora a melhor perda observada tenha atingido 0,002913 em MSE, a avaliação humana e
as métricas auxiliares indicaram que os resultados ainda não caracterizam um sistema
prático de geração interativa. As amostras finais resultaram instáveis e não jogáveis. Ainda
assim, foram observados indícios de aprendizado visual, como preservação parcial de
paletas, formas mais reconhecíveis em um jogo sintético e elementos vagos de fundo, assim
como senso de movimento. O trabalho, portanto, documenta uma pipeline experimental
reproduzível, seus limites e os pontos técnicos necessários para evoluções futuras.
Palavras-chave: jogos parametrizáveis; difusão condicional; tokens semânticos; dados
sintéticos; avaliação qualitativa.
Abstract
This paper presents an experimental evaluation of a compact pipeline for synthetic video
generation conditioned by semantic tokens and WASD input sequences. The study
investigates whether simple parametrizable games with automatic annotations can be used as
controlled data sources for training generative models. Three synthetic games were
developed, producing 12,960 clips and 207,360 frames at 128×128 resolution. The main
model, named Z1, used a compact conditional 3D diffusion architecture trained on dedicated
GPUs. Although the best checkpoint achieved a numerical MSE loss of 0.002913, human
qualitative evaluation and auxiliary metrics showed that the outputs were not sufficient for
practical interactive video generation. The resulting samples were unstable and non-
playable. Nevertheless, limited evidence of visual learning was observed, including partial
2
color-palette preservation, more recognizable structures, vague background elements and an
overall sense of movement. The work therefore reports documents a reproducible
experimental pipeline and its limitations.
Keywords: parametric games; conditional diffusion; semantic tokens; synthetic data;
qualitative evaluation.
1. Introdução
A geração de conteúdo visual por inteligência artificial tornou-se uma área de grande
relevância em aplicações como animação, simulação, realidade virtual e desenvolvimento de
jogos. Modelos generativos recentes demonstraram capacidade de produzir imagens de alta
qualidade a partir de ruído, texto ou outras formas de condicionamento, especialmente a partir
do avanço dos modelos de difusão (HO; JAIN; ABBEEL, 2020; ROMBACH et al., 2022).
Esses modelos passaram a ser explorados também para geração de vídeo, ampliando o
problema da síntese visual para sequências temporais.
Apesar desses avanços, a geração de vídeo permanece mais complexa do que a geração de
imagens estáticas. Em uma imagem isolada, o modelo precisa produzir apenas um frame
visualmente plausível; em vídeo, é necessário manter coerência temporal entre frames
consecutivos. Essa dificuldade torna-se ainda maior em contextos interativos, como jogos, nos
quais o conteúdo visual deve refletir ações, estados e entradas de controle. Trabalhos como
Imagen Video, Make-A-Video e Video LDM demonstram o potencial da geração de vídeo por
difusão, mas também evidenciam a dependência de grandes bases de dados, arquiteturas
sofisticadas e elevado poder computacional (HO et al., 2022; SINGER et al., 2022;
BLATTMANN et al., 2023).
Nesse contexto, este trabalho investiga uma versão reduzida e controlada desse problema: a
geração de vídeos sintéticos curtos condicionados por tokens semânticos e entradas WASD. O
problema de pesquisa consiste em avaliar se uma pipeline compacta, treinada sobre jogos
sintéticos parametrizáveis, é capaz de produzir indícios reconhecíveis de aparência e
movimento. Por indícios visuais, entende-se a preservação parcial de elementos como paleta
de cores, fundo, formas aproximadas de objetos e cenários. Por indícios temporais, entende-se
a presença de continuidade ou deslocamento de objetos e elementos de cenários entre frames,
como movimento de obstáculos, ou de elementos da cena em resposta às entradas fornecidas.
Para tornar essa avaliação possível, foram desenvolvidos três jogos sintéticos de baixa
3
complexidade: runner, collector e dodger. Esses ambientes foram escolhidos por permitirem
controle direto sobre variáveis como cor, velocidade, vida, fundo e sequência de entradas.
Diferentemente de vídeos reais, os jogos sintéticos permitem anotação automática, pois cada
clipe gerado já possui metadados associados aos parâmetros usados na cena. Assim, o
trabalho utiliza dados sintéticos como forma de isolar e observar a relação entre
condicionamento semântico e geração visual.
O objetivo geral deste trabalho é avaliar experimentalmente se uma pipeline compacta de
difusão condicional, treinada sobre jogos sintéticos parametrizáveis, é capaz de produzir
sinais visuais e temporais reconhecíveis a partir de tokens semânticos e entradas WASD. Os
objetivos específicos são: desenvolver jogos sintéticos controláveis; gerar um conjunto de
dados anotado automaticamente; representar os parâmetros dos jogos como tokens de
condicionamento; treinar um modelo de difusão 3D compacto; registrar checkpoints e
amostras de evolução; comparar saídas geradas com alvos sintéticos; analisar
qualitativamente os resultados por julgamento humano; e discutir os fatores que
condicionaram a qualidade final das amostras.
A justificativa da pesquisa está no fato de que modelos de geração de vídeo normalmente
exigem bases extensas, curadoria complexa e arquiteturas de grande escala. Ao utilizar jogos
sintéticos controlados, este trabalho busca construir um ambiente experimental reproduzível
para estudar, em escala compacta, a relação entre dados sintéticos, controle semântico e
geração de vídeo. A contribuição esperada não é a produção de um sistema final de geração
interativa, mas a caracterização de uma pipeline experimental, seus resultados parciais e suas
limitações.
Na Seção 2, apresenta-se o referencial teórico, incluindo trabalhos relacionados às áreas de
geração de vídeo, modelos de difusão, dados sintéticos e ambientes interativos. Em seguida,
na Seção 3, descreve-se a metodologia implementada, incluindo os jogos sintéticos, a geração
do conjunto de dados, o modelo Z1, os parâmetros adotados e os critérios de avaliação. Na
Seção 4, são apresentados os resultados quantitativos e qualitativos, incluindo a evolução da
loss, os exemplos gerados e as limitações observadas. Na Seção 5, discute-se o significado
dos resultados, destacando os indícios de aprendizado e os motivos pelos quais eles não
caracterizam ainda um sistema prático. Por fim, a Seção 6 apresenta as conclusões e caminhos
futuros para arquiteturas de maior escala, uso de espaços latentes e melhor modelagem
temporal.
4
2. Referencial teórico
2.1 Trabalhos relacionados
A geração de vídeos por inteligência artificial está diretamente relacionada à evolução
dos modelos generativos de imagem, vídeo e ambientes interativos. O trabalho de Ho, Jain e
Abbeel (2020), Denoising Diffusion Probabilistic Models, consolidou uma das formulações
modernas dos modelos de difusão. Embora tenha foco principalmente em imagens, sua
formulação serviu como base para muitas extensões posteriores em geração visual.
Rombach et al. (2022), com High-Resolution Image Synthesis with Latent Diffusion
Models, propuseram uma forma mais eficiente de aplicar difusão em um espaço latente
comprimido, em vez de operar diretamente sobre pixels. Essa estratégia reduz custo
computacional e tornou possível gerar imagens em alta resolução com maior eficiência. A
relevância para este trabalho está no contraste metodológico: embora a difusão latente seja
predominante em sistemas de maior escala, este experimento utiliza pixel space como
baseline controlado para isolar a relação entre dados sintéticos, tokens semânticos e geração
visual.
No campo específico de vídeos, Ho et al. (2022), com Imagen Video, demonstraram a
geração de vídeos de alta definição por meio de difusão condicionada por texto e modelos em
cascata. Singer et al. (2022), com Make-A-Video, mostraram que avanços de modelos texto-
imagem poderiam ser transferidos para vídeo, aprendendo movimento a partir de dados de
vídeo. Blattmann et al. (2023), com Video LDM, reforçaram a importância de componentes
temporais e espaços latentes para manter coerência entre frames. Esses trabalhos demonstram
o potencial da área, mas dependem de escala muito superior à disponível neste projeto.
Trabalhos mais próximos do domínio de jogos e ambientes interativos também são
relevantes. GameGAN, proposto por Kim et al. (2020), investigou a possibilidade de simular
um jogo a partir de vídeos e ações, recriando Pac-Man por meio de um modelo generativo.
Genie, de Bruce et al. (2024), explorou ambientes interativos generativos treinados a partir de
vídeos não rotulados, aprendendo ações latentes para permitir controle. DIAMOND, de
Alonso et al. (2024), utilizou difusão como modelo de mundo em ambientes Atari, destacando
a importância de detalhes visuais para agentes. GameNGen, de Valevski et al. (2024), mostrou
que modelos de difusão podem simular DOOM em tempo real sob condições de hardware e
dados muito mais robustos. Esses trabalhos indicam que há pesquisa ativa na interseção entre
geração visual, controle e jogos, mas também evidenciam a distância entre resultados de ponta
5
e experimentos compactos.
Além dos modelos generativos, a pesquisa se relaciona com dados sintéticos. Tobin et
al. (2017) discutem domain randomization como técnica para variar características de
ambientes simulados e aumentar robustez. Borkman et al. (2021), com Unity Perception,
apresentam ferramentas para geração sintética anotada em visão computacional. Esses
trabalhos fundamentam a decisão de usar jogos programados como fonte de dados
controlados, nos quais cada frame pode ser acompanhado por metadados.
Dessa forma, a contribuição deste trabalho está em investigar uma configuração
experimental controlada para geração de vídeo condicionada por tokens semânticos em jogos
sintéticos. Os resultados demonstram um aprendizado parcial do domínio sintético em escala
compacta, estabelecendo uma base experimental para futuros trabalhos com maior escala,
espaços latentes e arquiteturas temporais mais sofisticadas.
2.2 Modelos generativos e modelos de difusão
Modelos generativos são modelos treinados para produzir novos dados semelhantes
aos dados de treinamento. Diferentemente de classificadores, que atribuem rótulos, modelos
generativos buscam aprender a distribuição dos dados. Entre as famílias clássicas estão
GANs, VAEs e modelos de difusão. Goodfellow et al. (2014) introduziram as Generative
Adversarial Networks, enquanto Kingma e Welling (2013) propuseram os Variational
Autoencoders. Esses trabalhos ajudam a situar a difusão como parte de uma área maior de
geração de dados.
Os modelos de difusão seguem uma lógica de adição e remoção gradual de ruído. Durante o
treinamento, o ruído é adicionado às amostras, e a rede aprende a prevê-lo. Durante a geração,
o processo é invertido: o modelo parte de ruído aleatório e aplica etapas sucessivas de
denoising. No experimento desenvolvido, a tarefa interna do modelo foi prever o ruído de
clipes sintéticos condicionados por tokens.
De forma simplificada, o processo direto de difusão pode ser representado por:
q(xₜ ∣ xₜ₋₁) = 𝒩(xₜ; √(1 − βₜ)xₜ₋₁, βₜI)
Onde xₜ representa a amostra no passo t, βₜ controla a quantidade de ruído adicionada e I é a
matriz identidade. A forma fechada também pode ser expressa como:
xₜ = √(ᾱₜ)x₀ + √(1 − ᾱₜ)ϵ
Onde x₀ é a amostra original, ϵ é ruído gaussiano e ᾱ ₜ acumula os fatores de preservação de
sinal ao longo dos timesteps.
6
O modelo aprende a estimar ϵ para aproximar o processo reverso pθ(x ₜ₋₁ ∣ x ₜ, c),
condicionado pelos tokens c.
2.3 Geração de vídeo e coerência temporal
A geração de vídeo é mais complexa do que a geração de imagem porque exige
coerência temporal. Um frame isolado pode ser visualmente plausível, porém um vídeo
precisa manter continuidade entre frames. Objetos devem se mover de maneira consistente, e
mudanças visuais não devem ocorrer aleatoriamente. Em jogos, essa restrição é ainda mais
forte, pois a sequência deveria responder a entradas de controle.
Essa dificuldade explica por que modelos de vídeo modernos utilizam mecanismos
temporais, espaços latentes, atenção ou treinamento em larga escala. No presente trabalho, o
recorte experimental usa jogos parametrizáveis de baixa complexidade e clipes curtos para
observar sinais temporais básicos, como deslocamento de objetos no runner e estrelas
descendo no dodger.
2.4 Dados sintéticos e controle semântico
Dados sintéticos são dados gerados artificialmente por programação, simulação ou
renderização. Sua principal vantagem é o controle sobre variáveis e rótulos. Neste projeto, o
próprio código dos jogos gerou os frames e registrou metadados como jogo, cor, velocidade,
vida, fundo, seed e entradas WASD. Isso reduz o ruído de anotação, mas também cria um
domínio artificial, simples e distante de jogos reais complexos.
O controle semântico foi realizado por tokens discretos. Em vez de usar prompts
textuais livres, a pipeline recebeu campos estruturados. Essa decisão tornou a avaliação mais
direta, pois cada alteração de cor, fundo ou entrada poderia ser comparada com um alvo
sintético correspondente. Esse tipo de condicionamento favorece a análise controlada de
atributos visuais e temporais, embora não tenha expressividade de modelos texto-vídeo de
larga escala.
2.5 Avaliação de vídeos generativos
A avaliação de vídeos generativos envolve qualidade visual, diversidade, coerência
temporal e aderência ao condicionamento. Unterthiner et al. (2018) propuseram a Fréchet
Video Distance como métrica para comparar distribuições de vídeos reais e sintéticos. No
entanto, métricas desse tipo exigem volume e desenho experimental mais robustos do que os
disponíveis nesta prova de conceito.
7
Por esse motivo, a avaliação combinou métricas auxiliares e julgamento humano.
MSE e MAE foram usados para medir diferença numérica entre amostras e alvos, e a variação
temporal média foi usada para observar se havia mudança entre frames. Ainda assim, a
análise visual foi essencial, pois um caso tardio de treinamento apresentou loss muito baixa e
saída visual ruidosa. Esse episódio reforçou que menor erro numérico não significa
necessariamente melhor qualidade perceptual.
3. Metodologia implementada
3.1 Jogos sintéticos desenvolvidos
Foram implementados três jogos sintéticos de baixa complexidade: runner, collector e
dodger. A escolha foi deliberada, visando manter controle sobre o domínio visual e sobre as
variáveis anotadas. Jogos realistas ou 3D introduziriam muitas fontes simultâneas de variação,
dificultando separar falhas do modelo de falhas de geração de dados. Ao usar cenários com
poucos objetos, tornou-se possível observar mais claramente quais atributos eram ou não
aprendidos.
O runner foi escolhido por apresentar estrutura geométrica forte: pista, faixas,
horizonte e obstáculos. O collector foi incluído por exigir interação com objetos pequenos e
desaparecimento após coleta, tornando-se um caso mais difícil. O dodger foi usado por
apresentar movimento vertical de fundo e forma de nave, permitindo observar se o modelo
capturava deslocamento e silhueta. Assim, cada jogo testou um tipo diferente de estrutura
visual e temporal.
3.2 Tokens semânticos e entradas
Cada clipe foi condicionado por tokens discretos: jogo, cor, velocidade, vida, fundo e
sequência WASD. A escolha por tokens estruturados, em vez de linguagem natural, reduziu
ambiguidade e permitiu relacionar diretamente cada parâmetro ao resultado visual. W, A, S e
D representam entradas discretas de movimento, usadas para testar se o modelo capturava
algum efeito temporal associado ao controle.
Essa decisão também reduziu a complexidade do problema. Trabalhos como Imagen
Video e Make-A-Video usam texto como condição, mas isso exigiria interpretação semântica
mais ampla. Neste projeto, o objetivo era avaliar a geração visual condicionada em um
domínio controlado, não compreensão de linguagem natural.
8
3.3 Geração do conjunto de dados
O dataset principal foi gerado com 12.960 clipes, cada um contendo 16 frames em
resolução 128×128, totalizando 207.360 frames. A resolução 128×128 foi escolhida por
equilíbrio entre custo computacional e presença mínima de formas reconhecíveis. Resoluções
menores perderiam elementos visuais importantes; resoluções maiores aumentariam o
consumo de memória e o tempo de treinamento.
O uso de 16 frames também foi uma escolha baseada no hardware disponível.
Sequências mais curtas não mostrariam movimento suficiente; sequências mais longas
aumentariam o custo temporal do modelo 3D. Assim, 16 frames foram adotados como
duração mínima para observar mudanças de posição sem tornar o treinamento inviável.
Tabela 1 - Síntese do conjunto de dados principal
Atributo Valor
Clipes 12.960
Frames totais 207.306
Frames por clipe 16
Resolução 128 x 128
Jogos runner, collector e dodger
Cores vermelho, azul, verde e amarelo
Fundos dia, noite, neon
9
Figura 1 - Volume do conjunto de dados sintético utilizado no treinamento principal.
3.4 Modelo Z1 aprimorado
A implementação principal, denominada Z1, utilizou difusão condicional em pixel
space com convoluções 3D. A escolha por pixel space. O motivo foi prático e metodológico:
implementar um autoencoder latente robusto exigiria outra etapa de treinamento, validação e
análise, aumentando o risco do projeto. Operar em pixels tornou a pipeline mais direta, ainda
que menos eficiente e menos capaz de produzir imagens nítidas.
O modelo utilizou 48 canais base. Esse valor foi escolhido empiricamente como
compromisso entre capacidade e custo. Uma quantidade maior de canais aumentaria o
consumo de memória e dificultaria a execução em hardware disponível; uma quantidade
menor de canais reduziria a capacidade de representar formas e movimentos. O resultado final
mostra que essa escolha foi suficiente para alguns indícios visuais, mas insuficiente para
geração nítida.
Foram utilizados 200 timesteps de difusão. A escolha buscou equilibrar qualidade e
tempo de amostragem. Mais passos poderiam melhorar o refinamento, porém tornariam testes
e avaliação mais lentos; menos passos poderiam acelerar a geração, no entanto aumentariam
risco de ruído residual. Como o objetivo era prova de conceito, 200 passos foram adotados
10
como configuração intermediária.
3.5 Infraestrutura e execuções
Foram realizadas execuções locais em Apple Silicon MPS para validação de código e
execuções em GPUs dedicadas para treinamento principal. A etapa em A100 80GB permitiu
usar batch size 64 sem exceder a memória disponível. Posteriormente, o treinamento foi
continuado em uma RTX PRO 6000 96GB a partir do melhor checkpoint disponível.
O batch size 64 foi escolhido por teste empírico em GPU dedicada. Valores maiores
aumentariam o risco de erro de memória; valores menores tenderiam a reduzir a eficiência de
treinamento. A escolha, portanto, foi guiada por estabilidade operacional e capacidade do
hardware, não por uma garantia teórica de melhor desempenho.
Tabela 2 - Principais execuções experimentais
Execução Hardware Passos Melhor perda
MPS local Apple Silicon MPS 2.607 0,031051
Z1 - A100 inicial NVIDIA A100 80 GB PCIe 5.075 0,006895
Z1 - A100 continuação NVIDIA A100 80GB PCIe 5.075 0,004303
Z1 - RTX PRO 6000 continuação RTX PRO 6000 96GB 2.589 0,002913
3.6 Checkpoints e seleção do modelo
O treinamento salvou checkpoints intermediários, último estado e melhor estado
segundo a loss. Essa estratégia foi adotada para permitir retomada entre máquinas e reduzir
risco de perda de progresso. Entretanto, a escolha final do checkpoint não pôde depender
apenas da menor loss, pois foi observado um caso tardio em que a perda caiu fortemente
enquanto a saída visual se degradou para ruído.
Por isso, a seleção do modelo final combinou loss e inspeção visual. Essa decisão é
coerente com a literatura de modelos generativos: métricas baseadas em erro médio podem
não capturar qualidade perceptual, estrutura visual ou coerência temporal.
3.7 Tentativa arquitetural Z2
Também foi testada uma arquitetura posterior, denominada Z2, com blocos residuais,
condicionamento FiLM e atenção temporal. A tentativa foi motivada pela hipótese de que
maior capacidade temporal melhoraria o movimento. Na prática, a versão inicial produziu
ruído intermitente e não superou a estabilidade do Z1. Por isso, a Z2 foi tratada como
11
tentativa experimental mal sucedida, não como resultado principal.
3.8 Critérios de avaliação
A avaliação combinou três dimensões: métricas auxiliares, comparação visual com
alvos e julgamento humano. A primeira dimensão acompanhou MSE, MAE e variação
temporal média. A segunda utilizou painéis lado a lado entre saída do modelo e target
sintético. A terceira consistiu em observar se avaliadores humanos conseguiriam reconhecer
elementos dos jogos, paletas, formas aproximadas e indícios de movimento.
Essa combinação foi necessária porque os resultados quantitativos foram insuficientes
para indicar sucesso. O erro médio permaneceu alto, e a inspeção visual mostrou que as
amostras não eram jogáveis nem nítidas. Assim, a avaliação teve como foco identificar limites
e sinais parciais, não comprovar desempenho satisfatório.
4. Resultados e avaliação
4.1 Evolução da perda
A perda de treinamento caiu ao longo das execuções, chegando a 0,002913 no melhor
checkpoint selecionado. Numericamente, isso indica que o modelo melhorou na tarefa interna
de predição de ruído. Contudo, esse resultado não pode ser interpretado como sucesso visual.
A avaliação posterior mostrou que a perda MSE não acompanhou de forma confiável a
qualidade perceptual dos vídeos.
Foi observado um comportamento anômalo em um checkpoint tardio, registrado na
análise como passo aproximado 20.000 da continuação consolidada. A perda numérica ficou
muito baixa, próxima de uma fração da perda do checkpoint selecionado, mas a saída visual se
aproximou de ruído puro. Isso indica que a loss pode ser otimizada para a tarefa de predição
de ruído sem preservar formas reconhecíveis.
12
Figura 2 - Exemplo de degradação visual próxima ao passo 20.000, em que a perda numérica tornou-se muito
baixa, mas a predição passou a apresentar ruído predominante.
Figura 3 - Evolução da perda nas execuções em GPU dedicada.
A redução da perda indica que o modelo aprendeu a reconstruir aspectos estatísticos
do conjunto sintético. Contudo, a perda MSE isolada não garante qualidade perceptual nem
consistência temporal perfeita. Por isso, a avaliação visual foi considerada indispensável.
4.2 Evolução visual durante o treinamento
As amostras de evolução mostram que o modelo saiu de ruído inicial para padrões
com alguma organização cromática e espacial. Entretanto, a evolução visual não foi linear
nem suficiente para produzir vídeos nítidos. Em alguns estágios, a perda continuou
melhorando numericamente enquanto a qualidade perceptual não acompanhou essa melhora.
13
Os sinais mais perceptíveis foram paletas de cor, massas visuais associadas aos
cenários e algumas estruturas do runner. No collector e no dodger, os resultados foram mais
instáveis, embora o dodger tenha apresentado indícios de movimento descendente no fundo.
Figura 4 - Evolução visual de amostras condicionadas ao longo do treinamento.
4.3 Avaliação qualitativa final
O checkpoint final foi avaliado por prompts controlados e julgamento humano, com
inspeção visual direta das amostras geradas em comparação com seus alvos. A avaliação
buscou identificar se pessoas analisando os resultados conseguiam reconhecer elementos de
jogo, paletas, fundos, formas aproximadas e movimento. O resultado geral foi limitado: as
amostras não são jogáveis, permanecem borradas e não reproduzem fielmente as cenas
esperadas.
No runner, o modelo apresentou os melhores indícios de aprendizado entre os três
jogos. A pista, as faixas, o horizonte e alguns obstáculos apareceram com mais frequência
como estruturas reconhecíveis. Também foram observados resquícios de cor entre cenários de
dia e neon. Em termos de movimento, o runner foi o caso em que o modelo melhor sugeriu
deslocamento dos objetos com base nas entradas WASD, embora sem reproduzir a trajetória
14
exata.
No dodger, o modelo capturou parcialmente o fundo escuro e o movimento
descendente das estrelas. A silhueta da nave apareceu em algumas amostras, mas de forma
borrada e instável. No collector, os resultados foram mais fracos: o fundo e alguns elementos
textuais apareceram vagamente, mas o player e objetos pequenos raramente foram
representados com clareza.
Esses resultados devem ser entendidos como indícios parciais, não como confirmação
de sucesso. O modelo produziu formas visuais dos jogos, mas não entidades nítidas, colisões
confiáveis ou controle temporal preciso.
Figura 5 - Comparação lado a lado entre amostras geradas pelo modelo final e referências controladas (amostras
geradas posicionadas acima e amostras alvo posicionadas abaixo).
4.4 Métricas auxiliares
A avaliação local gerou onze pares modelo-alvo. O MAE médio foi 76,55 em escala
de 0 a 255, e o MSE médio foi 6.780,14. Esses valores são altos e indicam distância
significativa entre as saídas e os alvos. A variação temporal média do modelo foi 2,89,
próxima à variação dos alvos, mas isso não garante movimento semanticamente correto.
Tabela 3 - Métricas auxiliares do checkpoint final
15
Métrica Valor Médio
MAE modelo-alvo 76,55
MSE modelo-alvo 6.780,14
Variação temporal do modelo 2,89
Variação temporal do alvo 2,93
Amostras avaliadas localmente 11
4.5 Limitações observadas
As principais limitações foram: nitidez insuficiente, instabilidade de objetos pequenos,
baixa fidelidade espacial e controle temporal fraco. O condicionamento por cor e fundo foi
mais perceptível do que o condicionamento por sequência WASD. Isso indica que o modelo
aprendeu melhor atributos globais do que relações dinâmicas entre ação e movimento.
Outra limitação foi o uso de pixel space. Embora essa escolha tenha tornado a pipeline
mais direta e rastreável, ela obrigou o modelo a aprender estrutura, cor, movimento e
denoising diretamente em alta dimensionalidade. A literatura sugere que espaços latentes
podem ser mais eficientes, o que ajuda a explicar parte da limitação observada.
5. Discussão
Os resultados devem ser interpretados como evidências parciais, não como validação
plena de um sistema de geração interativa. A pipeline funcionou operacionalmente: gerou
dados, treinou modelos, salvou checkpoints e produziu amostras. Porém, os vídeos gerados
não atingiram qualidade suficiente para serem considerados jogáveis, fiéis ou controláveis de
forma robusta. Assim, a hipótese foi explorada em condições controladas, mas permanece
aberta para arquiteturas e escalas mais robustas.
O principal resultado positivo foi metodológico: a pesquisa construiu uma cadeia
reprodutível de geração de dados sintéticos, condicionamento, treinamento e avaliação. O
principal resultado negativo foi visual e quantitativo: as amostras permaneceram distantes dos
alvos, e o erro médio foi alto. Essa distinção é importante para evitar a interpretação de que o
trabalho cumpriu plenamente os objetivos de geração.
O caso do checkpoint tardio com loss muito baixa e saída ruidosa reforça essa leitura.
A loss foi calculada de forma eficiente para a tarefa interna de predição de ruído, mas essa
16
melhora numérica não preservou formas visuais. Outra hipótese é que o modelo tenha
aprendido uma média ou atalho estatístico que reduz MSE, mas destrói estruturas como pista,
personagem, nave e obstáculos. Por isso, a seleção do checkpoint precisou de avaliação
humana.
As decisões de projeto ajudam a explicar os limites. A resolução 128×128, os 16
frames, o modelo pequeno e o treinamento em pixel space foram escolhas adequadas para
viabilizar o experimento, mas também restringiram a qualidade final. A tentativa Z2 mostrou
que aumentar a complexidade arquitetural sem recalibrar dados, hiperparâmetros e
treinamento não garante melhoria; ao contrário, pode gerar instabilidade.
Portanto, a contribuição do trabalho está em documentar um caminho experimental e
seus limites, não em entregar um gerador de jogos. A pesquisa indica que há sinais parciais de
aprendizado visual e temporal, mas também mostra que a abordagem compacta usada não é
suficiente para resultados práticos sem mudanças estruturais.
6. Conclusão
Este trabalho implementou e avaliou uma pipeline compacta de geração de vídeos
sintéticos condicionados por tokens semânticos e entradas WASD. Foram desenvolvidos jogos
controláveis, gerados mais de duzentos mil frames anotados e treinado um modelo de difusão
condicional em convoluções 3D. A pipeline funcionou do ponto de vista operacional, mas os
resultados visuais e quantitativos indicam que a configuração atual ainda não caracteriza um
sistema prático de geração interativa.
O modelo Z1 apresentou indícios limitados de aprendizado, especialmente em paletas,
fundos e formas aproximadas do runner. No dodger, houve sinais de movimento descendente
das estrelas e da silhueta parcial da nave. No collector, o aprendizado foi mais fraco.
Entretanto, as amostras permaneceram borradas, instáveis e distantes dos alvos, com erro
médio elevado.
Conclui-se que a hipótese não foi confirmada em nível suficiente para geração
interativa utilizável. O trabalho, contudo, contribui ao registrar uma metodologia
reproduzível, explicitar escolhas e limitações, e apontar caminhos futuros: uso de difusão
latente, modelos temporais mais robustos, maior escala de dados, perdas perceptuais e
avaliação quantitativa mais apropriada para vídeo.
17
Referências
ALONSO, E. et al. Diffusion for World Modeling: Visual Details Matter in Atari.
Disponível em: <[Link] Acesso em: 07 janeiro 2026.
BLATTMANN, A. et al. Align your Latents: High-Resolution Video Synthesis with Latent
Diffusion Models. arXiv:2304.08818 [cs], 18 abr. 2023. Acesso em: 09 janeiro 2026.
BORKMAN, S. et al. Unity Perception: Generate Synthetic Data for Computer Vision.
arXiv:2107.04259 [cs], 19 jul. 2021. Acesso em: 10 fevereiro 2026.
HO, J.; JAIN, A.; ABBEEL, P. Denoising Diffusion Probabilistic Models. arXiv:2006.11239
[cs, stat], 16 dez. 2020. Acesso em: 10 janeiro 2026.
HO, J. et al. Imagen Video: High Definition Video Generation with Diffusion Models.
arXiv:2210.02303 [cs], 5 out. 2022. Acesso em: 15 fevereiro 2026.
MA, X. et al. Latte: Latent Diffusion Transformer for Video Generation. Disponível em:
<[Link] Acesso em: 28 janeiro 2026.
ROMBACH, R. et al. High-Resolution Image Synthesis with Latent Diffusion Models.
arXiv:2112.10752 [cs], 13 abr. 2022. Acesso em: 26 janeiro 2026.
SINGER, U. et al. Make-A-Video: Text-to-Video Generation without Text-Video Data.
arXiv:2209.14792 [cs], 29 set. 2022. Acesso em: 11 fevereiro 2026.
TOBIN, J. et al. Domain Randomization for Transferring Deep Neural Networks from
Simulation to the Real World. arXiv:1703.06907 [cs], 20 mar. 2017. Acesso em: 18 janeiro
2026.
UNTERTHINER, T. et al. Towards Accurate Generative Models of Video: A New Metric
& Challenges. Disponível em: <[Link] Acesso em: 05 fevereiro
2026.
WENG, L. Diffusion Models for Video Generation. Disponível em:
<[Link] Acesso em: 05 janeiro
2026.
18