REINFORCEMENT LEARNING

SUMÁRIO
Unidade 1 – Fundamentos e Conceitos de Aprendizagem por
Reforço
1.1 Interação agente-ambiente;
1.2 Função de recompensa e retorno;
1.3 Políticas e funções de valor;
1.4 Processos de Decisão de Markov;
1.5 Equação de Bellman.

Unidade 2 – Métodos Clássicos de RL

2.1 Monte Carlo;
2.2 SARSA;
2.3 Q-Learning;
2.4 Diferenças Temporais (TD);
2.5 Avaliação de políticas.

Unidade 3 – Deep Reinforcement Learning (DRL)

3.1 Integração com redes neurais;
3.2 DQN e DDQN;
3.3 Policy Gradients e PPO;
3.4 DDPG e A3C;
3.5 Ambientes contínuos e híbridos.

Unidade 4 – Implementação e Simulação

4.1 OpenAI Gym e TensorFlow Agents;
4.2 Unity ML-Agents;
4.3 Treinamento distribuído com RLlib;
4.4 Monitoramento e métricas;
4.5 Interpretação de resultados.

Unidade 5 – Aplicações Avançadas

5.1 Robótica e veículos autônomos;
5.2 Controle de tráfego urbano inteligente;
5.3 Trading e mercados adaptativos;
 2

5.4 Jogos e ambientes virtuais;

5.5 Sistemas de energia e sustentabilidade.

Unidade 6 – Ética, Governança e Futuro do RL

6.1 Segurança e alinhamento de agentes;
6.2 Vieses e decisões autônomas;
6.3 Consumo energético e impactos ambientais;
6.4 Regulação e transparência em IA;
6.5 Tendências futuras do RL.
 3

UNIDADE 1 – FUNDAMENTOS E CONCEITOS DE

APRENDIZAGEM POR REFORÇO
1.1 Interação agente-ambiente

A aprendizagem por reforço (Reinforcement Learning – RL) constitui um

dos paradigmas mais expressivos da inteligência artificial contemporânea,
caracterizado pela capacidade de um agente aprender a agir em um ambiente
dinâmico mediante a interação contínua e adaptativa. O processo ocorre de
forma iterativa: o agente observa o estado do ambiente, executa uma ação e
recebe um sinal de reforço, que quantifica o impacto de sua decisão sobre o
alcance de determinado objetivo (SUTTON; BARTO, 2018). A essência do RL
está na busca pela maximização cumulativa da recompensa, de modo que o
agente, ao longo do tempo, aprimore sua política de ação e aprenda, por
tentativa e erro, as estratégias mais vantajosas.

Ao contrário das abordagens supervisionadas, em que há um conjunto

explícito de pares entrada-saída, a aprendizagem por reforço não oferece ao
agente respostas corretas previamente definidas. Em vez disso, o aprendizado
emerge da interação autônoma com o ambiente e do feedback indireto
recebido através de recompensas ou punições. Essa característica confere ao
RL um caráter exploratório e adaptativo, permitindo sua aplicação em contextos
complexos e estocásticos, como controle robótico, jogos estratégicos e
sistemas autônomos (RUSSELL; NORVIG, 2021). O paradigma da interação
contínua traduz-se em um ciclo de percepção e ação no qual o conhecimento é
adquirido de forma incremental e probabilística.

Segundo Kaelbling, Littman e Moore (1996), essa dinâmica agente-

ambiente pode ser compreendida como um processo de aprendizado
comportamental, em que o agente constrói internamente uma representação de
valor associada às suas experiências. A partir dessa representação, o agente é
capaz de inferir as ações futuras que maximizam o ganho esperado. Essa
noção aproxima-se de princípios da psicologia comportamental, especialmente
da teoria do condicionamento operante, proposta por B. F. Skinner, mas com
 4

formalização matemática precisa por meio dos modelos probabilísticos de

Bellman (1957). Assim, o RL pode ser entendido como a convergência entre
cognição artificial e otimização estocástica.

Na prática, a interação agente-ambiente exige um equilíbrio sutil entre

exploração e explotação. Enquanto a exploração leva o agente a tentar novas
ações para adquirir conhecimento sobre o ambiente, a explotação o leva a
utilizar o conhecimento já adquirido para maximizar recompensas imediatas.
Esse dilema, conhecido como exploration–exploitation trade-off, constitui um
dos principais desafios do RL moderno, pois a convergência para uma política
ótima depende da capacidade do agente de balancear a busca por novas
estratégias com o aproveitamento das que já se mostraram eficazes
(SZEPESVÁRI, 2010).

1.2 Função de recompensa e retorno

A função de recompensa é o núcleo motivacional do processo de

aprendizagem por reforço. Ela define formalmente o objetivo do agente,
quantificando o valor de cada transição de estado no ambiente. De acordo com
Sutton e Barto (2018), a recompensa é um escalar numérico emitido pelo
ambiente após cada ação, e seu valor serve como guia para ajustar o
comportamento do agente em direção às metas desejadas. Trata-se, portanto,
de um mecanismo de feedback que transforma a experiência em
conhecimento. O agente não é instruído sobre quais ações são corretas, mas
aprende a partir da observação dos efeitos das próprias decisões.

O retorno, por sua vez, é definido como a soma ponderada das

recompensas futuras recebidas a partir de um determinado estado.
Formalmente, o retorno GtG_tGt é expresso como:
 5

em que γ\gammaγ é o fator de desconto temporal (0 ≤ γ ≤ 1),

responsável por modular a importância das recompensas futuras em relação às
imediatas (PUTERMAN, 2014). Quando γ tende a 0, o agente se torna míope,
valorizando apenas ganhos de curto prazo; quando γ se aproxima de 1, o
agente considera ganhos de longo prazo, o que é crucial em tarefas contínuas.

O projeto adequado da função de recompensa é uma arte delicada.

Recompensas mal definidas podem induzir comportamentos subótimos ou até
mesmo indesejados, fenômeno conhecido como reward hacking. Em
aplicações como controle de tráfego, por exemplo, recompensas baseadas
unicamente na fluidez de uma via podem gerar congestionamentos em
cruzamentos adjacentes — uma consequência não antecipada da formulação
local da função objetivo (KOBER; BAGNELL; PETERS, 2013). Assim, a
concepção da função de recompensa requer análise sistêmica e ética do
ambiente de decisão.

Além disso, a noção de retorno acumulado conecta-se diretamente à

otimização global do comportamento. Em problemas de controle robótico ou
jogos de múltiplas etapas, a ação que maximiza a recompensa imediata pode
comprometer o desempenho futuro. É por isso que o RL enfatiza o aprendizado
de políticas que consideram sequências de ações ao longo do tempo, e não
decisões isoladas. A perspectiva de retorno permite que o agente raciocine
sobre as consequências de longo prazo de suas ações, incorporando a
dimensão temporal como variável central de aprendizado (SILVER, 2020).

1.3 Políticas e funções de valor

A política, representada por π, é o componente decisório fundamental

em RL: ela define o mapeamento entre estados do ambiente e ações que o
agente deve executar. Em termos probabilísticos, uma política pode ser
estocástica, quando associa probabilidades a diferentes ações em um mesmo
estado, ou determinística, quando seleciona uma única ação com probabilidade
unitária (SZEPESVÁRI, 2010). O objetivo de qualquer algoritmo de
 6

aprendizagem por reforço é encontrar uma política ótima π*, que maximize o
valor esperado do retorno acumulado ao longo do tempo.

Para avaliar e comparar políticas, introduzem-se as funções de valor,

que quantificam a qualidade de estados ou de pares estado-ação. A função
valor de estado, denotada por Vπ(s), mede o retorno esperado ao seguir a
política π a partir do estado s. Já a função valor-ação, Qπ(s, a), representa o
retorno esperado quando o agente executa a ação a no estado s e,
posteriormente, segue a política π. Essas funções estabelecem a base
matemática para métodos como Q-learning e SARSA, amplamente
empregados em contextos reais, como veículos autônomos e sistemas de
recomendação (MNIH et al., 2015).

O aprendizado das funções de valor é tipicamente incremental e

recursivo. A atualização é realizada por meio das equações de Bellman, que
expressam a decomposição do valor de um estado como a soma da
recompensa imediata e do valor descontado dos estados futuros (BELLMAN,
1957). Essa recursividade permite que o agente aprenda de forma contínua,
ajustando suas estimativas com base nas observações empíricas. Bertsekas e
Tsitsiklis (1996) denominam esse processo de bootstrap learning, destacando
que ele confere ao RL a capacidade de operar em ambientes parcialmente
conhecidos.

As funções de valor também desempenham papel interpretativo e

diagnóstico no RL moderno. Em Deep Reinforcement Learning (DRL), por
exemplo, redes neurais profundas são utilizadas para aproximar as funções Q
e V, aprendendo representações latentes que capturam regularidades
estruturais do ambiente. Essa abordagem permitiu avanços notáveis, como o
desenvolvimento de agentes capazes de superar desempenhos humanos em
jogos de Atari e Go (MNIH et al., 2015; SILVER et al., 2016). Assim, as funções
de valor transcendem o domínio teórico e se consolidam como instrumentos
essenciais para a tomada de decisão inteligente.
 7

1.4 Processos de Decisão de Markov

A formulação formal da aprendizagem por reforço repousa sobre a

estrutura dos Processos de Decisão de Markov (Markov Decision
Processes – MDPs), um modelo matemático para sistemas dinâmicos
estocásticos nos quais o resultado de cada ação depende unicamente do
estado atual e da ação executada, satisfazendo a chamada Propriedade de
Markov (PUTERMAN, 2014). Essa propriedade implica que o futuro é
condicionalmente independente do passado, dado o presente, o que torna
possível representar a dinâmica do ambiente através de probabilidades de
transição e recompensas associadas.

Um MDP é definido pela quádrupla (S, A, P, R), onde S é o conjunto de

estados, A é o conjunto de ações disponíveis, P é a função de probabilidade de
transição P(s′∣s,a)P(s'|s,a)P(s′∣s,a), e R é a função de recompensa esperada
R(s,a)R(s,a)R(s,a). Essa estrutura fornece a base para modelar problemas de
decisão sequenciais, em que o agente busca uma política π que maximize o
valor esperado do retorno (BERTSEKAS; TSITSIKLIS, 1996). O formalismo dos
MDPs permite que o RL seja formulado de maneira rigorosa, estabelecendo um
elo direto entre teoria da decisão e aprendizagem adaptativa.

Bellman (1957) demonstrou que a decomposição temporal do problema

de otimização pode ser descrita recursivamente por meio de equações que
relacionam o valor de um estado com os valores dos estados subsequentes.
Essa descoberta foi um marco na teoria de controle estocástico, introduzindo o
conceito de programação dinâmica. Em RL, os MDPs tornam-se o alicerce
matemático para derivar algoritmos de aprendizagem incremental, permitindo a
modelagem de ambientes complexos e a resolução de problemas de decisão
sob incerteza.

Um exemplo clássico de aplicação de MDPs está na otimização de rotas

em sistemas de transporte autônomos. Nesses casos, o agente (veículo) deve
escolher ações (mudança de pista, aceleração, parada) que maximizem o
retorno esperado — geralmente associado à segurança e eficiência energética
— considerando a transição probabilística entre estados, como tráfego, clima e
 8

comportamento de outros agentes (KOBER; BAGNELL; PETERS, 2013). Essa

formalização consolida os MDPs como o paradigma central para descrever
ambientes de aprendizagem sequencial.

1.5 Equação de Bellman

A Equação de Bellman é o coração matemático da aprendizagem por

reforço, expressando a relação recursiva entre o valor de um estado e os
valores dos estados futuros. Proposta originalmente por Richard Bellman
(1957) no contexto da programação dinâmica, ela estabelece que o valor ótimo
de um estado é o máximo retorno esperado que se pode obter a partir dele,
considerando todas as ações possíveis. Em notação moderna, a Equação de
Otimalidade de Bellman é escrita como:

Essa formulação define o princípio da otimalidade: qualquer política

ótima é tal que, independentemente do estado inicial, as ações subsequentes
devem constituir uma política ótima para o subproblema restante
(BERTSEKAS; TSITSIKLIS, 1996).

A equação de Bellman fornece o fundamento teórico para uma ampla

gama de algoritmos de RL, incluindo o Q-learning, em que a atualização da
função valor-ação é baseada na diferença temporal entre o valor estimado e o
valor observado. Esse conceito, denominado temporal-difference error,
constitui a base para o aprendizado incremental e on-line, aproximando o RL
de sistemas biológicos de aprendizagem, como os mecanismos
dopaminérgicos no cérebro (SUTTON; BARTO, 2018). A analogia
neurocomputacional tem sido corroborada por estudos empíricos em
neurociência computacional, reforçando o caráter interdisciplinar do RL.

Além de sua importância teórica, a equação de Bellman tem implicações

práticas profundas. Em aplicações de grande escala, como o treinamento de
 9

agentes em ambientes tridimensionais complexos, sua resolução exata torna-

se inviável devido à explosão combinatória de estados. Por isso, abordagens
modernas utilizam aproximações por função, nas quais redes neurais
aprendem a estimar V∗(s)V^*(s)V∗(s) ou Q∗(s,a)Q^*(s,a)Q∗(s,a) de forma
contínua, generalizando o aprendizado para estados não visitados
explicitamente (MNIH et al., 2015). Essa combinação entre a formalização de
Bellman e a flexibilidade das redes profundas marca o surgimento do campo do
Deep Reinforcement Learning.

Em síntese, a Equação de Bellman sintetiza o princípio matemático

fundamental de que o aprendizado ótimo é cumulativo e recursivo. Sua
formulação permite que o RL seja tratado como um problema de otimização
dinâmica, em que o conhecimento é refinado a partir das experiências
passadas e projetado para decisões futuras. Como afirmam Sutton e Barto
(2018), compreender Bellman é compreender o próprio núcleo da inteligência
adaptativa: aprender a decidir em um mundo incerto e em constante mudança.

UNIDADE 2 – MÉTODOS CLÁSSICOS DE

APRENDIZAGEM POR REFORÇO
2.1 Método de Monte Carlo

Os métodos de Monte Carlo (MC) constituem a forma mais intuitiva e

probabilística de aprendizado em ambientes de reforço, baseando-se na
estimativa do valor esperado do retorno a partir de amostras completas de
episódios. Em essência, o agente aprende por meio da observação de
trajetórias completas — sequências de estados, ações e recompensas — até a
conclusão de uma tarefa. O valor de cada estado é atualizado com base na
média dos retornos observados, o que confere aos métodos MC um caráter
estatístico e empírico (SUTTON; BARTO, 2018). Essa abordagem reflete o
princípio de que o aprendizado pode emergir da experiência acumulada, sem
necessidade de conhecer previamente o modelo do ambiente.
 10

A principal vantagem dos métodos de Monte Carlo reside em sua

independência em relação à modelagem explícita das probabilidades de
transição de estados. Isso os torna ideais para ambientes complexos ou de
natureza estocástica, nos quais a estrutura de transição é desconhecida ou
difícil de estimar. No entanto, essa liberdade metodológica tem um custo: os
métodos MC requerem a observação de episódios completos antes da
atualização de suas estimativas, o que pode retardar o processo de
aprendizado, especialmente em tarefas contínuas ou de horizonte infinito
(KAELBLING; LITTMAN; MOORE, 1996).

Matematicamente, o valor de um estado sob uma política π é definido

pela expectativa do retorno observado, , onde Gt
representa a soma das recompensas futuras descontadas. O algoritmo MC
atualiza essa estimativa iterativamente, aplicando a média incremental das
recompensas obtidas a cada visita ao estado. Essa estratégia assegura a
convergência assintótica das estimativas para o valor real esperado, desde que
todas as ações e estados sejam suficientemente explorados (SZEPESVÁRI,
2010).

Em termos práticos, os métodos de Monte Carlo foram amplamente

empregados em jogos de tomada de decisão como backgammon e poker, onde
o aprendizado é fortemente dependente da observação de sequências
completas de eventos. Tesauro, em seu clássico TD-Gammon, combinou
Monte Carlo e Diferenças Temporais para alcançar desempenho de nível
humano em jogos estratégicos — um marco precursor do aprendizado
profundo em ambientes de alta complexidade (SUTTON; BARTO, 2018).
Assim, o método MC destaca-se por traduzir o princípio fundamental do RL:
aprender pela experiência direta, ainda que à custa de uma convergência mais
lenta.
 11

2.2 Método SARSA

O método SARSA — acrônimo para State–Action–Reward–State–Action

— é uma das formulações on-policy mais relevantes da aprendizagem por
reforço. Ele descreve um processo em que o agente atualiza seus valores de
ação (Q-values) com base na política atualmente em execução, ou seja,
aprende as consequências de seguir exatamente a política que está sendo
avaliada. De acordo com Singh et al. (2000), o SARSA permite uma
aprendizagem incremental e contínua, corrigindo as estimativas a cada
transição observada, sem a necessidade de completar um episódio inteiro.

Formalmente, a atualização dos valores Q segue a equação:

em que α representa a taxa de aprendizado e γ o fator de desconto temporal.

Essa expressão evidencia o caráter “temporal” do método, pois as atualizações
ocorrem a cada passo da interação agente-ambiente, refletindo o aprendizado
baseado em diferenças entre predições consecutivas (temporal differences).
Por ser um método on-policy, o SARSA incorpora tanto a exploração quanto a
explotação na própria política de aprendizado, tornando-o adequado para
ambientes em que a segurança ou estabilidade de comportamento é crítica
(SUTTON; BARTO, 2018).

Um exemplo emblemático da aplicação de SARSA encontra-se em

sistemas de controle de tráfego adaptativo, onde as decisões sobre
temporização de semáforos precisam equilibrar exploração de novas políticas e
manutenção de fluidez imediata. Por considerar a ação realmente executada
na política corrente, o SARSA tende a ser mais conservador, evitando
oscilações abruptas em políticas sensíveis (BERTSEKAS; TSITSIKLIS, 1996).
Esse aspecto o diferencia de algoritmos off-policy como o Q-learning, que
podem privilegiar a maximização teórica do retorno sem levar em conta a
consistência da política em tempo real.

O caráter incremental e adaptativo do SARSA faz dele um componente

essencial para o desenvolvimento de agentes em ambientes não estacionários,
 12

onde as condições variam ao longo do tempo. Em cenários de robótica móvel,

por exemplo, sua natureza on-policy evita comportamentos arriscados durante
o treinamento, ao passo que preserva a capacidade de aprendizado contínuo
(KOBER; BAGNELL; PETERS, 2013). Assim, o SARSA exemplifica a
intersecção entre estabilidade e adaptabilidade, atributos fundamentais em
sistemas de tomada de decisão autônoma.

2.3 Q-Learning

O Q-learning, proposto por Watkins e Dayan (1992), constitui um dos

algoritmos mais influentes e duradouros da aprendizagem por reforço. Trata-se
de um método off-policy, no qual o agente aprende a função valor-ação ótima

Q∗(s,a) independentemente da política utilizada para gerar as amostras. Em

outras palavras, o agente pode explorar o ambiente seguindo uma política

arbitrária (geralmente exploratória), enquanto atualiza suas estimativas com
base nas ações que maximizariam o retorno esperado — um princípio
conhecido como greedy policy improvement (SUTTON; BARTO, 2018).

A atualização do Q-learning é dada pela expressão:

A presença do operador máximo distingue o Q-learning do SARSA,

evidenciando seu caráter off-policy. O algoritmo busca diretamente a política
ótima, mesmo que o comportamento atual do agente seja exploratório ou
aleatório. Essa propriedade o torna particularmente eficaz em ambientes
determinísticos e de grande dimensão discreta, permitindo convergência

comprovada para Q∗ sob condições adequadas de visitação de estados e

decréscimo da taxa de aprendizado (WATKINS; DAYAN, 1992).

O Q-learning foi um dos primeiros métodos de RL a ser aplicado com

sucesso em controle de processos industriais, robótica e jogos digitais. Com a
evolução das técnicas de aproximação por função, sua integração com redes
 13

neurais profundas deu origem ao Deep Q-Network (DQN), desenvolvido por

Mnih et al. (2015). Essa abordagem permitiu o treinamento de agentes capazes
de aprender a jogar diversos jogos de Atari diretamente de pixels, alcançando
desempenho humano e inaugurando a era do Deep Reinforcement Learning. O
Q-learning, portanto, não apenas consolidou as bases matemáticas da
aprendizagem por reforço moderna, mas também pavimentou o caminho para
suas formas mais sofisticadas e generalizadas.

Do ponto de vista teórico, o Q-learning representa a materialização

computacional do princípio da otimalidade de Bellman, combinando
aprendizado incremental com estimativa máxima de retorno. Sua robustez e
simplicidade explicam por que continua sendo um paradigma central em RL,
servindo de ponto de partida para algoritmos avançados como Double Q-
learning, Dueling Networks e Rainbow DQN (SILVER, 2020). Assim, o Q-
learning exemplifica a evolução natural do RL: da teoria formal à aplicação
prática em sistemas autônomos de grande escala.

2.4 Diferenças Temporais (TD)

Os métodos de Diferenças Temporais (Temporal Difference – TD)

combinam o poder estatístico dos métodos de Monte Carlo com a recursividade
da Programação Dinâmica. Ao contrário dos métodos MC, que necessitam do
término de episódios completos para atualizar estimativas, o TD atualiza as
previsões após cada passo da interação, baseando-se na diferença entre
valores sucessivos — o chamado erro de diferença temporal (SUTTON;
BARTO, 2018). Essa característica confere ao TD a capacidade de aprender
online e em ambientes contínuos, tornando-o um dos pilares conceituais do RL
moderno.

A forma geral da atualização TD é expressa por:

 14

O termo entre colchetes representa o erro de predição, ou TD error,

responsável por medir a discrepância entre a estimativa atual e o retorno
observado. Essa retroalimentação incremental permite ao agente corrigir
continuamente suas expectativas, mesmo sem conhecer o modelo do ambiente
(BERTSEKAS; TSITSIKLIS, 1996). Em termos biológicos, esse processo é
análogo ao mecanismo de reforço dopaminérgico no cérebro humano,
responsável pela aprendizagem associativa e pela antecipação de
recompensas (SUTTON; BARTO, 2018).

A relevância do TD extrapola a teoria e alcança aplicações concretas em

controle adaptativo, previsão de séries temporais e neuroeconomia. Por
exemplo, em sistemas de manutenção preditiva, algoritmos baseados em TD
são capazes de ajustar continuamente suas estimativas de falha a partir de
observações parciais e ruidosas. Essa plasticidade computacional aproxima o
RL da inteligência adaptativa humana, na qual o aprendizado é incremental e
dependente da experiência recente (SZEPESVÁRI, 2010).

A fusão entre o TD e o Q-learning resultou em variantes poderosas,

como o TD(λ) e o Eligibility Traces, que incorporam memória de curto prazo
para atribuir crédito a múltiplas ações passadas em uma sequência (SUTTON;
BARTO, 2018). Tais avanços consolidaram o TD como um paradigma
fundamental na modelagem de agentes autônomos, não apenas pela sua
eficiência, mas pela analogia conceitual com os mecanismos de aprendizagem
observados na cognição biológica.

2.5 Avaliação de Políticas

A avaliação de políticas (Policy Evaluation) constitui a etapa analítica

do processo de aprendizagem por reforço, voltada à mensuração do valor
esperado de seguir determinada política π em um ambiente específico. Essa
avaliação permite compreender a qualidade das decisões atuais do agente
antes da otimização propriamente dita. Segundo Sutton e Barto (2018), a

função valor-estado Vπ(s) é estimada até convergir para o retorno médio

 15

esperado ao seguir π, sendo a base para métodos de policy iteration e value

iteration da Programação Dinâmica.

Matematicamente, a avaliação de políticas resolve a Equação de

Bellman para uma política fixa:

Esse cálculo pode ser realizado iterativamente, atualizando os valores de cada

estado até a convergência. No contexto dos métodos clássicos, essa operação
é essencial para comparar o desempenho de políticas alternativas,
estabelecendo o gradiente de melhoria de decisão (PUTERMAN, 2014). O
processo permite distinguir entre políticas exploratórias e de alto desempenho,
orientando o agente em direção à otimização global.

A avaliação de políticas desempenha papel crítico na análise de

estabilidade e convergência de algoritmos de RL. Por exemplo, o SARSA utiliza
a avaliação on-policy, ajustando os valores com base na própria política
exploratória, enquanto o Q-learning realiza uma forma implícita de avaliação
off-policy. Essa distinção determina o comportamento e a robustez do agente
em ambientes incertos (SINGH et al., 2000).

Em aplicações práticas, a avaliação de políticas é utilizada para

monitorar o desempenho de sistemas autônomos em tempo real. Em controle
robótico, ela permite verificar se o agente mantém comportamento seguro e
eficiente, ajustando suas estimativas de valor diante de perturbações externas.
Do ponto de vista científico, o processo de policy evaluation representa a
interseção entre aprendizado e controle, fornecendo o mecanismo que
transforma observação em conhecimento e conhecimento em ação racional
(SUTTON; BARTO, 2018).
 16

UNIDADE 3 – DEEP REINFORCEMENT LEARNING

(DRL)
3.1 Integração com redes neurais

O surgimento do Deep Reinforcement Learning (DRL) representa um

marco na história da inteligência artificial ao combinar o paradigma da
aprendizagem por reforço com o poder de representação das redes neurais
profundas. Enquanto os métodos clássicos de RL dependiam de tabelas de
valores ou aproximações lineares, o DRL introduziu a capacidade de
generalização sobre espaços de estados e ações de alta dimensionalidade, por
meio da composição hierárquica de funções não lineares aprendidas (LECUN;
BENGIO; HINTON, 2015). Essa fusão possibilitou a modelagem de problemas
complexos como percepção visual, controle motor contínuo e tomada de
decisão estratégica em ambientes incertos.

Na arquitetura do DRL, as redes neurais atuam como aproximadores

universais das funções de valor V(s), de ação Q(s,a) ou de política π(a∣s). Essa
integração transforma o aprendizado por reforço em um processo end-to-end,
no qual as entradas perceptuais brutas — como imagens, sons ou sensores —
são diretamente mapeadas em ações. O treinamento ocorre por
retropropagação do erro, utilizando o gradiente descendente para minimizar a
diferença temporal entre predições consecutivas (SUTTON; BARTO, 2018).
Essa abordagem supera as limitações dos métodos tabulares, viabilizando o
aprendizado em ambientes contínuos e de grande escala.

Segundo Mnih et al. (2015), a adoção de redes neurais convolucionais

como aproximadores de função foi decisiva para a consolidação do DRL. Em
sua arquitetura de Deep Q-Network (DQN), os autores demonstraram que
agentes poderiam aprender diretamente a partir de pixels, alcançando
desempenho humano em diversos jogos do Atari 2600. A rede neural extrai
características visuais relevantes e as transforma em representações latentes,
que alimentam camadas densas responsáveis pela estimativa da função de
 17

valor-ação. Essa combinação entre percepção e decisão constitui a base

conceitual do aprendizado hierárquico em RL.

A integração entre redes neurais e RL também trouxe desafios inéditos,

sobretudo relacionados à estabilidade e convergência do aprendizado. A
correlação temporal entre amostras consecutivas pode gerar instabilidade
numérica e divergência do gradiente. Para mitigar esse problema, foram
introduzidas técnicas como experience replay — que armazena experiências
passadas para amostragem aleatória — e target networks, que desacoplam a
atualização dos parâmetros principais e de destino (MNIH et al., 2015). Esses
mecanismos transformaram o DRL em um campo robusto, capaz de aprender
políticas complexas em ambientes de alta dimensionalidade.

3.2 DQN e DDQN

O Deep Q-Network (DQN) foi o primeiro algoritmo a demonstrar o

potencial do aprendizado por reforço profundo em larga escala. Desenvolvido
por Mnih et al. (2015) na DeepMind, o DQN combina o algoritmo Q-learning
clássico com redes neurais convolucionais para aproximar a função Q(s,a;θ),
em que θ representa os pesos da rede. O agente aprende a maximizar a
recompensa acumulada ajustando iterativamente seus parâmetros por meio do
erro de diferença temporal. Esse avanço permitiu que o aprendizado emergisse
diretamente da interação com o ambiente, sem necessidade de supervisão
externa.

A principal contribuição do DQN está na utilização de duas estratégias

complementares: o experience replay e a target network. O experience replay
consiste em um buffer de memória que armazena experiências passadas
(st,at,rt,st+1), as quais são amostradas aleatoriamente para treinamento,
reduzindo a correlação entre amostras e promovendo maior estabilidade
(SUTTON; BARTO, 2018). A target network, por sua vez, é uma cópia atrasada
da rede principal, utilizada para calcular o alvo do aprendizado e suavizar as
atualizações, mitigando oscilações destrutivas.
 18

Apesar de seu sucesso, o DQN apresentava viés de superestimação nas

estimativas de valor devido ao uso do operador máximo no cálculo do retorno
futuro. Para corrigir esse problema, Hasselt (2010) propôs o Double Q-
Learning, posteriormente incorporado ao Double Deep Q-Network (DDQN),
que separa as responsabilidades de seleção e avaliação de ações. A equação

modificada substitui o operador maxaQ(s′,a) por uma avaliação baseada em

duas redes distintas: uma para escolher a ação e outra para estimar seu valor.
Essa abordagem reduz significativamente a superestimação e melhora a
estabilidade da convergência (ARULKUMARAN et al., 2017).

Casos práticos do uso de DQN e DDQN incluem agentes autônomos em

simulações de direção, sistemas de recomendação adaptativos e jogos
complexos como StarCraft II. Nessas aplicações, a capacidade de aprender
representações profundas e tomar decisões sequenciais otimizadas
demonstrou que o DRL pode atingir ou superar o desempenho humano em
tarefas cognitivamente exigentes (SILVER et al., 2016). O DQN e suas
variantes pavimentaram, assim, o caminho para o desenvolvimento de
arquiteturas mais sofisticadas baseadas em políticas parametrizadas.

3.3 Policy Gradients e PPO

Os métodos de Policy Gradients (PG) representam uma mudança de

paradigma no aprendizado por reforço, substituindo a estimativa de funções de
valor por uma parametrização direta da política. Nesse modelo, o agente
aprende a ajustar os parâmetros θ de uma função πθ(a∣s) de forma a

maximizar o retorno esperado J(θ)=Eπθ[Gt]. O gradiente dessa função de

desempenho é estimado por meio do teorema do gradiente de política, que
fornece a direção de ajuste dos parâmetros:
 19

(SUTTON; BARTO, 2018). Essa abordagem torna o aprendizado

aplicável a espaços contínuos de ação, superando a limitação dos métodos
baseados em Q-learning.

Os métodos de gradiente de política são inerentemente estáveis, pois

evitam o problema de maximização disjunta presente nos algoritmos de valor.
Contudo, o alto desvio amostral e a sensibilidade ao tamanho do passo de
atualização exigem técnicas de regularização e controle. Para lidar com essa
questão, Schulman et al. (2017) introduziram o Proximal Policy Optimization
(PPO), um método que restringe as atualizações de política dentro de uma
região de confiança (trust region), limitando mudanças abruptas na distribuição
de probabilidade. Essa regularização garante equilíbrio entre estabilidade e
desempenho, tornando o PPO o padrão de fato em aplicações de larga escala.

O PPO utiliza uma função de perda modificada que penaliza

atualizações excessivas por meio de um fator de clipping, mantendo o
gradiente dentro de limites seguros. Essa técnica substitui algoritmos mais
complexos como o Trust Region Policy Optimization (TRPO), preservando
desempenho comparável com menor custo computacional (SCHULMAN et al.,
2017). O resultado é um método de treinamento robusto, escalável e
amplamente aplicável em ambientes reais, como controle de drones, robótica
manipulativa e otimização de processos industriais.

Do ponto de vista conceitual, os métodos de Policy Gradients marcam a

transição do RL simbólico para o RL probabilístico e contínuo. Eles permitem
que agentes aprendam políticas estocásticas adaptativas, capazes de
expressar comportamentos complexos e não determinísticos. Como observa
Arulkumaran et al. (2017), essa transição reflete a maturidade teórica do
campo, que se desloca de representações discretas e reativas para modelos
generativos e dinâmicos da ação inteligente.
 20

3.4 DDPG e A3C

Os algoritmos Deep Deterministic Policy Gradient (DDPG) e

Asynchronous Advantage Actor-Critic (A3C) representam duas abordagens
complementares para o aprendizado em ambientes contínuos. O DDPG,
introduzido por Lillicrap et al. (2016), estende o Q-learning para espaços de
ação contínuos, utilizando uma arquitetura de ator-crítico (actor-critic). Nesse

modelo, a rede ator aprende uma política determinística μθ(s) que mapeia
estados em ações, enquanto a rede crítico avalia o valor de cada ação,
aprendendo a função Q(s,a;w). A interação entre ator e crítico é regulada pelo
gradiente da função de valor, que orienta o aprimoramento da política.

A inovação central do DDPG está na combinação de políticas

determinísticas com a estrutura de experience replay e target networks,
herdadas do DQN. Essa integração permite o aprendizado eficiente em
espaços de alta dimensionalidade, tornando-o particularmente adequado para
controle de robôs, drones e sistemas de locomoção complexos (LILLICRAP et
al., 2016). No entanto, a natureza determinística do DDPG pode limitar a
exploração em ambientes com múltiplas soluções possíveis, motivo pelo qual
técnicas de ruído exploratório, como o processo de Ornstein-Uhlenbeck, são
frequentemente empregadas para induzir variação comportamental.

Por outro lado, o A3C, proposto por Mnih et al. (2016), introduziu uma
revolução na eficiência de treinamento ao eliminar a necessidade de
experience replay e empregar múltiplos agentes paralelos que exploram o
ambiente de forma assíncrona. Cada agente mantém uma cópia local de
parâmetros e periodicamente sincroniza suas atualizações com uma rede
global compartilhada. Essa estrutura reduz a correlação temporal entre
amostras e acelera a convergência. O A3C combina os conceitos de ator-crítico
com o uso de advantage functions, que medem o quanto uma ação é melhor
que a média esperada em determinado estado, refinando o aprendizado de
políticas.

Em comparação, o DDPG é mais indicado para tarefas contínuas

determinísticas e controladas, enquanto o A3C é preferível em ambientes
 21

complexos e de larga escala, nos quais a diversidade de experiências e a

exploração paralela são vantajosas. Ambos os métodos representam marcos
na evolução do DRL, introduzindo conceitos fundamentais de paralelismo,
estabilidade e aprendizado contínuo (ARULKUMARAN et al., 2017). Em termos
práticos, suas arquiteturas foram amplamente aplicadas em robótica industrial,
simulações de veículos autônomos e sistemas de energia adaptativos.

3.5 Ambientes contínuos e híbridos

Os ambientes contínuos e híbridos representam uma fronteira

desafiadora no campo do aprendizado por reforço profundo, pois combinam
variáveis discretas e contínuas, exigindo políticas capazes de lidar
simultaneamente com ambas. Em tais contextos, as ações não são escolhidas
entre opções finitas, mas geradas em um espaço contínuo, o que requer
modelagem probabilística e aprendizado de políticas paramétricas suaves
(HAARNOJA et al., 2018). Essa característica é comum em robótica, economia,
simulações físicas e sistemas autônomos.

Para lidar com esses ambientes, o DRL combina técnicas de

aprendizado de valor e de política. Métodos como DDPG, SAC (Soft Actor-
Critic) e PPO utilizam funções de ativação contínuas e gradientes
diferenciáveis para explorar o espaço de ações com precisão. O SAC, em
particular, introduz o conceito de maximização de entropia, incentivando o
agente a explorar múltiplas soluções em vez de convergir rapidamente para
políticas determinísticas. Essa abordagem aumenta a robustez do aprendizado
e evita aprisionamento em ótimos locais (HAARNOJA et al., 2018).

A integração de ambientes híbridos requer também técnicas de

representação multimodal. Em simulações de robótica autônoma, por exemplo,
sensores discretos (como detectores de colisão) e sinais contínuos (como
ângulos de juntas) coexistem. O DRL permite que tais entradas heterogêneas
sejam processadas em paralelo, utilizando arquiteturas de rede que aprendem
representações conjuntas, como graph neural networks ou attention
mechanisms (LECUN; BENGIO; HINTON, 2015). Essa capacidade de
 22

abstração torna o DRL especialmente adequado para modelar comportamentos

adaptativos e complexos em ambientes físicos reais.

Finalmente, o estudo de ambientes contínuos e híbridos transcende a

engenharia computacional e toca questões epistemológicas da própria
inteligência artificial: a capacidade de generalizar aprendizado entre domínios
heterogêneos e de operar sob incerteza. Conforme argumentam Silver et al.
(2016), a inteligência não se resume à otimização de uma função de
recompensa, mas à habilidade de transferir conhecimento entre contextos
distintos. O DRL, nesse sentido, emerge como a mais promissora abordagem
contemporânea para a construção de sistemas verdadeiramente autônomos e
generalistas.

UNIDADE 4 – IMPLEMENTAÇÃO E SIMULAÇÃO

4.1 OpenAI Gym e TensorFlow Agents

A implementação prática de algoritmos de Reinforcement Learning (RL)

requer ambientes de simulação padronizados e bibliotecas robustas que
facilitem o desenvolvimento, a avaliação e a replicação de experimentos. O
OpenAI Gym, introduzido por Brockman et al. (2016), consolidou-se como o
principal ecossistema de benchmarking para RL, oferecendo um conjunto
diversificado de ambientes — desde tarefas clássicas como CartPole e
MountainCar até simulações de robótica e jogos complexos. Sua principal
contribuição foi padronizar a interface de interação agente-ambiente, definida
por métodos como reset(), step() e render(), o que promoveu interoperabilidade
entre implementações e acelerou o progresso científico no campo.

No OpenAI Gym, cada ambiente define um espaço de estados e um

espaço de ações, discretos ou contínuos, permitindo a experimentação com
diferentes arquiteturas de aprendizado. O agente interage com o ambiente por
meio de um loop de observação, ação e recompensa, seguindo os princípios
formais descritos por Sutton e Barto (2018). Essa estrutura favorece a
 23

reprodutibilidade científica e facilita a comparação entre algoritmos sob

condições controladas. Por exemplo, métricas padronizadas, como mean
episode reward e success rate, tornaram-se parâmetros universais de
avaliação em publicações científicas sobre RL.

Complementarmente, o TensorFlow Agents (TF-Agents), desenvolvido

pelo Google Research, fornece um framework de alto nível para a
implementação modular de algoritmos de RL em TensorFlow 2.x. Segundo o
TFAgents Team (2022), a biblioteca segue uma filosofia orientada a
componentes, com módulos independentes para coleta de dados, aprendizado,
armazenamento de experiências e avaliação de políticas. Essa modularidade
permite combinar arquiteturas clássicas (como DQN, PPO e SAC) com redes
neurais profundas personalizadas, otimizadas para tarefas específicas.

Na prática, a integração entre o OpenAI Gym e o TF-Agents constitui

uma ponte entre pesquisa e aplicação industrial. Enquanto o Gym provê
ambientes padronizados de teste, o TF-Agents oferece escalabilidade, suporte
a GPU e integração com TensorFlow Extended (TFX), permitindo que modelos
de RL sejam implantados em pipelines de produção. Essa sinergia tem sido
essencial para o avanço do Deep Reinforcement Learning (DRL) aplicado a
sistemas autônomos, veículos inteligentes e otimização de processos
industriais (ARULKUMARAN et al., 2017).

4.2 Unity ML-Agents

O Unity ML-Agents Toolkit (MLA) emergiu como uma das plataformas

mais inovadoras para a simulação de agentes inteligentes em ambientes
tridimensionais. Desenvolvido pela Unity Technologies, o MLA oferece um
ecossistema completo que combina o motor gráfico Unity Engine com
algoritmos de aprendizado por reforço, aprendizado supervisionado e
aprendizado por imitação (JULIANI et al., 2018). Diferentemente de frameworks
como o OpenAI Gym, voltados majoritariamente a ambientes 2D e simbólicos,
o ML-Agents permite o treinamento de agentes em cenários fisicamente
 24

realistas, utilizando motores de física, iluminação e detecção de colisão em

tempo real.

A arquitetura do ML-Agents baseia-se em um modelo de comunicação

entre o ambiente Unity e o Python API Trainer. O ambiente envia observações
sensoriais (visuais ou numéricas) para o modelo de aprendizado, que, por sua
vez, retorna ações para o controle do agente. Essa comunicação é mediada
por gRPC (Google Remote Procedure Call), o que permite a execução paralela
de múltiplas instâncias de simulação, ampliando a eficiência do treinamento. O
MLA suporta algoritmos clássicos e modernos, incluindo PPO, SAC e DDPG,
com parametrização flexível e suporte para políticas contínuas e discretas.

Um dos aspectos mais relevantes do ML-Agents é sua capacidade de

representar interações multiagente. Isso possibilita o estudo de
comportamentos emergentes, cooperação e competição entre agentes,
características essenciais para o desenvolvimento de ecossistemas autônomos
complexos. Em pesquisa acadêmica, a plataforma tem sido amplamente
empregada em áreas como robótica, jogos e engenharia de tráfego urbano,
possibilitando a criação de experimentos com alto grau de realismo e controle
sobre variáveis (JULIANI et al., 2018).

Além de sua relevância científica, o ML-Agents tornou-se uma

ferramenta pedagógica poderosa. Sua interface visual e integração com Python
permitem a estudantes e pesquisadores explorar o aprendizado por reforço de
forma interativa, observando em tempo real a evolução do comportamento dos
agentes. Em termos conceituais, o MLA representa a materialização do
paradigma de simulação realista como metodologia científica, aproximando o
aprendizado artificial das dinâmicas do mundo físico (LECUN; BENGIO;
HINTON, 2015).
 25

4.3 Treinamento distribuído com RLlib

Com o crescimento da complexidade dos modelos de RL e o aumento

do volume de dados gerados em simulações, o treinamento distribuído tornou-
se uma necessidade. O RLlib, apresentado por Liang et al. (2018), é uma
biblioteca de Reinforcement Learning distribuído desenvolvida sobre o
framework Ray, concebido para execução paralela em clusters de computação.
Essa ferramenta foi projetada para resolver dois problemas fundamentais:
escalabilidade e eficiência. Enquanto frameworks tradicionais sofrem com
limitações de memória e processamento em cenários de múltiplos agentes ou
ambientes, o RLlib permite distribuir o treinamento em centenas de CPUs ou
GPUs de forma coordenada e resiliente.

O RLlib adota uma arquitetura de actors e tasks, na qual cada unidade

de processamento executa uma parte específica do pipeline — coleta de
experiência, atualização de políticas ou cálculo de gradientes. Essa estrutura
distribuída se baseia nos princípios do MapReduce, adaptados para
aprendizado contínuo (ZAHARIA et al., 2010). O resultado é uma plataforma
capaz de treinar agentes em grande escala, reduzindo significativamente o
tempo de convergência e permitindo a execução de experimentos antes
inviáveis em ambientes de simulação local.

Outra característica notável do RLlib é a compatibilidade com múltiplos

frameworks de aprendizado profundo, incluindo TensorFlow e PyTorch. Essa
interoperabilidade o transforma em um middleware de integração entre
algoritmos de RL e infraestrutura de computação em nuvem. Por exemplo,
grandes corporações utilizam RLlib para otimização de processos logísticos,
escalonamento de recursos computacionais e modelagem de políticas de
controle em data centers (LIANG et al., 2018).

Do ponto de vista metodológico, o RLlib também suporta abordagens

multi-agent e meta-reinforcement learning, nas quais agentes colaboram ou
competem em ambientes compartilhados. Essa flexibilidade amplia as
possibilidades de pesquisa em áreas como economia computacional,
coordenação robótica e aprendizado federado. Assim, o RLlib constitui uma
 26

das plataformas mais completas para o treinamento distribuído em RL,

traduzindo avanços teóricos em desempenho computacional concreto.

4.4 Monitoramento e métricas

O sucesso de um modelo de Reinforcement Learning depende não

apenas da arquitetura algorítmica, mas também de mecanismos rigorosos de
monitoramento e avaliação. A análise quantitativa do desempenho do agente é
essencial para compreender sua estabilidade, taxa de aprendizado e eficiência
da política. Segundo Sutton e Barto (2018), o monitoramento contínuo deve
incluir métricas de convergência, variância da recompensa e exploração versus
explotação. Essas métricas permitem detectar comportamentos indesejados,
como colapsos de política, instabilidade numérica e sobreajuste ao ambiente
de treino.

No contexto moderno, frameworks como TensorBoard, Weights & Biases

e Ray Tune oferecem painéis interativos que registram parâmetros de
treinamento em tempo real, como loss functions, reward trajectories e Q-value
distributions. Essas ferramentas permitem o acompanhamento visual da
evolução dos agentes, tornando o processo mais transparente e reprodutível.
Além disso, métricas de sample efficiency e computational throughput são
utilizadas para avaliar o custo-benefício entre desempenho e consumo
computacional (MNIH et al., 2015).

Em aplicações industriais e científicas, o monitoramento assume um

papel de auditoria. Por exemplo, em robótica autônoma, é necessário
assegurar que o agente mantenha estabilidade operacional e conformidade
com restrições de segurança física e ética. Nesses contextos, define-se um
conjunto de métricas específicas — como safety violations per episode ou
energy efficiency ratio — que servem de indicadores de confiabilidade do
sistema (SILVER et al., 2016). Essa formalização garante que a aprendizagem
não se limite à maximização de recompensas, mas atenda também a critérios
normativos e de sustentabilidade.
 27

Do ponto de vista epistemológico, o monitoramento das métricas de RL

reflete a necessidade de transformar aprendizado empírico em ciência
verificável. Assim, a análise estatística de desempenho, acompanhada por
intervalos de confiança e testes de hipóteses, torna-se indispensável para
validar a robustez dos resultados. O rigor na avaliação, portanto, é o que
distingue o experimento científico de uma simples demonstração técnica
(ARULKUMARAN et al., 2017).

4.5 Interpretação de resultados

A etapa de interpretação dos resultados é o ponto culminante do ciclo de

implementação em Reinforcement Learning, pois permite traduzir métricas
numéricas em conhecimento aplicável. Essa interpretação deve considerar não
apenas o valor médio das recompensas obtidas, mas também a distribuição de
resultados, a estabilidade das políticas e o comportamento emergente do
agente ao longo do tempo. Como enfatizam Sutton e Barto (2018),
compreender o “porquê” das decisões do agente é tão importante quanto
avaliar sua performance.

Uma análise interpretativa profunda exige o uso de ferramentas de

explicabilidade, como mapas de atenção e análise de sensibilidade. Tais
métodos revelam quais estados ou observações exercem maior influência
sobre as ações do agente, permitindo identificar vieses ou comportamentos
indesejados. Em sistemas de controle autônomo, essa transparência é
fundamental para assegurar a confiança humana e o cumprimento de normas
de governança algorítmica (LECUN; BENGIO; HINTON, 2015).

Além disso, a interpretação dos resultados deve integrar aspectos

qualitativos. Em ambientes tridimensionais, por exemplo, a observação visual
do comportamento do agente fornece insights sobre sua capacidade de
adaptação, coordenação motora e cooperação social. Juliani et al. (2018)
observam que agentes treinados em Unity ML-Agents frequentemente exibem
comportamentos inesperadamente sofisticados, como estratégias cooperativas
 28

emergentes, o que reforça a importância da análise comportamental como

complemento à análise métrica.

Por fim, a interpretação deve ser contextualizada em termos de

generalização. Um modelo de RL verdadeiramente robusto não é aquele que
apenas domina um ambiente específico, mas o que transfere conhecimento
para novos contextos sem degradação significativa de desempenho. Essa
capacidade, conhecida como transfer learning, é considerada um dos pilares
da inteligência artificial generalista (SILVER et al., 2016). Portanto, a análise
crítica dos resultados deve sempre transcender o ambiente experimental,
avaliando o potencial de aplicação, a escalabilidade e as implicações éticas
das decisões aprendidas.

UNIDADE 5 – APLICAÇÕES AVANÇADAS

5.1 Robótica e veículos autônomos

A robótica constitui uma das áreas mais frutíferas e desafiadoras para a

aplicação da aprendizagem por reforço profundo (Deep Reinforcement
Learning – DRL). Nesse domínio, o objetivo é permitir que agentes físicos —
robôs móveis, manipuladores ou veículos autônomos — aprendam a interagir
com o ambiente e a adaptar-se a condições dinâmicas sem supervisão direta.
Como afirmam Kober, Bagnell e Peters (2013), a integração entre percepção,
controle e decisão em tempo real exige algoritmos capazes de operar sob
incerteza, ajustando continuamente suas políticas com base em experiências
sensoriais.

Os robôs modernos são equipados com sensores de alta resolução,

como câmeras RGB-D, LiDARs e unidades de medição inercial (IMUs), que
produzem fluxos massivos de dados. O DRL utiliza redes neurais profundas
para extrair representações latentes desses dados e traduzir percepções
complexas em ações motoras precisas. Em sistemas de locomoção bípede, por
exemplo, algoritmos baseados em Proximal Policy Optimization (PPO) e Soft
 29

Actor-Critic (SAC) aprendem padrões de movimento estáveis em terrenos

irregulares sem depender de modelos físicos explícitos (HAARNOJA et al.,
2018). Esse aprendizado de controle contínuo supera a rigidez dos
controladores tradicionais, permitindo flexibilidade e adaptação
comportamental.

No contexto dos veículos autônomos, o RL desempenha papel central

na tomada de decisão hierárquica — desde o planejamento de trajetórias até o
controle fino de direção e aceleração. O aprendizado é conduzido em
simulações realistas, nas quais o agente treina em milhões de episódios antes
de ser transferido para o mundo real, um processo conhecido como sim-to-real
transfer (ARULKUMARAN et al., 2017). Empresas como Waymo e Tesla
aplicam variações de DRL para otimizar o comportamento de condução em
cenários complexos, equilibrando eficiência e segurança. Nesses sistemas,
políticas aprendidas em ambientes virtuais são refinadas com aprendizado
contínuo em operação real, integrando feedback humano e aprendizado
supervisionado.

A robótica, portanto, exemplifica o potencial do DRL em unir percepção e

ação de forma autônoma. Ao transformar observações de alta
dimensionalidade em políticas dinâmicas, os agentes alcançam níveis inéditos
de autonomia. Esse paradigma aproxima a robótica de um novo estágio
cognitivo: o aprendizado contínuo e autoadaptativo, em que o robô não apenas
executa comandos, mas desenvolve estratégias de ação em resposta a
contextos imprevistos (SILVER et al., 2016). O resultado é um campo que se
move da automação mecânica para a inteligência embodied — incorporada ao
corpo físico do agente.

5.2 Controle de tráfego urbano inteligente

A gestão do tráfego urbano representa um problema de otimização

sequencial de larga escala, ideal para aplicação de algoritmos de RL.
Tradicionalmente, os sistemas de semáforos operam com ciclos fixos e regras
predefinidas, o que resulta em congestionamentos e ineficiência energética. O
 30

aprendizado por reforço permite, ao contrário, que cada controlador de tráfego

aprenda políticas adaptativas, respondendo dinamicamente ao fluxo de
veículos. O trabalho seminal de Wiering et al. (2003) demonstrou que agentes
treinados por RL podem reduzir significativamente o tempo médio de espera
em cruzamentos complexos, ajustando os tempos de sinal com base na
densidade local do tráfego.

Com o advento do Deep Reinforcement Learning, o controle de tráfego

ganhou novas dimensões de complexidade e precisão. Em abordagens
recentes, cada interseção é modelada como um agente autônomo que observa
o ambiente por meio de sensores e câmeras, tomando decisões de sinalização
com base em estados contínuos, como contagem de veículos, velocidade
média e tempo desde a última mudança de fase (ZHENG et al., 2019). Esses
agentes são treinados com algoritmos como DQN e A3C, aprendendo de forma
cooperativa a minimizar métricas globais de congestionamento. O resultado é
um sistema descentralizado e adaptativo, que evolui a partir da própria
dinâmica urbana.

O impacto prático desses sistemas vai além da eficiência viária. A

aplicação de RL no controle de tráfego contribui para a redução de emissões
de carbono, otimização do consumo de combustível e melhoria da segurança
viária. Em experimentos realizados com RLlib (LIANG et al., 2018), observou-
se que políticas distribuídas treinadas em ambientes simulados podiam ser
escaladas para redes reais de semáforos urbanos, preservando estabilidade e
tempo de resposta. Esse avanço aproxima as cidades inteligentes (smart cities)
de um modelo de governança algorítmica, no qual as infraestruturas aprendem
continuamente com dados de mobilidade.

Do ponto de vista teórico, o problema do tráfego urbano é um exemplo

clássico de ambiente multiagente parcialmente observável, no qual a
coordenação emergente entre controladores é fundamental. Assim, o
aprendizado por reforço não apenas otimiza sinais individuais, mas gera
comportamentos coletivos auto-organizados, análogos aos observados em
sistemas biológicos de enxames. Essa abordagem inaugura um novo
 31

paradigma de mobilidade urbana baseada em aprendizado adaptativo e

coordenação descentralizada (BERTSEKAS, 2017).

5.3 Trading e mercados adaptativos

A aplicação do aprendizado por reforço em finanças e mercados

adaptativos transformou profundamente a modelagem de estratégias de
investimento automatizadas. Diferentemente dos algoritmos tradicionais de
negociação baseados em regras estáticas, o RL oferece um arcabouço
matemático para aprendizado dinâmico sob incerteza. O agente financeiro
aprende políticas de compra e venda maximizando retornos esperados, ao
mesmo tempo em que gerencia riscos e volatilidade. Essa abordagem é
descrita por Deng et al. (2017) como uma transição do algorithmic trading para
o adaptive trading, em que os modelos evoluem continuamente com base em
novas observações do mercado.

O uso de Deep Q-Networks (DQN) e Actor-Critic em contextos

financeiros permite a integração de séries temporais de alta frequência,
indicadores macroeconômicos e dados de sentimento em uma representação
unificada. O aprendizado é guiado por recompensas que ponderam lucro, risco
e custo de transação. Em mercados voláteis, agentes baseados em Double
DQN demonstram capacidade de antecipar reversões de tendência, ajustando
posições de forma autônoma. Essa flexibilidade supera a rigidez das
estratégias pré-programadas, aproximando o comportamento dos agentes de
decisões humanas racionais, mas com maior velocidade e precisão (DENG et
al., 2017).

Do ponto de vista técnico, o RL em finanças requer estratégias robustas

de regularização para evitar sobreajuste (overfitting) e exploração excessiva de
padrões ruidosos. Métodos como experience replay e policy clipping são
adaptados para lidar com distribuições não estacionárias dos dados
financeiros. Além disso, as políticas são frequentemente avaliadas em
simulações de mercado multiagente, nas quais diferentes estratégias
competem em condições de liquidez limitada (ARULKUMARAN et al., 2017).
 32

Esse ambiente competitivo favorece o aprendizado adaptativo e a evolução de

políticas robustas em diferentes regimes econômicos.

Em termos econômicos, o RL contribui para o surgimento de

ecossistemas financeiros mais resilientes e automatizados. No entanto, a
autonomia desses sistemas também levanta dilemas éticos e regulatórios,
relacionados à transparência e à manipulação algorítmica de mercado. A
literatura recente aponta para a necessidade de incorporar restrições
normativas diretamente nas funções de recompensa, de modo que os agentes
aprendam comportamentos compatíveis com princípios de equidade e
estabilidade financeira (BERTSEKAS, 2017). Assim, o RL não apenas redefine
a técnica de negociação, mas também inaugura um debate sobre a ética
computacional dos mercados autônomos.

5.4 Jogos e ambientes virtuais

Os jogos e ambientes virtuais constituem um dos campos mais

emblemáticos e experimentais para o aprendizado por reforço. Desde o
trabalho pioneiro de Mnih et al. (2015), no qual agentes baseados em DQN
alcançaram desempenho humano em jogos clássicos do Atari 2600, os
ambientes lúdicos tornaram-se laboratórios privilegiados para investigar a
capacidade de generalização dos algoritmos de RL. Silver et al. (2016) levaram
essa abordagem ao ápice com o AlphaGo, sistema que combinou Deep RL e
Monte Carlo Tree Search (MCTS) para superar os melhores jogadores
humanos de Go, um feito considerado marco histórico na inteligência artificial.

Os ambientes virtuais oferecem condições controladas e repetíveis para

o treinamento de agentes complexos. Plataformas como OpenAI Universe e
Unity ML-Agents permitem o aprendizado simultâneo de múltiplas habilidades
— navegação, cooperação, competição e comunicação — em contextos
tridimensionais (JULIANI et al., 2018). Essa abordagem, conhecida como multi-
task reinforcement learning, prepara o caminho para agentes generalistas
capazes de transferir conhecimento entre domínios heterogêneos. O
 33

aprendizado torna-se, assim, cumulativo e composicional, assemelhando-se

aos processos cognitivos humanos (LECUN; BENGIO; HINTON, 2015).

Além do valor experimental, os jogos são espaços de inovação

conceitual. Neles, surgiram avanços fundamentais, como o uso de curiosity-
driven learning e self-play, nos quais agentes aprendem explorando o ambiente
ou competindo entre si, sem supervisão humana direta. Essas técnicas deram
origem a arquiteturas como o AlphaZero, que aprendeu a dominar jogos
complexos como Go, Xadrez e Shogi a partir de regras mínimas, apenas pelo
reforço iterativo da experiência (SILVER et al., 2016). O impacto transcende o
entretenimento, pois os princípios subjacentes de autoaprendizado têm
aplicações em domínios tão diversos quanto biologia sintética, planejamento
urbano e modelagem climática.

Sob uma perspectiva filosófica, os jogos simbolizam o microcosmo da

inteligência artificial: ambientes fechados, mas com complexidade emergente.
Eles permitem observar o nascimento de estratégias, criatividade algorítmica e
adaptação — elementos que aproximam o aprendizado por reforço do conceito
de inteligência geral artificial (AGI). Assim, o estudo dos jogos e simulações
não é apenas uma demonstração de desempenho, mas um experimento sobre
os limites da cognição computacional e da aprendizagem autônoma
(ARULKUMARAN et al., 2017).

5.5 Sistemas de energia e sustentabilidade

O campo da energia e sustentabilidade tem sido profundamente

transformado pela aplicação de técnicas de Reinforcement Learning em
sistemas de gestão adaptativa. Microgrids, redes inteligentes (smart grids) e
sistemas de armazenamento energético demandam estratégias dinâmicas de
controle para equilibrar geração, consumo e armazenamento em tempo real.
Segundo Rahman, Khan e Bhuyan (2021), o RL oferece um mecanismo natural
para essa otimização, permitindo que agentes aprendam políticas de controle
eficientes sob múltiplas restrições operacionais.
 34

Em microgrids, agentes baseados em Actor-Critic ajustam

continuamente a distribuição de energia entre fontes renováveis (solar, eólica)
e armazenamento, maximizando a eficiência e minimizando custos. O
aprendizado é orientado por recompensas que combinam estabilidade da rede,
redução de perdas e sustentabilidade ambiental. Em estudos recentes, o uso
de algoritmos como Deep Deterministic Policy Gradient (DDPG) mostrou-se
eficaz para lidar com variáveis contínuas, como tensão, frequência e carga
dinâmica (RAHMAN; KHAN; BHUYAN, 2021). Essa autonomia energética cria
ecossistemas autossuficientes capazes de responder a flutuações de demanda
e oferta.

No setor industrial, o RL tem sido aplicado à otimização de processos

térmicos, controle de HVAC (aquecimento, ventilação e ar condicionado) e
previsão de carga energética. Ao aprender diretamente das medições
sensoriais, os agentes eliminam a dependência de modelos físicos complexos,
adaptando-se a contextos variados de operação (ARULKUMARAN et al.,
2017). Essa adaptabilidade é essencial para atingir as metas globais de
eficiência energética e descarbonização, previstas em acordos internacionais
de sustentabilidade.

Por fim, o uso de RL em sustentabilidade não é apenas técnico, mas

ético e político. Ele reflete a necessidade de sistemas que aprendam a otimizar
não apenas desempenho econômico, mas também impacto ambiental. A
capacidade de incorporar múltiplos objetivos — econômicos, sociais e
ecológicos — nas funções de recompensa representa um avanço para a
governança algorítmica do planeta. Como observa Bertsekas (2017), a
convergência entre inteligência artificial e otimização dinâmica inaugura uma
nova era de racionalidade ecológica: a inteligência a serviço da resiliência e da
sobrevivência coletiva.
 35

UNIDADE 6 – ÉTICA, GOVERNANÇA E FUTURO

DO RL
6.1 Segurança e alinhamento de agentes

A questão da segurança em Reinforcement Learning (RL) emerge como

um dos maiores desafios contemporâneos da inteligência artificial.
Diferentemente de sistemas supervisionados, cujo comportamento é
determinado por rótulos predefinidos, agentes de RL aprendem de forma
autônoma, tomando decisões a partir de interações contínuas com o ambiente.
Essa autonomia confere poder adaptativo, mas também introduz riscos
substanciais, especialmente quando os objetivos de otimização são mal
definidos ou não estão alinhados com as intenções humanas. Amodei et al.
(2016) destacam que erros de especificação de recompensas — conhecidos
como reward misspecification — podem levar a comportamentos imprevistos e
potencialmente danosos.

O alignment problem, ou problema do alinhamento, refere-se à

dificuldade de garantir que os objetivos aprendidos pelos agentes coincidam
com os valores humanos. Como observam Gabriel (2020) e Bostrom (2014), o
perigo não reside apenas em agentes superinteligentes, mas em sistemas
intermediários que otimizam metas locais de forma cega, explorando falhas na
função de recompensa. Um exemplo clássico é o “paperclip maximizer”: um
agente hipotético que, ao ser programado para maximizar a produção de clipes
de papel, converte todos os recursos disponíveis do planeta em matéria-prima
para cumprir sua meta. Embora caricatural, o exemplo ilustra a importância de
garantir que sistemas autônomos compreendam o contexto ético de suas
ações.

Do ponto de vista técnico, estratégias de safe reinforcement learning

buscam mitigar esses riscos por meio de restrições explícitas de segurança e
regulação probabilística de comportamento. Métodos baseados em constrained
Markov Decision Processes (CMDPs) e risk-sensitive policies permitem
incorporar limites sobre danos potenciais, falhas de sistema ou violações éticas
 36

(SUTTON; BARTO, 2018). Além disso, técnicas recentes como human-in-the-

loop e inverse reinforcement learning (IRL) integram feedback humano
contínuo, ensinando aos agentes valores implícitos em comportamentos
socialmente aceitáveis.

A segurança algorítmica, portanto, não é um estado, mas um processo

de alinhamento contínuo entre valores humanos e políticas aprendidas. A
governança técnica deve ser complementada por mecanismos institucionais de
auditoria e certificação, como os AI Safety Standards propostos pela OpenAI
(2024). Assim, o futuro do RL dependerá não apenas da sofisticação dos
algoritmos, mas da maturidade ética com que são projetados e
supervisionados. A autonomia inteligente deve estar sempre subordinada ao
princípio da beneficência algorítmica — agir de forma segura, previsível e
moralmente alinhada aos interesses coletivos.

6.2 Vieses e decisões autônomas

O fenômeno dos vieses algorítmicos (algorithmic bias) constitui uma das

manifestações mais sutis e perigosas da inteligência artificial moderna. Em
sistemas de Reinforcement Learning, esses vieses podem surgir tanto dos
dados de treinamento quanto da própria estrutura de interação do agente com
o ambiente. Segundo Bender et al. (2021), a opacidade dos modelos profundos
favorece a amplificação de desigualdades sociais preexistentes, sobretudo
quando os agentes aprendem a partir de contextos historicamente enviesados.
Assim, a autonomia decisória do RL pode reproduzir, em escala algorítmica,
padrões de discriminação observados em instituições humanas.

No RL, os vieses podem assumir diferentes formas: viés de

observação, quando as percepções do agente são limitadas a subconjuntos
do ambiente; viés de recompensa, quando as funções de valor refletem
prioridades humanas distorcidas; e viés de exploração, quando o agente
tende a repetir estratégias bem-sucedidas, negligenciando alternativas
moralmente mais equilibradas. Russell e Norvig (2021) observam que o dilema
ético fundamental do RL consiste em conciliar desempenho ótimo com justiça
 37

distributiva — um desafio que transcende o domínio técnico e alcança a

filosofia moral aplicada.

Para mitigar tais distorções, pesquisadores têm proposto abordagens de

fair reinforcement learning, que introduzem métricas de equidade diretamente
nas funções de recompensa. Essa integração permite que o agente otimize não
apenas resultados utilitaristas, mas também critérios de justiça, diversidade e
imparcialidade. No entanto, a aplicação prática dessas técnicas exige que se
reconheçam as dimensões políticas e culturais dos valores incorporados nos
algoritmos (FLORIDI; COWLS, 2019). Um sistema treinado em um contexto
socioeconômico específico pode não generalizar adequadamente em outros,
gerando assimetrias não intencionais.

Em um contexto de crescente automação decisória — de recomendação

de crédito a gestão de recursos públicos —, a ética do RL precisa adotar uma
perspectiva de responsabilidade compartilhada. Como propõe Cath (2018), os
agentes autônomos devem operar sob o princípio da accountability digital, em
que toda decisão automatizada possa ser explicada, auditada e contestada. A
autonomia algorítmica não pode ser confundida com isenção moral: cada
política aprendida é uma materialização de escolhas humanas, e a ética deve
permanecer inscrita no próprio código que as governa.

6.3 Consumo energético e impactos ambientais

A crescente escala dos modelos de aprendizado profundo e de RL

trouxe à tona uma preocupação ambiental crítica: o consumo energético e as
emissões associadas ao treinamento de modelos massivos. Crawford (2021)
alerta que a inteligência artificial, frequentemente apresentada como símbolo
de eficiência, pode paradoxalmente intensificar a crise climática por meio do
uso intensivo de recursos computacionais e elétricos. Modelos de RL,
sobretudo em sua forma distribuída, exigem milhares de horas de
processamento em GPUs e TPUs, com impacto direto na pegada de carbono
global.
 38

Os estudos de Bender et al. (2021) e Strubell, Ganesh e McCallum

(2019) demonstram que o treinamento de grandes modelos de aprendizado
profundo pode consumir tanta energia quanto cinco automóveis durante todo
seu ciclo de vida. Em RL, esse problema é ampliado pela necessidade de
simulações massivas, repetidas em milhões de episódios. A busca por políticas
ótimas, embora computacionalmente nobre, gera externalidades ambientais
significativas. Esse dilema reflete a contradição entre o avanço tecnológico e a
sustentabilidade planetária: quanto mais inteligente o sistema, maior tende a
ser seu custo energético.

Frente a esse desafio, surgem iniciativas de green AI e sustainable RL,

que propõem a otimização do aprendizado não apenas em termos de
desempenho, mas também de eficiência energética. Estratégias como pruning
neural networks, model distillation e off-policy replay buffers reduzem
drasticamente o custo de treinamento sem comprometer a performance
(HAARNOJA et al., 2018). Além disso, novas métricas — como “recompensa
ecológica” — vêm sendo incorporadas, de modo que os agentes aprendam
políticas que equilibram desempenho e sustentabilidade. O RL passa, assim,
de uma ferramenta de otimização para um instrumento de governança
ambiental inteligente.

Contudo, a mitigação dos impactos ambientais exige mais do que

ajustes técnicos: requer uma mudança paradigmática na forma como a
comunidade científica mede o progresso. Crawford (2021) propõe que a
eficiência computacional e o custo energético se tornem critérios centrais de
avaliação em publicações acadêmicas e competições de RL. Essa perspectiva
ético-ecológica redefine o progresso tecnológico, situando a inteligência
artificial não como fim em si, mas como meio para a preservação do equilíbrio
planetário.

6.4 Regulação e transparência em IA

A expansão da inteligência artificial autônoma demanda não apenas

inovações técnicas, mas também marcos regulatórios que assegurem
 39

transparência, responsabilidade e controle democrático. No contexto do

Reinforcement Learning, onde os agentes tomam decisões autônomas com
potencial impacto social, a ausência de mecanismos regulatórios pode gerar
riscos sistêmicos. O Artificial Intelligence Act (AIA) da União Europeia (2023)
representa o esforço mais abrangente de regulamentação até o momento,
estabelecendo categorias de risco (mínimo, limitado, alto e inaceitável) e
exigindo auditoria e rastreabilidade em sistemas de alto impacto.

A regulação da IA implica também na necessidade de interpretabilidade.

Como observa Floridi e Cowls (2019), a transparência deve ser entendida não
apenas como acesso ao código, mas como compreensibilidade dos processos
de decisão. Em RL, isso significa tornar inteligível a trajetória de aprendizado
do agente — as políticas adotadas, as recompensas recebidas e as razões
para determinadas ações. Essa explicabilidade é fundamental para evitar a
chamada “opacidade algorítmica”, na qual até mesmo os criadores perdem o
controle cognitivo sobre o comportamento do sistema.

A governança da IA requer ainda a consolidação de padrões éticos

globais. Organizações como a UNESCO e o IEEE têm proposto diretrizes
internacionais baseadas em princípios de beneficência, justiça, não
maleficência e respeito à autonomia humana. No caso do RL, essas diretrizes
implicam que os agentes aprendam sob restrições normativas explícitas, e que
suas ações possam ser auditadas ex post facto. A integração entre ethics by
design e governance by architecture constitui o caminho mais promissor para
equilibrar inovação e segurança institucional (CATH, 2018).

Por fim, a transparência deve ser acompanhada de responsabilidade

civil. A questão de quem responde legalmente por decisões tomadas por
agentes de RL — o programador, o operador ou o sistema em si — permanece
aberta. Russell e Norvig (2021) defendem o princípio da responsabilidade
distribuída, no qual a cadeia de criação e operação compartilha a obrigação de
garantir que os sistemas atuem de forma justa e previsível. Assim, a regulação
não deve ser vista como obstáculo à inovação, mas como instrumento de
legitimação social da inteligência artificial.
 40

6.5 Tendências futuras do RL

O futuro do Reinforcement Learning aponta para uma convergência

entre autonomia, generalização e responsabilidade. À medida que os agentes
se tornam mais eficientes e interconectados, novas linhas de pesquisa
emergem, como o meta-reinforcement learning, no qual sistemas aprendem
a aprender, e o lifelong learning, em que agentes mantêm aprendizado
contínuo ao longo do tempo (SUTTON; BARTO, 2018). Essas abordagens
ampliam o escopo cognitivo dos agentes, permitindo adaptação permanente a
contextos em mutação.

Outra tendência é a integração entre RL e modelos de linguagem de

larga escala (Large Language Models – LLMs), como GPT e Gemini,
resultando em sistemas híbridos capazes de combinar raciocínio simbólico e
aprendizado empírico. Esses agentes multimodais têm potencial para operar
como mediadores autônomos em contextos humanos, desde educação
personalizada até diagnósticos médicos. Contudo, como alerta Gabriel (2020),
essa fusão entre linguagem e ação exige novas formas de supervisão ética,
capazes de garantir que os agentes compreendam — e não apenas imitem —
valores humanos.

Do ponto de vista técnico, espera-se uma transição do RL baseado em

recompensas explícitas para formas de aprendizado motivacional, inspiradas
em neurociência, como curiosity-driven learning e intrinsic motivation. Nesses
modelos, os agentes não dependem de recompensas externas, mas exploram
o ambiente guiados por interesse e autoaperfeiçoamento. Essa mudança
aproxima o RL de sistemas biológicos e pode representar um passo em direção
à inteligência artificial geral (BOSTROM, 2014).

Por fim, o futuro ético do RL dependerá de sua capacidade de coexistir

com os limites planetários e humanos. Como sintetiza Crawford (2021), “a
verdadeira inteligência não é a que domina o mundo, mas a que aprende a
habitá-lo com cuidado”. Assim, a próxima geração de algoritmos deverá ser
não apenas eficiente e adaptável, mas também reflexiva, transparente e
ecologicamente responsável. O Reinforcement Learning do futuro não será
 41

apenas uma tecnologia de otimização — será um sistema moral e político

embutido em código, orientado por princípios de sustentabilidade e justiça.
 42

1. Introdução acessível ao RL — conceitos básicos e centrados no

contexto brasileiro
“Introdução ao Aprendizado por Reforço (RL) – Fernando J. Von Zuben” traz
uma visão didática sobre agentes, políticas, recompensa e os principais
desafios do RL.
[Link] YouTube

2. Integração RL + redes neurais — como superar limitações dos

métodos clássicos
“Aprendizado por Reforço e as redes neurais” mostra como combinar redes
profundas com RL para resolver cenários com muitos estados, destacando
pontos práticos e conceituais.
[Link] YouTube

3. Tutorial prático passo a passo — da teoria à aplicação

“Aulão de Aprendizado por Reforço [Teoria e Prática!]” aborda o tema desde o
zero, com exemplos práticos, códigos e visualizações de agente em ação.
[Link] YouTube
 43

REFERÊNCIAS
1. AMODEI, D. et al. Concrete Problems in AI Safety. arXiv preprint
arXiv:1606.06565, 2016.

2. ARULKUMARAN, K.; DEISENROTH, M. P.; BRUNDAGE, M.;

BHARATH, A. A. Deep Reinforcement Learning: A Brief Survey. IEEE
Signal Processing Magazine, v. 34, n. 6, p. 26–38, 2017.

3. BENDER, E. M. et al. On the Dangers of Stochastic Parrots: Can

Language Models Be Too Big? Proceedings of the 2021 ACM
Conference on Fairness, Accountability, and Transparency (FAccT), p.
610–623, 2021.

4. BERTSEKAS, D. P. Dynamic Programming and Optimal Control. 4. ed.

Belmont: Athena Scientific, 2017.

5. BERTSEKAS, D. P.; TSITSIKLIS, J. N. Neuro-Dynamic Programming.

Belmont: Athena Scientific, 1996.

6. BOSTROM, N. Superintelligence: Paths, Dangers, Strategies. Oxford:

Oxford University Press, 2014.

7. BROCKMAN, G. et al. OpenAI Gym. arXiv preprint arXiv:1606.01540,

2016.

8. CATH, C. Governing Artificial Intelligence: Ethical, Legal, and Technical

Opportunities and Challenges. Philosophical Transactions of the Royal
Society A, v. 376, n. 2133, p. 1–13, 2018.

9. CRAWFORD, K. Atlas of AI: Power, Politics, and the Planetary Costs of

Artificial Intelligence. New Haven: Yale University Press, 2021.

10. DENG, Y. et al. Deep Direct Reinforcement Learning for Financial Signal
Representation and Trading. IEEE Transactions on Neural Networks and
Learning Systems, v. 28, n. 3, p. 653–664, 2017.

11. EUROPEAN UNION. Artificial Intelligence Act (AIA). Brussels: European

Commission, 2023.
 44

12. FLORIDI, L.; COWLS, J. A Unified Framework of Five Principles for AI in

Society. Harvard Data Science Review, v. 1, n. 1, p. 1–15, 2019.

13. GABRIEL, I. Artificial Intelligence, Values, and Alignment. Minds and

Machines, v. 30, p. 411–437, 2020.

14. HAARNOJA, T. et al. Soft Actor-Critic Algorithms and Applications. arXiv

preprint arXiv:1812.05905, 2018.

15. JULIANI, A. et al. Unity: A General Platform for Intelligent Agents. arXiv
preprint arXiv:1809.02627, 2018.

16. KAELBLING, L. P.; LITTMAN, M. L.; MOORE, A. W. Reinforcement

Learning: A Survey. Journal of Artificial Intelligence Research, v. 4, p.
237–285, 1996.

17. KOBER, J.; BAGNELL, J. A.; PETERS, J. Reinforcement Learning in

Robotics: A Survey. Annual Review of Control, Robotics, and
Autonomous Systems, v. 2, p. 303–330, 2013.

18. LECUN, Y.; BENGIO, Y.; HINTON, G. Deep Learning. Nature, v. 521, p.
436–444, 2015.

19. LIANG, E. et al. RLlib: Abstractions for Distributed Reinforcement

Learning. Proceedings of the 35th International Conference on Machine
Learning (ICML), 2018.

20. LILLICRAP, T. P. et al. Continuous Control with Deep Reinforcement

Learning. International Conference on Learning Representations (ICLR),
2016.

21. MNIH, V. et al. Human-Level Control Through Deep Reinforcement

Learning. Nature, v. 518, p. 529–533, 2015.

22. OPENAI. Model Specification and Safety Standards. San Francisco:

OpenAI Technical Report, 2024.

23. PUTERMAN, M. L. Markov Decision Processes: Discrete Stochastic

Dynamic Programming. New York: John Wiley & Sons, 2014.