Notas acerca de PINNs

Luiz Felipe Pereira Bandeira

5 de janeiro de 2026

De maneira geral em (PINNs) consideramos EDPs da forma

ut + N [u] = 0, t ∈ [0, T ], x ∈ ω

sujeitas as condições iniciais e de contorno

u(0, x) = g(x), x ∈ ω

B[u] = 0, t ∈ [0, T ], x ∈ ∂ω

Onde N [.] é um operador diferencial linear ou não linear e B[.] é um operador de

contorno, a função u(t, x) representa a solução desconhecida no sistema de EDPs. A
ideia central das PIINs é aproximar a solução desconhecida u( t, x) por meio de uma rede
neural profunda utheta (t, x) onde θ representa todos os parâmetros treináveis da rede. com
isso definimos o residuo

∂uθ
Rθ (t, x) = (t, x) + N [uθ ](t, x).
∂t
Esse termo mede o quanto a rede neural viola a equação diferencial nos pontos do
domínio espaço–temporal. O treinamento da PINN consiste em encontrar os parâmetros
θ que minimizam simultaneamente o erro nas condições iniciais, nas condições de contorno
e no resíduo da EDP.
Para isso, define-se a seguinte função de custo composta:

L(θ) = Lic (θ) + Lbc (θ) + Lr (θ),

onde

Nic ( )
1 ∑ ic 2
Lic (θ) = uθ (0, xic
i ) − g(x i ) ,
Nic i=1

Nbc ( )
1 ∑ bc 2
Lbc (θ) = B[uθ ](tbc
i , xi ) ,
Nbc i=1

1
 Nr ( )2
1 ∑
Lr (θ) = Rθ (tri , xri ) .
Nr i=1
Aqui, os conjuntos de pontos

{xic
i }i=1 ,
Nic
{(tbc bc Nbc
i , xi )}i=1 , {(tri , xri )}N r
i=1

podem ser escolhidos como vértices de uma malha fixa ou amostrados aleatoriamente no
domínio Ω × [0, T ]. Todas as derivadas necessárias são computadas de forma eficiente por
diferenciação automática. É bem conhecido que a normalização de dados é uma etapa
importante de pré-processamento no aprendizado profundo tradicional, que tipicamente
envolve a reescala das variáveis de entrada de um conjunto de dados de modo que elas
possuam magnitudes e intervalos semelhantes. No entanto, esse procedimento não é,
em geral, diretamente aplicável às PINNs, pois as soluções-alvo normalmente não estão
disponíveis quando se resolvem problemas diretos envolvendo EDPs. Nesses casos, é
fundamental garantir que as variáveis de saída de interesse variem dentro de uma faixa
razoável. Uma forma de alcançar isso é por meio da não-dimensionalização.
A não-dimensionalização é uma técnica amplamente utilizada em matemática e física
para simplificar e analisar sistemas complexos, transformando o sistema original em um
sistema equivalente adimensional. Isso é feito selecionando-se uma ou mais unidades fun-
damentais ou valores característicos, e reescalando as variáveis do problema de modo que
elas se tornem adimensionais e de ordem unitária. Com base em nossa experiência, a
não-dimensionalização desempenha um papel crucial na construção de modelos informa-
dos pela física, especialmente ao lidar com dados experimentais ou problemas do mundo
real.
As principais razões para isso são apresentadas a seguir:

• Ausência de esquemas consistentes de inicialização da rede: A inicialização

de redes neurais desempenha um papel fundamental na eficácia dos algoritmos de
descida do gradiente. Esquemas de inicialização comumente utilizados.

2
Algorithm 1: Pipeline de treinamento de redes neurais informadas pela física
(PINNs)
1 1. Não-dimensionalizar o sistema de EDPs (??).
2 2. Representar a solução da EDP por uma rede neural do tipo multi-layer perceptron
(MLP) uθ (t, x) equipada com Fourier feature embeddings e fatoração aleatória dos
pesos. Recomenda-se o uso da função de ativação tanh e inicialização de Glorot.
3 3. Formular a função de perda ponderada associada ao sistema de EDPs:

L(θ) = λic Lic (θ) + λbc Lbc (θ) + λr Lr (θ), (2.9)

onde Lic (θ) e Lbc (θ) são definidos em (??) e (??), respectivamente, e

1 ∑M
Lr (θ) = wi L(i)
r (θ). (2.10)
M i=1

Aqui, o domínio temporal é particionado em M subintervalos sequenciais iguais, e

(i)
Lr (θ) denota a perda do resíduo da EDP no i-ésimo subintervalo.
4 4. Inicializar todos os pesos globais λic , λbc , λr e todos os pesos temporais {wi }M i=1
como iguais a 1.
5 5. Utilizar S passos de um algoritmo de descida do gradiente para atualizar os
parâmetros θ:
6 for n = 1, . . . , S do
(a) Amostrar aleatoriamente {xic Nic bc bc Nbc
i }i=1 , {(ti , xi )}i=1 e {(ti , xi )}i=1 no domínio
7 r r Nr
(i)
computacional e calcular as perdas Lic , Lbc e {Lr }M
i=1 .
8 (b) Calcular e atualizar os pesos temporais por

( ∑
i−1 )
wi = exp −ε Lr(k) (θ) , i = 2, 3, . . . , M, (2.11)
k=1

onde ε > 0 é um hiperparâmetro que controla a taxa de decaimento dos pesos

temporais.
9 if n mod f = 0 then
10 (c) Atualizar os pesos globais calculando

∥∇θ Lic (θ)∥

λ̂ic = , (2.12)
∥∇θ Lic (θ)∥ + ∥∇θ Lbc (θ)∥ + ∥∇θ Lr (θ)∥

11
∥∇θ Lbc (θ)∥
λ̂bc = , (2.13)
∥∇θ Lic (θ)∥ + ∥∇θ Lbc (θ)∥ + ∥∇θ Lr (θ)∥
12
∥∇θ Lr (θ)∥
λ̂r = , (2.14)
∥∇θ Lic (θ)∥ + ∥∇θ Lbc (θ)∥ + ∥∇θ Lr (θ)∥
onde ∥ · ∥ denota a norma L2 .
13 (d) Atualizar os pesos globais λ = (λic , λbc , λr ) por uma média móvel da
forma
λ novo = α λ antigo + (1 − α) λ̂, (2.15)
onde α ∈ (0, 1) controla o balanço entre os valores antigos e os novos.
14 (e) Atualizar os parâmetros da rede neural por descida do gradiente:

θn+1 = θn − η∇θ L(θn ). (2.16)

3
 Utilizamos perceptrons multicamadas (MLPs) como aproximadores universais para
representar as funções latentes de interesse, que recebem como entrada coordenadas do
domínio espaço-temporal e produzem como saída a solução aproximada da EDP. Seja
x ∈ Rd a entrada, com g (0) (x) = x e d0 = d. Uma MLP fθ (x) é definida recursivamente
por

f (l) (x) = W (l) g (l−1) (x) + b(l) , (1)

( )
g (l) (x) = σ f (l) (x) , l = 1, 2, . . . , L, (2)
fθ (x) = W (L+1) g (L) (x) + b(L+1) . (3)

Aqui, W (l) ∈ Rdl ×dl−1 é a matriz de pesos da l-ésima camada, b(l) é o vetor de vieses
e σ é uma função de ativação aplicada elemento a elemento. O conjunto de parâmetros
treináveis é
θ = {W (1) , b(1) , . . . , W (L+1) , b(L+1) }.

Na prática, a escolha da arquitetura impacta fortemente o sucesso das PINNs. Redes

muito estreitas ou rasas não possuem capacidade expressiva suficiente, enquanto redes
muito profundas e largas tornam-se difíceis de otimizar. Recomendamos larguras entre
128 e 512 neurônios e profundidades entre 3 e 6 camadas.
Para garantir diferenciabilidade suave, recomenda-se a função de ativação tanh. Ou-
tras alternativas incluem funções senoidais e GeLU. A função ReLU não é apropriada
neste contexto, pois sua segunda derivada é zero quase em todo lugar, comprometendo
o cálculo dos resíduos da EDP. Por fim, as camadas densas são tipicamente inicializadas
pelo esquema de Glorot.
Utilizamos perceptrons multicamadas (MLPs) como aproximadores universais para
representar as funções latentes de interesse, que recebem como entrada coordenadas do
domínio espaço-temporal e produzem como saída a solução aproximada da EDP. Seja
x ∈ Rd a entrada, com g (0) (x) = x e d0 = d. Uma MLP fθ (x) é definida recursivamente
por

f (l) (x) = W (l) g (l−1) (x) + b(l) , (4)

( )
g (l) (x) = σ f (l) (x) , l = 1, 2, . . . , L, (5)
fθ (x) = W (L+1) g (L) (x) + b(L+1) . (6)

Aqui, W (l) ∈ Rdl ×dl−1 é a matriz de pesos da l-ésima camada, b(l) é o vetor de vieses
e σ é uma função de ativação aplicada elemento a elemento. O conjunto de parâmetros
treináveis é
θ = {W (1) , b(1) , . . . , W (L+1) , b(L+1) }.

Na prática, a escolha da arquitetura impacta fortemente o sucesso das PINNs. Redes

4
muito estreitas ou rasas não possuem capacidade expressiva suficiente, enquanto redes
muito profundas e largas tornam-se difíceis de otimizar. Recomendamos larguras entre
128 e 512 neurônios e profundidades entre 3 e 6 camadas.
Para garantir diferenciabilidade suave, recomenda-se a função de ativação tanh. Ou-
tras alternativas incluem funções senoidais e GeLU. A função ReLU não é apropriada
neste contexto, pois sua segunda derivada é zero quase em todo lugar, comprometendo
o cálculo dos resíduos da EDP. Por fim, as camadas densas são tipicamente inicializadas
pelo esquema de Glorot.
Redes MLP apresentam o fenômeno conhecido como viés espectral, isto é, tendem a
aprender primeiro componentes de baixa frequência. Isso prejudica a representação de
soluções com gradientes abruptos ou estruturas finas.
Para mitigar esse problema, utilizamos random Fourier feature embeddings, que ma-
peiam as coordenadas de entrada para um espaço de altas frequências antes de alimentá-las
na MLP. O mapeamento γ : Rd → R2m é definido por
 
cos(Bx)
γ(x) =  ,
sin(Bx)

onde B ∈ Rm×d possui entradas amostradas de uma distribuição normal N (0, σ 2 ) e σ > 0
é um hiperparâmetro.
O parâmetro σ controla a banda de frequências representadas: valores pequenos pro-
duzem aproximações suaves e borradas, enquanto valores grandes podem gerar artefatos
de alta frequência. Idealmente, σ deve ser escolhido de forma que a largura de banda do
kernel neural tangente (NTK) se alinhe com a do sinal alvo. Na prática, recomenda-se
usar σ ∈ [1, 10].
A técnica de random weight factorization (RWF) decompõe os pesos de cada neurônio
como
w(k,l) = s(k,l) v (k,l) ,

onde w(k,l) é o vetor de pesos do neurônio k na camada l, s(k,l) é um fator escalar treinável
e v (k,l) é um vetor de direção.
Em forma matricial,

W (l) = diag(s(l) )V (l) , l = 1, . . . , L + 1,

com s(l) ∈ Rdl .

Na prática, inicializa-se uma MLP convencional (por exemplo, com Glorot). Em
seguida, para cada camada, sorteia-se

s(l) ∼ N (µ, σI),

5
e define-se
W (l) = diag(exp(s(l) ))V (l) .

Os parâmetros {s(l) , V (l) , b(l) } são então treinados diretamente por descida do gradiente.
A parametrização exponencial garante fatores de escala estritamente positivos e evita
degenerescências. Valores recomendados são µ = 0.5 ou 1 e σ = 0.1.