Estimação dos Parâmetros da Distribuição

Exponencial Power Estendida de Marshall Olkin

Utilizando Mínimos Quadrados Não Linear

Juan e Guilherme

Universidade Estadual Paulista Júlio de Mesquita Filho

hacermate@[Link] e guiaguilar@[Link]

8 de dezembro de 2015

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 1 / 31

Sumário

1 Introdução
2 Minimos Quadrados não Linear
Métodos
Método de Gauss- Newton
Método de Lemberg-Marquet
Método de Nelder-Mead
Método de gradiente conjugado
3 Aplicação prática
Obtenção da Exponencial Power de Marshall Olkin
Características da nova Distribuição
Estimação dos Parâmetros
Simulação
4 Conclusão
5 Referências

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 2 / 31

Introdução

Para resolver o modelo matemático linear:

Ax = b (1)

aplicando o métodos dos mínimos quadrados, a solução é expressa por:

A T Ax = A T b → x = (A T A )−1 A T b (2)

se o modelo matemático for não linear então não pode ser escrito na forma
Ax = b.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 3 / 31

Minimos Quadrados não Linear
Seja o modelo não linear

y (x ; a0 , a1 , ..., am ) (3)

o objetivo é minimizar da função:

n
1X 2
F (a0 , a1 , ..., am ) = fi (a0 , a1 , ..., am ) (4)
2
i =1

onde:
√
fi = 2(yi − y (xi ; a0 , a1 , ..., am )), i = 0, 1, ..., n (5)

abreviando a notação temos:

n
1X 2 1
F= fi = [ ||fi ||2 (6)
2 2
i =1

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 4 / 31

Cálculo da Gradiente e Hessiana de F
O Gradiente de F

∇F = J T f (7)

A Hessiana de F

n
X
H=J J+ T
fi ∇2 fi . (8)
i =1

Observaçao
O resíduo
ri = yi − y (xi ; a0 , a1 , ..., am )
está próximo de zero. Logo

H = JT J (9)
Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 5 / 31
Método de Gauss- Newton

Pelo método de Newton para optimização temos

zk +1 = zk − H −1 (zk )∇F (zk ) → H (zk )(zk +1 − zk ) = −∇F (zk ) (10)

e como em nosso caso temos H = J T J e ∇F (zk ) = J T f , então temos:

J T (zk )J (zk )(zk +1 − zk ) = −J T f (11)

é método de iteração para obter o mínimo.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 6 / 31

Método de Lemberg-Marquet

O método usa a equação:

[J T (zk )J (zk ) − λk Dk T Dk ](zk +1 − zk ) = −J T f (12)

onde λk ≥ 0 e Dk é diagonal.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 7 / 31

Método de Polytope

O método consiste em gerar um Regular Simplex e ordenar os pontos

x1 , x2 , ..., xn+1 de modo que F (x1 ) ≤ F (x2 ) ≤ ... ≤ F (xn+1 ). Logo, encontrar
o centro de massa (centroide):
k =n
1X
c= xk (13)
n
k =1

dos melhores n pontos do Simplex. Nosso objetivo é substituir o pior ponto

xn + 1 por um novo ponto xref que tem um valor de função menor, obtendo
xref , como segue:

xref − c = c − xn+1
(14)
xref = 2c − xn+1

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 8 / 31

Metodo de Nelder-Mead

Sejam x1 , x2 , ..., xn+1 pontos distintos e ordenados tal que F (x1 ) ≤ F (x2 ) ≤
... ≤ F (xn+1 ). Estes pontos formam uma (não necessariamente regular
simplex em R n ). Calculamos o centroide c como antes e obtemos o ponto
da reflexão da seguinte maneira:

xref = c + α(c − xn+1 ) (15)

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 9 / 31

Método de gradiente conjugado
Se F (x ) não é quadrática mas a aproximação tem a seguinte forma:
1 T
F (x ) = c − b T x + x Ax + ... (16)
2
então podemos aproximar
1 T
F (x ) = c − b T x +
x Ax (17)
2
onde c ∈ R , b ∈ R n e A é uma matriz quadrada de ordem n. Logo pode
ser calculado o gradiente
∇F (x ) = Ax − b (18)
e escolhemos a primeira direção como
d0 = −∇F (x0 ) = b − A x0 (19)
onde x0 é um valor inicial, e escolhemos α0 que minimiza F (x0 +α0 d0 ) com
α0 ≥ 0. Consequentemente
x1 = x0 + α0 d0 (20)
Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 10 / 31
Procedendo a iteração

Temos a nova direção

dk = rk + βk dk −1 (21)

||rk ||2
onde rk = b − A xk , como βk = ||rk −1 ||2
.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 11 / 31

Aplicação prática

Criar uma nova distribuição de probabilidade;

Aplicar o Método da Máxima Verossimilhança;
Aplicar o Método dos Mínimos Quadrados;
Aplicar o Método da Mínimos Quadrados Ponderados.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 12 / 31

Obtenção da Exponencial Power de Marshall Olkin

A distribuição Exponencial Power foi introduzida por Smith e Bain(1975);

Função densidade

α (t β)α
f (x ; α, β) = α βα t α−1 e(t β) e1−e , x ≥ 0, α > 0, β > 0 (22)

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 13 / 31

Obtenção da Exponencial Power de Marshall Olkin

A nova distribuição em estudo foi obtida através da generalização da fun-

ção densidade, adicionando um parâmetro positivo:

Função densidade

θ f (x )
f (x ; θ) = 0 ≤ x , 0 < θ, (23)
[1 − (1 − θ)(1 − F (x ))]2

Sendo F (x ) a função distribuição da Exponencial Power.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 14 / 31

Obtenção da Exponencial Power de Marshall Olkin

Função densidade Exponencial Power de Marshall Olkin:

Função densidade Exponencial Power de Marshall Olkin

α (x β)α
θ α βα x α−1 e(x β) e1−e
f (x ; θ, α, β) =   , x ≥ 0, α > 0, β > 0, θ > 0 (24)
x α βα 2
1 − (1 − θ) e1−e

Integração da Função dens. Exponencial Power de Marshall Olkin

Então X tem distribuição Exponencial Power de Marshall Olkin pois:
α (x β)α
∞
θ α βα x α−1 e(x β) e1−e
Z
  dx = 1;
x α βα 2
(25)
0 1 − (1 − θ) e 1 −e

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 15 / 31

Características da nova Distribuição
Função Distribuição:

x α βα
1 − e1−e
F (x ; θ, α, β) = x α βα
(26)
1 − (1 − θ) e1−e

Função de Sobrevivência:

x α βα
θ e1−e
S (x ; θ, α, β) = x α βα
(27)
1 − (1 − θ) e1−e

Função Risco:

α (x β)α
α βα x α−1 e(x β) e1−e
h (x ; θ, α, β) =  x α βα
 x α βα
(28)
1 − (1 − θ) e1−e e1−e

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 16 / 31

Estimação dos Parâmetros

Métodos que serão aplicados:

Métodos:
Estimador de Máxima Verossimilhança;
Mínimos Quadrados;
Mínimos Quadrados Ponderados.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 17 / 31

Método da Máxima Verossimilhança

Seja Xi , i = 1, 2, · · · , n uma amostra aleatória proveniente da distribuição

Exponencial Power de Marshall Olkin, desta forma obtemos a função de
verossimilhança:

EMV

n
Y
L (θ, α, β|x) = f (xi , θ, α, β)
i =1
α (x β)α
θ α βα x α−1 e(x β) e1−e
Y n
=   .
x α βα 2
(29)
i =1 1 − (1 − θ) e1−e

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 18 / 31

Método dos Mínimos Quadrados

Sejam t1:n < t2:n < ... < tn:n uma mostra aleatória ordenada de tamanho
n com função de distribuição, então, os Estimadores de Mínimos Quadra-
dos (EMQ) para a função de Marshall Olkin, θ̂EMQ , α̂EMQ e β̂EMQ para os
parâmetros θ, α, β são obtidos através da minimização da função:

Mínimos Quadrados

n " #2
X i
S (θ, α, β) = F (ti :n |θ, α, β) − (30)
n+1
i =1

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 19 / 31

Método dos Mínimos Quadrados Ponderados

A linearidade, homocedasticidade, não tendenciosidade, variância mínima

e consistência são algumas das características apresentadas pelo estima-
dor de mínimos quadrados, porém, na prática, nem sempre essas supo-
sições são válidas. Por isso, foram desenvolvidos métodos alternativos
como o estimador de mínimos quadrados ponderados que corrige a falta
de homocedasticidade (variâncias iguais), pois neste método eles são pon-
derados pela precisão da distribuição teórica:

Mínimos Quadrados Ponderados

n #2
(n + 1)2 (n + 2)
"
X i
W (θ, α, β) = F (ti :n |θ, α, β) − (31)
i (n − i + 1) n+1
i =1

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 20 / 31

Simulação

Foram utilizados os seguintes dados para a realização da simulação:

n = 20, 50, 100 e 200;
θ = 1.5, α = 1 e β = 0.5;
B = 1000 amostras.

Passo a passo
1 Gere um vetor u de tamanho 200000 (maior tamanho do vetor n mul-
tiplicado por B) tal que cada U ∼ U (0, 1);
2 Encontre a raiz para F (x ; θ, α, β) − U = 0;
3 Armazene as raízes em uma matriz X de 200 linhas por 1000 colunas.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 21 / 31

Simulação

Linguagem utilizada e solução das equações não lineares

A linguagem de programação R foi utilizada para obter as estimativas de θ,
α e β. Assim, foi usada a função optim para a minimização das equações
não lineares provenientes dos métodos de estimação descritos acima.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 22 / 31

Comparação das Estimativas

v
u
B B
t
1X 1X
BIAS (θ̂) = (θ̂i − θ), RMSE (θ̂) = (θ̂i − θ)2 ,
B B
i =1 i =1
v
u
B B
t
1X 1X
BIAS (α̂) = (α̂i − α), RMSE (α̂) = (α̂i − α)2 ,
B B
i =1 i =1
v
u
B B
t
1X 1X
BIAS (β̂) = (β̂i − β), RMSE (β̂) = (β̂i − β)2 ,
B B
i =1 i =1
B n
1 XX
Dabs = |F (xij |θ, α, β) − F (xij |θ̂, α̂, β̂)|
Bn
i =1 j =1
B
1X
Dmax = max |F (xij |θ, α, β) − F (xij |θ̂, α̂, β̂)| (32)
B j
i =1

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 23 / 31

Comparação das Estimativas

Resultados
1 Os 3 métodos são não tendenciosos, pois quando n aumenta o vício
diminui;
2 Os três métodos também possuem a propriedade de consistência,
pois quando n aumenta a variância vai para zero;
3 Quando o valor de n era pequeno o EMQ e EMQP tiveram melhores
resultados, quando n aumenta o EMV possui melhores resultados.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 24 / 31

Tabelas

Tabela : Resultados da Simulação para n=20

Método EMV EMQ EMQP

n=20
BIAS (θ̂) 6,2042 5,1361 5,7240
BIAS (α̂) 0,2918 0,0760 0,0584
BIAS (β̂) 0,5100 0,2741 0,3488
RMSE (θ̂) 49,8171 15,1168 15,7586
RMSE (α̂) 0,6848 0,6935 0,6880
RMSE (β̂) 5,2246 0,9065 1,0244
Dabs 0,0605 0,0631 0,0607
Dmax 0,1053 0,1061 0,1021

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 25 / 31

Tabelas

Tabela : Resultados da Simulação para n=50

Método EMV EMQ EMQP

n=50
BIAS (θ̂) 3,0117 2,7257 3,8852
BIAS (α̂) 0,1225 0,0279 0,0081
BIAS (β̂) 0,1921 0,1599 0,2469
RMSE (θ̂) 20,6535 7,7743 12,8913
RMSE (α̂) 0,4266 0,5057 0,4864
RMSE (β̂) 1,8273 0,5137 0,8068
Dabs 0,0362 0,0382 0,0366
Dmax 0,0625 0,0656 0,0626

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 26 / 31

Tabelas

Tabela : Resultados da Simulação para n=100

Método EMV EMQ EMQP

n=100
BIAS (θ̂) 1,6714 2,0147 2,0702
BIAS (α̂) 0,0461 -0,0116 -0,0238
BIAS (β̂) 0,1057 0,1270 0,1365
RMSE (θ̂) 11,3129 5,6053 6,4101
RMSE (α̂) 0,3059 0,3927 0,3548
RMSE (β̂) 0,7647 0,3922 0,4462
Dabs 0,0259 0,0277 0,0265
Dmax 0,0442 0,0476 0,0451

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 27 / 31

Tabelas

Tabela : Resultados da Simulação para n=200

Método EMV EMQ EMQP

n=200
BIAS (θ̂) 0,7989 1,4981 1,1882
BIAS (α̂) 0,0142 -0,0374 -0,0267
BIAS (β̂) 0,0482 0,1017 0,0735
RMSE (θ̂) 5,0318 4,1335 4,5252
RMSE (α̂) 0,2298 0,3192 0,2717
RMSE (β̂) 0,3259 0,3040 0,2784
Dabs 0,0178 0,0192 0,0182
Dmax 0,0304 0,0335 0,0313

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 28 / 31

Conclusão

Conclusão
O trabalho apresentou a solução para prolemas de Mínimos Quadra-
dos Não Lineares, pois em casos reais, dificilmente será possível uti-
lizar Mínimos Quadrados Lineares.
Quando se tem poucos dados, foi também possível observar que o
Método dos Mínimos Quadrados foi mais eficiente.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 29 / 31

References

F. J. Leader (2004)
Numerical Analysis and Scientific Computation
Pearson Addison Wesley.

R. Q. Lima, R. Sampaio (2009)

Identificação de parâmetros pelo Método dos Mínimos Quadrados não linear
Iniciação Científica, Pontífice Universidade Católica, Rio de Janeiro, RJ

A. W. Marshall, I. A. Olkin (1997)

A. W. Marshall, I. A. Olkin, A new method for adding a parameter to a family of distri-
butions with application to the exponential and Weibull families
Biometrika 84(3), 641 – 652.

J. Mazucheli, A. P. J. do Espirito Santo (2014)

Comparison of estimation methods for the Marshall-Olkin extended Lindley distribution

Journal of Statistical Computation and Simulation 85(17), 3437 – 3450.

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 30 / 31

References

R. M. Smith, L. J. Bain (1975)

An Exponential-Power Life-Testing Distribution
Journal of Statistical Computation and Simulation 4, 469 – 781.

L. N. Trefethe, D. Bau III (1997)

Numerical Linear Algebra
SIAM: Society for Industrial and Applied Mathematics.

R Development Core Team (2015)

A language and environment for statistical computing
R Foundation for Statistical Computing, Vienna, Austria. [Link]

Juan e Guilherme (FCT-UNESP) Mínimos Quadrados Não Linear 8 de dezembro de 2015 31 / 31