ESTIMAÇÃO ROBUSTA DA LOCALIZAÇÃO E DA ESCALA DE UMA POPULAÇÃO
TÓPICOS DE ESTUDO INDIVIDUAL
Estimação robusta da localização de uma população: mediana versus média
Estimação robusta da dispersão de uma população: semi-amplitude inter-quartis versus
desvio-padrão
Procurar fontes (bibliografia, sítios na internet, etc.) onde estudar os assuntos a investigar.
Possível ponto de partida: consultar (da bibliografia indicada para apoio na UC)
PESTANA, D.; VELOSA, S. (2006), Secção 2.3 Localização e Escala, páginas 106 a 118
Tenha-se em atenção que na referência anterior são referidos “quartais” em lugar de
“quartis”. Não se pretende a aprendizagem da noção de quartal; com efeito, a leitura pode
ser feita com a noção de quartil em lugar de quartal, já que todas as propriedades se
mantêm e são noções muito próximas. Na grande maioria dos casos, os quartais coincidem
com os quartis.
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 17
LIMITES PARA IDENTIFICAÇÃO DE OUTLIERS
X v.a. com distribuição F: E(X) = , Var(X) = 2
Para a maior parte das distribuições F importantes,
p = P( |X – |/ < 3) = P( – 3 < X < + 3 ) é muito elevada.
(Desigualdade de Chebyshev P( |X – |/ < 3) ≥ 1 – 1/32 = 8/9 ≈ 0,8889 = 88,89%)
(Normal: p ≈ 99,7%; Exponencial: p ≈ 98,2%; Uniforme: p = 100%; Poisson: p ≈ 99,6% ...)
x1, ...., xn a.o. de dimensão n – espera-se que ≈ n(1–p) observações estejam fora do intervalo
( – 3 , + 3 )
Tomando as “melhores” estimativas de e ,
1 n 1
̂ = x = åi =1 x i å
n
e ̂ = s = ( x i - x )2 ,
n n -1 i =1
espera-se, igualmente, que ≈ n(1–p) observações estejam fora do intervalo
( x – 3 s, x + 3 s )
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 18
LIMITES PARA IDENTIFICAÇÃO DE OUTLIERS
Considerando estimativas “robustas” (resistentes a outliers/observações extremas) de e ,
e ,
continua a ser esperado que ≈ n(1–p) observações estejam fora do intervalo
( Q1/2 – 3 H/2; Q1/2 + 3 H/2 ) = ( Q1/2 – 1,5 H; Q1/2 + 1,5 H )
Diversas razões – assimetria e achatamento de F, propriedades de e , etc. – levam a que
se tomem limites mais “alargados” e que se considerem como outliers na amostra as
observações que estejam fora do intervalo
( Q1/4 – 1,5 H; Q3/4 + 1,5 H )
Os limites do intervalo anterior chamam-se Limites/Barreiras de Outliers:
Q1/4 – 1,5 H Limite Inferior – LI (ou Barreira Inferior – BI)
Q3/4 + 1,5 H Limite Superior – LS (ou Barreira Superior – BS)
As observações fora do intervalo (LI, LS) designam-se por outliers (na amostra) ou candidatos
a outliers (na população).
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 19
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
Boxplot / Box-and-whiskers / Caixa-com-bigodes simples
Existem diversas versões para a construção do diagrama Boxplot mas a mais informativa
requer o cálculo dos pontos adjacentes aos limites de outliers: os valores mais extremos da
amostra que não estão fora do intervalo (LI, LS):
Ponto Adjacente Inferior (AI)
menor valor da amostra não inferior a LI: AI = min { xi ≥ LI , i = 1, ..., n}
Ponto Adjacente Superior (AS)
maior valor da amostra não superior a LS: AS = max { xi ≤ LS , i = 1, ..., n}
O diagrama é constituído por uma “caixa”, por um par de “bigodes” e, eventualmente, por
alguns outros elementos.
A “caixa” representa o intervalo ( Q1/4, Q3/4), onde estão ≈50% das observações, e dentro
desta representa-se a mediana, Q1/2.
Os “bigodes” representam o intervalo (AI, AS), onde estão ≈100p% das observações.
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 20
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
As eventuais observações que estejam fora do intervalo (AI, AS) designam-se por outliers
(inferiores ou superiores) e são representadas, na maior parte dos casos, com “*”.
Um diagrama boxplot tem, tipicamente, o seguinte aspecto:
AI
AI QQ1/4
1/4 QQ1/2
1/2 Q3/4
Q
3/4 AS
AS
Note-se que no caso de não existirem outliers, o boxplot coincide com o diagrama de
extremos e quartis.
A representação em boxplot permite colocar hipóteses sobre a simetria, dispersão,
comportamento das caudas, etc., da distribuição da população em estudo.
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 21
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
Exemplo: Representação em boxplot dos ordenados anuais (em milhares de euros) de 20
jogadores, escolhidos ao acaso, das primeiras ligas de futebol Europeias
135 140 145 190 196 200 205 210 240 265
325 335 390 400 412 420 435 610 760 850
n = 20: n/2 = 10 é par Q1/2 = (x(10) + x(11))/2 = (265 + 325)/2 = 295
n/4 = 5 é inteiro Q1/4 = (x(5) + x(6))/2 = (196 + 200)/2 = 198
Q3/4 = (x(15) + x(16))/2 = (412 + 420)/2 = 416
H = Q3/4 – Q1/4 = 416 – 198 = 218 1,5H = 327
BI = Q1/4 – 1,5H = –129 AI = x(1) = 135 Não existem outliers inferiores
BS = Q3/4 + 1,5H = 743 AS = x(18) = 610 x(19) = 760 e x(20) = 850 são outliers superiores
135 198 295 416 610
Salário Anual (K€ )
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 22
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
Boxplot / Box-and-whiskers / Caixa-com-bigodes paralelos
Uma das grandes vantagens do boxplot emerge quando se pretendem comparar diversas
amostras. Nesse caso, pode proceder-se a uma representação das diversas amostras
observadas num mesmo referencial e utilizando os chamados boxplot paralelos.
Usualmente os boxplot paralelos representam-se por ordem crescente das respectivas
medianas, para mais facilmente se percepcionar as diferenças entre as localizações das
diversas amostras.
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 23
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
Exemplo: Comparação da medida interorbital (em mm) de duas espécies de pombos
domésticos, obtida em 20 pombos (escolhidos ao acaso) de cada espécie.
Espécie 1 Espécie 2
10,5 11,8 10,2 11,3
10,7 11,8 10,4 11,6
11,1 11,8 10,4 11,6
11,1 11,9 10,7 11,7
11,2 11,9 10,7 11,8
11,2 12,2 10,8 11,9
11,3 12,2 10,8 11,9
11,5 12,3 10,9 12,0
11,6 12,9 11,0 12,1
11,6 13,4 11,1 12,4
n Q1/4 Q1/2 Q3/4 1.5H AI AS Outs
Espécie 1 20 11,2 11,7 12,05 1,275 10,5 12,9 13,4
Espécie 2 20 10,75 11,2 11,85 1,65 10,2 12,4 -
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 24
DIAGRAMAS BOXPLOT SIMPLES E PARALELOS
Representação em boxplot paralelos:
Espécie
Espécie 1 1
Espécie
Espécie 2 2
9,5 10 10,5 11 11,5 12 12,5 13 13,5
9,5 10 10,5 11 11,5 12 12,5 13 13,5
Medida interorbital (mm )
Eduardo Severino ESTATÍSTICA NÃO PARAMÉTRICA 25