Análisis Discriminante

José A. Perusquía Cortés

Análisis Multivariado Semestre 2024 - I

 Introducción

‣ Sabiendo que un objeto viene de uno de k grupos distintos se busca:

- Asignar el objeto utilizando p características

- La regla de asignación sea óptima en algún sentido

‣ Cuatro casos a considerar:

- La distribución es conocida (prácticamente imposible en la realidad)

- La distribución es conocida salvo algunos parámetros
- La distribución es parcialmente conocida
- La distribución es desconocida
Distribución conocida (2 grupos)
 Formulación
‣ Suponemos:

- 2 grupos con proporciones π1 y π2 = 1 − π1 y densidades f1 y f2

- Asignamos al grupo Gi si x ∈ Ri con R1 ∪ R2 = R

‣ Se puede cometer el error de:

- Asignar x a G2 cuando x ∈ G1 (o viceversa)

- Las probabilidades de error se de nen como

∫R ∫R
P(2 ∣ 1) = f1(x)dx P(1 ∣ 2) = f2(x)dx
2 1

- La probabilidad de mis-clasi cación es:

p = P(1 ∣ 2)π2 + P(2 ∣ 1)π1
fi
fi
 Formulación

Lemma

∫R
La integral g(x)dx se minimiza con respecto a R1 cuando R1 = R01 = {x : g(x) < 0}
1

Observaciones

- La región R01 no es única

- Los puntos frontera B = {x : g(x) = 0} se pueden asignar arbitrariamente a R01 o a R02
 Criterios de asignación
a. Minimizar la probabilidad total de mis-clasi cación

- La probabilidad total de error es

∫R [
p = P(1 ∣ 2)π2 + p(2 ∣ 1)π1 = π1 + π2 f2(x) − π1 f1(x)] d(x)
1

- Se minimiza en R01 = {x : π2 f2(x) − π1 f1(x) < 0}

- Asignar a G1 si

f1(x) π2
>
f2(x) π1
fi
 Criterios de asignación
b. Maximizar la función de verosimilitud

- Si π1 es desconocida

- Asignar a G1 si

f1(x)
>1
f2(x)

- Caso particular de a. con

1
π1 = π2 =
2
 Criterios de asignación
c. Minimizar el costo de mis-clasi cación

- Sean C(1 ∣ 2), C(2 ∣ 1) los costos de clasi car mal a los miembros de G1, G2

- El costo total esperado es:

CT = C(2 ∣ 1)P(2 ∣ 1)π1 + C(1 ∣ 2)P(1 ∣ 2)π2

- CT se minimiza cuando C(1 ∣ 2)π2 f2(x) < C(2 ∣ 1)π1 f1(x)

- Asignamos a G1 si
f1(x) π2C(1 ∣ 2)
>
f2(x) π1C(2 ∣ 1)
fi
fi
 Criterios de asignación
d. Maximizar la probabilidad posterior

- La probabilidad posterior de Gi dado x = x0

fi(x0)πi
qi(x0) =
f1(x0)π1 + f2(x0)π2

- Asignamos a G1 si

q1(x) > q2(x)

 Criterios de asignación
e. Minimax

- Si π1 < < π2 asignar un objeto para minimizar la máxima probabilidad individual de mis-
clasi cación

- Para α ∈ [0,1] se tiene que max{P(1 ∣ 2), P(2 ∣ 1)} ≥ (1 − α)P(2 ∣ 1) + αP(1 ∣ 2)

- Se minimiza cuando
f1(x) α
> =c
f2(x) 1 − α

- A c se puede elegir de tal forma que en R01 se cumpla P0(1 ∣ 2) = P0(2 ∣ 1)

fi
 Ejemplo 1
Sea fi = Np(μi, Σ)

- Asignamos a G1 si

[ ] ( π2 )
T −1 1 π1
D(x) = (μ1 − μ2) Σ x − (μ1 + μ2) > log
2

- Las probabilidades de mis-clasi cación son:

log [ π ] − log [ π ] −
π2 1 2 π1 1 2
2
Δ 2
Δ
1 2
P(2 ∣ 1) = Φ P(1 ∣ 2) = Φ
Δ Δ

- El caso π1 = π2 fue estudiado por Fisher (1936)

- En R en la librería MASS existe función lda()

fi
Ejemplo 1
 Ejemplo 2

Sea fi = Np(μi, Σi)

- Asignamos a G1 si

( π1 )
1 T −1 π
Q(x) = c0 − [x (Σ1 − Σ2 )x − 2x (Σ1 μ1 − Σ2 μ2)] > log
−1 T −1 −1 2
2

- La función ahora es cuadrática en lugar de lineal como D(x)

- En R en la librería MASS existe función qda()

Ejemplo 1
Ejemplo 1
Parámetros Desconocidos
 Metodología
- Sea fi(x ∣ θi) la densidad del grupo Gi con parámetros (desconocidos) θi y una muestra de
cada grupo

- Obtener θî (e.g. máximos verosímiles)

- La región óptima del grupo G1 es

f1 (x ∣ θ1̂ )
R̂01 = x: >c
f2 (x ∣ θ2̂ )

- Para n > > 1 se tiene que R̂ 01 ≈ R01

 Errores

Como en el caso de θi conocidos se deben considerar los siguientes errores de clasi cación

- Error óptimo

∫R
eopt = π1e1,opt + π2e2,opt, ei,opt = fi(x ∣ θi)dx
0j

- Error actual

∫R̂
eact = π1e1,act + π2e2,act, ei,act = fi(x ∣ θi)dx
0j

fi
 Estimación de los errores
- Usando θî

∫R̂
̂ =
ei,act fi(x ∣ θî )dx
0j

- Errores aparentes usando los elementos mal clasi cados mi

mi
ei,app =
ni
- Validación cruzada
ai
ei,val =
ni
- Bootstrap: Usando los mal clasi cados originales m*
i
, y los mal clasi cados del remuestreo

bajo la nueva regla m**

i
mi (m**
i − m*
i )
ei,boot = + d¯i d¯i =
ni ni
fi
fi
fi
Discriminación Logística
 Metodología

- El modelo logístico asume que

[ f2(x) ]
f1(x) T
log =α+β x

T
- Asignamos a G1 si α + β x > log(π2 /π1)

- Las probabilidades posteriores son

T
exp[α + log(π1 /π2) + β x]
q1(x) = q2 = 1 − q1
exp[α + log(π1 /π2) + β T x] + 1
 Ventajas

- Estimar menos parámetros

- No necesitamos especi car las densidades de cada grupo

- Muchas familias satisfacen la relación lineal

- Particularmente útil para diagnósticos

fi
Distribuciones Desconocidas
 Método del Kernel
- Estimar f(x) a partir de los datos como

n
̂ = 1
n∑
f(x) K(x ∣ xj, λ)
j=1

- Donde K(y ∣ z, λ) es un kernel o una densidad con moda z y parámetro de suavidad λ

- Asignar a G1 si

f 1̂ (x) π2
>
f 2̂ (x) π1
 Ejemplos

- Para datos continuos

[ 2λ 2 ]
2 p
−2 1
−2 1 T −1
K1(y ∣ z, λ) = (2πλ ) ∣S∣ exp (y − z) S (y − z)

- Para datos binarios se sugiere (Aitchison y Aitken, 1976)

p−D(y,z) D(y,z) 1 2
K2(y ∣ z, λ) = λ (1 − λ) ≤λ≤1 D(y, z) = ∣ ∣ y − z ∣ ∣
2

- Para mezclas de continuos y discretos

K3(y ∣ z, λ) = K1(y ∣ z, λ)K2(y ∣ z, λ)

 Otros métodos

- Vecino más cercano

- Particiones

- Distancias

- Rangos
Más de 2 grupos
 Formulación

‣ Suponemos: k grupos con proporciones πi con densidades fi

‣ Queremos encontrar partición ℛ = {R1, R2, …, Rk} y asignar a Gi si x ∈ Gi

‣ La probabilidad de asignar a Gj cuando viene de Gi

∫R
P( j | i) = fi(x)dx
j

‣ La probabilidad de clasi car mal a un elemento de Gi

k

∑
P(i) = P( j | i) = 1 − P(i | i)
j≠i
fi
 Formulación

‣ La probabilidad total de mis-clasi cación

k k

∑ ∑
P(ℛ, f) = πP(i) = 1 − πiP(i | i)
i=1 i=1

‣ Usamos el enfoque bayesiano, i.e., asignar al grupo con mayor probabilidad posterior

πi fi(x)
qi(x) = k
∑j=1 πj fj(x)

‣ Los puntos frontera se asignan de forma arbitraria

fi
Ejemplo: Iris
 Ejemplo: Iris

‣ Los vectores de medias

̂ = (3.428 , 5.006)
μset ̂ = (2.770 , 5.936)
μver ̂ = (2.974 , 6.588)
μvir

‣ Las matrices de covarianzas

(0.09920.1242) (0.08510.2664) (0.09370.4043)

̂ = 0.14360.0992 ̂ = 0.09840.0851 ̂ = 0.10400.0937
Sset Sver Svir

‣ Asumiendo que son la misma tomamos la varianza compartida

(0.0927 0.2650)
49
( )
̂ ̂ ̂ ̂ 0.1153 0.0927
Sp = S set + Sver + S vir =
147
 Ejemplo: Iris
‣ Asignamos a setosa en lugar de versicolor si

[ ]
1
D(x) = (μset ̂ ) Sp̂ x − (μset
̂ − μver T −1
̂ + μver
̂ ) = 5.1528 − 7.6574x1 + 11.8557x2 > 0
2
 Ejemplo: Iris
‣ Asignamos a setosa en lugar de virginica si

[ ]
1
D(x) = (μset ̂ ) Sp̂ x − (μset
̂ − μvir T −1
̂ + μvir
̂ ) = 20.3612 − 10.2914x1 + 12.1465x2 > 0
2
 Ejemplo: Iris
‣ Asignamos a versicolor en lugar de virginica si

[ ]
1
D(x) = (μver ̂ ) Sp̂ x − (μver
̂ − μvir T −1
̂ + μvir
̂ ) = 15.2084 − 2.5621x1 + 0.2908x2 > 0
2
 Ejemplo: Iris

‣ Todas las regiones

 Ejemplo: Iris

‣ Simpli cando las regiones

fi