Abstract: Bueno, el artículo, en resumen, tiene como origen el uso de
los programas o algoritmos de inducción de árboles, considerando la
popularidad que han tenido gracias a su rapidez y efectividad para
construir modelos de clasificación basada en la probabilidad. Sin
embargo, se han identificado ciertos resultados de estimaciones de
probabilidad deficientes, que, acompañado con falta de análisis
experimentales, surge la pregunta: ¿Cómo se pueden mejorar las
estimaciones de probabilidad generadas por los árboles de decisión para
producir clasificaciones más precisas basadas en probabilidades? De
esta forma, este artículo se divide en 3 partes, se analizan las
deficiencias del árbol de decisión para la estimación de probabilidad, se
otorgan resultados de experimentos con ciertos métodos para mejorar
calidad de clasificaciones (corrección de Laplace y método bagging) y se
dan conclusiones de mejora para el uso de PET. (Probability Estimation
Trees)
Hallazgos y aportes:
*Deficiencias del PET: Con respecto a los hallazgos y aportes
identificados en este artículo, los dividimos iniciando por los problemas
en los árboles de estimación de probabilidades PET, donde el artículo
hace una metáfora en porque las mascotas se comportan mal,
refiriéndose al porque los algoritmos de inducción de árboles no dan
resultados satisfactorios. Se identifica primero los problemas base de las
técnicas estándar como las heurísticas de poda, donde se eliminan
ciertas ramas de un árbol de decisión después de que ha sido construido
con el fin de simplificarlo y buscar maximizar la precisión de las
clasificaciones, pero en realidad se genera un sesgo hacia árboles más
pequeños, que afectan la exactitud y la calidad de las estimaciones.
(tendencia histórica a que árbol más pequeño= árbol más preciso.
Igualmente, la falta de prioridad a las probabilidades donde se da más
importancia a reducir los errores de clasificación, más que en obtener
una buena/real representación de las probabilidades, los algoritmos
ignoran aspectos cruciales que afectan cómo se forman las hojas del
árbol y disminuyen la calidad de las estimaciones de probabilidad. En los
resultados, se identifica que el artículo concluye que al deshabilitar la
poda en ciertos algoritmos (como e C4.4), se generan árboles más
grandes que pueden ajustarse mejor a la función de probabilidad de
clase verdadera. Así, se subraya que los árboles más grandes, al
contener más información, podrían ofrecer mejores estimaciones,
aunque se considere que su tamaño no es necesario para maximizar la
precisión.
*Mejora de la calidad de PET: con la metáfora de “Entrenar mascotas
bien educadas”, se enfatiza que los métodos de suavizado y bagging
son esenciales para mejorar la calidad de las estimaciones. Se identifica
la corrección de Laplace como fundamental al mejorar las estimaciones
de probabilidad en conjuntos de datos pequeños, al suavizar las
estimaciones de probabilidad, evitando que estas probabilidades se
aproximen a cero en casos subrepresentados, otorgándoles una
probabilidad mínima, mejorando así la fiabilidad de las clasificaciones. Al
igual, se considera esencial una técnica de ensamblaje de
probabilidades mediante bagging ("Bootstrap Aggregating", construir
múltiples modelos, árboles de decisión, a partir de diferentes
subconjuntos de datos, ayuda a reducir la varianza al promediar
múltiples estimaciones de probabilidad. Los resultados del experimento
revelaron que, en ninguno de los veinticinco conjuntos de datos
analizados, el bagging degradó la calidad de las estimaciones,
mostrando efectividad constante.
Por último, el estudio aporta hallazgos sólidos sobre como los PET
pueden alcanzar o incluso superar a otras técnicas como la regresión
logística en la estimación de probabilidades y que mediante el uso de
corrección de errores y técnicas de aprendizaje conjunto (como bagging)
pueden revertir el déficit que tenían al fomentar una estimación más
precisa a partir de grandes volúmenes de datos.