Tratamiento

Automático de Textos
Introducción
Luis Villaseñor

Laboratorio de Tecnologías del Lenguaje

¿Qué es el lenguaje?

¿Qué deseamos hacer?

¿Cómo vamos a hacerlo?
Importancia e impacto de las
tecnologías del lenguaje

 Las tecnologías del lenguaje

 Áreas de investigación involucradas
 Algunas aplicaciones
 Impacto
 Importancia del Español
 ¿y el Procesamiento del Lenguaje Natural?
Tecnologías del Lenguaje
 Tecnologías orientadas al tratamiento del medio
de transmisión de información más complejo:
el lenguaje humano.
Tecnologías del Lenguaje
 El lenguaje humano se manifiesta principalmente
de manera oral y escrita, pero involucra otros
modos de comunicación: ademanes, expresión
facial, sonidos e imágenes.

 Las tecnologías del lenguaje permiten procesar la

comunicación multimodal y los documentos
multimedia.
 Interfaces Gestión de Traducción de
hombre-máquina Información lenguas humanas

Desarrollo de aplicaciones
con capacidad lingüística
 Interfaces Gestión de Traducción de
hombre-máquina Información lenguas humanas

Desarrollo de aplicaciones
con capacidad lingüística

Traducción automática

Reconocimiento de voz
Desarrollo
de Recuperación de
tecnologías información
generadoras
Investigación
Sistemas de diálogo

Reconocimiento de
escritura

Síntesis de voz

Minería de texto

Entendimiento de
lenguaje natural
 Interfaces Gestión de Traducción de
hombre-máquina Información lenguas humanas

Desarrollo de aplicaciones
con capacidad lingüística

Traducción automática
Herramientas de
adquisición de corpus
Reconocimiento de voz
Producción Desarrollo
Corpus Multimodales de de Recuperación de
recursos tecnologías información
Léxicos lingüísticos generadoras
Investigación
Sistemas de dialogo
Gramáticas
Reconocimiento de
escritura
Diccionarios
Morfológicos
Síntesis de voz
Diccionarios de
combinaciones de Minería de texto
palabras
Entendimiento de
lenguaje natural
 Áreas de Investigación 1

 Entrada en lenguaje hablado

 Reconocimiento de voz
 Representación de la señal
 Modelos de lenguaje
 Reconocimiento del hablante

 Entrada en lenguaje escrito

 Análisis de imágenes en documentos
 OCR (imprenta y manuscrita)
 Áreas de Investigación 2

 Análisis del Lenguaje y Entendimiento

 Análisis morfológico
 Formalismos gramaticales
 Semántica

 Discurso y Diálogo
 Modelado del discurso
 Modelado del diálogo
 Diálogo hablado
 Áreas de Investigación 3
 Procesamiento de documentos
 Recuperación de documentos
 Interpretación de textos: extracción de información
 Generación de resúmenes

 Multilingüe
 Traducción automática
 Traducción asistida
 Recuperación de información multilingüe
 Procesamiento de habla multilingüe
 Áreas de Investigación 4
 Multimodalidad
 Texto e imágenes
 Integración multimodal
 habla y gesto
 Movimiento facial y reconocimiento de habla

 Recursos lingüísticos
 Corpus escritos
 Corpus orales
 Léxicos
 Áreas de Investigación 5

 Evaluación
 De herramientas de traducción
 De analizadores sintácticos
 A través de la aceptación del usuario
 Usabilidad
 Calidad de la comunicación oral
Grandes Aplicaciones
 Question answering
 Traducción Automática

 Agentes Conversacionales
Un paréntesis…

(
Importancia del Español
 El español es:
 La cuarta lengua por número de habitantes
 332 millones de personas (país idioma oficial)
 23 millones de personas (país idioma no oficial)
 La cuarta lengua por superficie
 11.9 millones de km2
 México es el país hispano hablante más poblado
 98 millones en México + 20 millones en E.U.A.
El Español en la Red
Lengua materna de usuarios de Internet en 2001
El Español en la Red
Evolución del número de usuarios de Internet
(en millones)

Idioma 2000 2001 E 2005 E Población Penetración

Total en 2005

Español 21 28 85 332 26%

Japonés 39,0 48 105 125 84%

Alemán 22 30 58 98 59%

Francés 17,0 22 38 72 53%

Chino 31 60 250 885 28%

Portugués 11,0 15 40 170 24%

Otros 25 81 132 - -

Inglés 192,9 225 320 500 64%

Total no 211 278 820 5780 15%

ingleses
Total 391 503 1140 6085 18%
El Español en la Red
Número de servidores por dominios hispanohablantes

País Miles de Servidores % incremento 1999-

2000
España (.es) 663,5 59
México (.mx) 559,1 38
Argentina (.ar) 270,2 89
Chile (.cl) 74,7 86
Uruguay (.uy) 54,0 112
Colombia (.co) 46,8 15
Venezuela (.ve) 16,1 13
Perú (.pe) 10,7 16
Costa Rica (.cr) 7,3 --
Puerto Rico (.pr) 1,5 15
Bolivia (.bo) 1,3 36
Cerramos el paréntesis

)
 ¿Qué tan complejo puede ser el
lenguaje humano?

¡Un ser humano se lleva tres años para hablar !

 Al nacer tenemos la capacidad de aprender cualquier idioma

 El primer paso es eliminar esa capacidad

El proceso de aprendizaje nunca termina, por ejemplo

1. La conjugación es correcta aun para los irregulares
2. Generalizan y aplican la regla
3. Manejo de excepciones a partir de su uso
Entender … apenas empezamos
 En el mundo de la ciencia ficción que las
computadoras hablen es “natural”
 HAL 9000 es conciente de su existencia. Odisea 2001.
 C3P0 asistente en actividades diplomáticas. La Guerra de las
Galaxias.
 Robert amar y ser amado. Inteligencia Artificial.

 Para la gente “común y silvestre” las computadoras

que hablan existen
Una probadita...
 ¿Realmente comprendemos los fenómenos del
lenguaje humano?

 Dos tipos de trabajos:

 Descriptivos: las gramáticas tradicionales
 Explicativos: proponen modelos para reproducir el fenómeno en

cuestión
El caso de Venus
Dificultades para describirlos
 Muchas palabras, muchos fenómenos y por lo tanto muchas
reglas
 para el inglés: 400 mil palabras, formas léxicas ~2.107
 Oraciones, cláusulas, frases, constituyentes, coordinación negación,
imperativos, inflexiones, pronunciación, etc.

 Irregularidad (excepciones, excepciones a las excepciones)

árbol >> árboles; foto >> fotos; tabú >> tabúes
gente >> *gentes
la caries
la cacofonía – el águila, el azúcar, etc.
El problema de la ambigüedad
 léxico la palabra
 ayuda: Sustantivo o Verbo
 Ella ayuda a su madre; Su ayuda desinteresada
 sintáctico la oración
 El hombre ve al gato con el telescopio
 Vuelta prohibida a la izquierda entre semana entre 4-6 pm / excepto
vehículos públicos
 semántico el sentido
 Golpeó la mesa con el martillo y se rompió
 pragmático el contexto
 ¿podrías pasarme la sal?
El problema de la ambigüedad
 En América una mujer tiene un niño cada 15 minutos.
 Maldormidos, desnudos, lastimados, caminaron

noche y día durante más de dos siglos.

 Centellea la boca mientras lanza palabras armadas

como ejércitos.
El Presente del indicativo
 Expresa las acciones que coexisten con el acto de la
palabra.

 Sin embargo, el presente es como un punto en

movimiento, que viene del pasado y marcha al
porvenir
por eso, rara vez la acción expresada coincide
estrictamente con el acto de enunciarla.
Algunos de sus usos
 La suma de los ángulos de un triángulo es igual a dos rectos
 Me levanto a las siete; estudio Geografía
 Colón descubre América en el año 1492
 el lunes embarcamos para Buenos Aires
 ¿ compro los periódicos ?; ¿ Me voy ?
 vas con el coordinador, presentas tus papeles y regresas para
firmarlos...
 cuando veas que el guisado hierve, quítalo de la lumbre
¿entonces?
 El uso del presente para enunciar una acción venidera es
común a todas las edades y estratos sociales (su mayor
frecuencia se da en el lenguaje infantil y popular),
de tal forma que el presente es expresión habitual del
futuro, pero no significa transposición de valores temporales

 Así el contexto de interpretación de una oración tiene más

peso que el tiempo de conjugación del verbo, en el caso del
presente.
¿ Están convencidos ?
 Estos ejemplos sólo son unas cuantas muestras de la
complejidad del lenguaje humano
 Dada la dimensión del problema:
 ¿porqué deseamos que una máquina use el lenguaje humano?
Por que…
 Toda actividad (o casi toda) humana involucra el
lenguaje, si deseamos que las máquinas nos asistan
necesitamos que usen el lenguaje

 Una enorme cantidad de conocimiento está disponible en formato

digital en lenguaje natural y es accesible por medios electrónicos
 Los entes computacionales comienzan a incorporarse en la vida
diaria del ser humano
Grandes Aplicaciones
 Question answering
 El experimento de Eric Brill
 Traducción Automática
 Los traductores actuales
 Agentes Conversacionales
 Dos partes:
 Reconocemiento de habla (estadístico)
 Entendimiento !!
Aclaración
 La teorías que tratan de proponer modelos del
entendimiento buscan:
 Que las computadoras realicen tareas útiles e
interesantes involucrando el lenguaje humano.
 Estamos interesados, de manera secundaria, en la
búsqueda de explicaciones sobre como el ser humano
“entiende” el lenguaje.
Ejemplos de Aplicaciones
 Sin entender
 Servicios vía telefónica
 Dictado automático de textos
 Transcripción automática de conversaciones

 Con entendimiento
 Software educativo
 Asistentes inteligentes
 Sistemas conversacionales
Monitoreo de Noticias por TV
 Objetivo:
 Lidiar con grandes cantidades de información multimedia (video)
 Segmentar y categorizar determinados programas de modo que
sea posible acceder al contenido a través de los intereses
individuales definidos por el utilizador
Descripción del sistema
Perfil del utilizador
Temas de interés
Resultados
A notar...
 El proceso no requiere de entender
 La transcripción del audio es la base para la detección

del tema
 Las imágenes están excluidas
 El utilizador no interviene en el proceso de extracción
de noticias
Los sistemas conversacionales
 La máquina es vista como un asistente que ayuda al
utilizador a realizar una tarea
 En ocasiones personalizados

 Involucra cierto nivel de entendimiento

Para entender la orden
 nivel del lenguaje escrito
 gramatical: análisis del texto escrito
 semántico: sentido de la proposición
 pragmático: adecuación al contexto y resolución de referentes
 discursivo: efecto de la intervención sobre el diálogo
 A nivel de la tarea
 resolución de la orden: planeación y ejecución de la acción
Secretaria Virtual
 Objetivo: acordar citas a través del teléfono
 Problemas a abordar:
 Reconocimiento de voz
 Modelado del diálogo
 Planificación
 Generación de voz
Ejemplo de un diálogo
 U: programa una reunión con Luis el próximo viernes a las 3 de tarde
 M: ok, espera
 M: tienes otra reunión a las 3 y media de la tarde
 U: ¿cómo dices?
 M: la reunión con Luis debe ser corta pues a las 3 y media tienes otra
reunión
 U: ¿con quién?
 M: con Aurelio
 U: entonces cambia la reunión con Luis para el lunes
 M: ok, confirmaré con Luis y te aviso
 U: perfecto
Comando de un robot móvil
 Objetivo: utilizar el habla y gestos para comandar un
robot móvil
 Problemas a abordar:
 Reconocimiento de voz
 Reconocimiento de gestos
 Fusión de ambos modos
 Planificación
 Ejecución del plan por el robot
Ejemplo de un diálogo
 U: muévete 2 metros a la derecha
 M: <gira y camina los 2 metros>
 U: ahora ven para acá + gesto con la mano
 M: <gira y camina hacia el hablante>
 U: alto + gesto con la mano
 M: <detiene su movimiento>
Recapitulando...

¿Qué es el lenguaje?

¿Qué deseamos hacer?

¿Cómo vamos a hacerlo?
Enfoques de solución
 Enfoque sintáctico-semántico
 Enfoque estadístico

 No adivines si lo sabes!!
 Morfología, lexicones, diccionarios, en ocasiones frases fijas, reglas
sintácticas(?)
 Usar estadística (basada en datos reales del mundo) para el
manejo de preferencias
 ¿y nada más?
El lenguaje es una característica
propia y exclusiva del ser humano

¿cierto?
El estudio de los procesos cognitivos está fuertemente ligado con
el estudio del lenguaje:
Para hablar necesitamos pensar, para
pensar necesitamos hablar

Gramática: El estudio de la estructura de las palabras, frases y

sentencias.
El lenguaje es una característica
propia y exclusiva del ser humano
Sino la capacidad de comunicación, si el “aspecto creativo” del
lenguaje es único al ser humano
Noam Chomsky ha sido una figura central
en el desarrollo de una teoría gramatical
Los lenguajes naturales contienen secuencias infinitas:
El amigo de mi amigo me dijo...
El amigo de mi amigo de mi amigo me dijo...

¿Cómo explicarlo desde el punto descriptivo tradicional?

La gramática es generativa en el sentido de que

provee una caracterización finita de un conjunto infinito.
El lenguaje es una característica
propia y exclusiva del ser humano

Otro punto la capacidad del ser humano de manejar

un lenguaje es innata
 la pobreza del estímulo

Por lo tanto, detrás de cualquier teoría gramatical

debe existir un conjunto de principios universales

De ahí nace la teoría formal del lenguaje

Teoría formal del lenguaje
• Chomsky argumenta que las habilidades lingüísticas humanas
son capturadas por un sistema complejo de reglas y principios
representados en las mentes de los hablantes.
• El conocimiento del lenguaje y la experiencia están basados en
la sugerencia de que el lenguaje en gran parte no es aprendido
sino biológicamente determinado.
Algunos aspectos relevantes
 Las gramáticas generativas toman los lenguajes como un conjunto de
sentencias
(cadena finita de palabras)

 Una gramática es un sistema finito de reglas para la caracterización de los

elementos de algún lenguaje.
 Una familia general de formalismos para expresar gramáticas son los
llamados sistemas de reescritura


Tipos de gramáticas
Sea G un sistema de reescritura:
Si  es una regla de G, entonces σψτ puede ser derivada a
partir de στ en G, para cualesquier cadena σ τ
Este sistema es conocido como un
“sistema reescribible sin restricciones” o
gramática tipo 0.
Tipos de gramáticas (2)
Esta gramática es excesivamente poderosa probablemente
equivalente a una máquina de Turing (son capaces de
codificar cualquier algoritmo arbitrario).
Sin embargo, no son de interés lingüístico por:
1. Nada dentro del formalismo nos permite distinguir entre un lenguaje
natural y un conjunto arbitrario de cadenas.
2. Son intratables desde el punto de vista computacional.
Tipos de gramáticas (3)
Así que nuestro interés se enfocará en tres tipos de subclases de está
gramática:
• Gramáticas sensibles al contexto
σAτ  σψτ donde A es un símbolo no-terminal y σ, ψ, τ son cadenas arbitrarias de
terminales y no-terminales, con ψ diferente de nulo
• Gramáticas libres de contexto
A  ψ donde A es un símbolo no-terminal y ψ es una cadena no vacía de terminales y no-
terminales
• Gramáticas de estados finitos.
A  x B o A  x donde A y B son símbolos no-terminales y x es una cadena arbitraria de
terminales y no-terminales
¿Y el lenguaje natural?
 Una gramática para estados finitos no es capaz de
capturar expresiones envolventes:
 si ... entonces
 por un lado ... por otro
 Aun lenguajes artificiales necesitan de esto:
 El uso de paréntesis
¿Y el lenguaje natural? (2)
 El caso de las gramáticas libres de contexto es similar pero
más controvertido
 L = { an bncn | n>1}

 Los lingüistas aseguran que se trata de una gramática

dependiente del contexto, arguyendo también razones de
simplicidad y generalidad

Regresaremos a esta discusión más adelante

Gramáticas transformativas
Las gramáticas dependientes del contexto no capturan
generalizaciones importantes:
manejo de la voz pasiva y activa

Tenemos dos niveles:

la estructura superficial – forma
la estructura profunda – fondo

No importa cómo lo digamos la estructura profunda debe ser

igual.
Gramáticas transformativas

Chomsky propone que la estructura gramatical debe ser

aumentada con un conjunto de reglas de transformación
que operen sobre la salida de los sistemas reescribibles
moviendo borrando o insertando material.
Regresamos a la discusión

Actualmente existen dos enfoques:

 Restringir las teorías derivadas de las gramáticas dependientes
del contexto
 Extender las teorías derivadas de las gramáticas independientes
del contexto
En cualquiera de los dos casos:
 el trabajo en la búsqueda de una teoría gramatical pertinente
proveerá elementos para una comprensión indirecta sobre la
naturaleza y organización del aparato cognitivo humano
Procesamiento
del Lenguaje Natural
 ¿Qué busca?
 Que las computadoras realicen tareas útiles e
interesantes involucrando el lenguaje humano.
 Estamos interesados, de manera secundaria, en la

búsqueda de explicaciones sobre como el ser humano

“entiende” el lenguaje.
Principales escuelas de la
Gramática Generativa
 Teoría de Gobierno y enlace – GB
 Gramática Relacional
 Gramática Léxico-Funcional – LFG
 Gramática de Estructura de Frase Generalizada – GPSG
 Gramática Dirigida por Núcleo de Frase – HPSG
 Gramática de Categorías
 Gramática de Árboles adjuntos – TAG
Gramática Dirigida por
Núcleo de Frase – HPSG
 No es una gramática transformacional
 Versión aumentada de las gramáticas libres de contexto
 Incorpora extensiones mínimas para manejar problemas
conocidos
 Descomposición en categorías gramaticales
 Utiliza las estructura atributo-valor para especificar y
unificar las características sintácticas de sus componentes
Niveles de descripción
 6 niveles (más o menos explícitos en todas las teorías)
 Fonética
 Fonología
 Morfología
 Sintaxis
 Semántica
 Pragmática/Lógica/...
 La salida de un nivel es la entrada del próximo nivel superior
 En ocasiones los niveles están entremezclados
Fonética
 Entrada
 Señal acústica
 Salida
 Alfabeto fonético
 Estudia:
 Formación de las consonantes y las vocales en el tracto vocal
 Clasificación de vocales, consonantes por su forma, posición de
la lengua y músculos bucales involucrados
Fonología
 Entrada:
 Secuencia de fonos/sonidos (en un alfabeto fonético)
 Salida:
 Secuencia de fonemas (letras) en un alfabeto abstracto
 Estudia:
 Las relaciones entre sonidos y fonemas (unidades las cuales
tienen una cierta función en el nivel superior)
 Por ejemplo: ocho
Morfología
 Entrada:
 Secuencia de fonemas (letras)
 Salida:
 Secuencia de pares (lema, tag(s))
 Estudia:
 Composición de fonemas en formas léxicas (palabras) a partir de
sus raíces (lema) + categorías morfológicas (inflexión, derivación,
composición).
Sintaxis
 Entrada:
 Secuencia de pares (lema, tags)
 Salida:
 Estructura de la frase (árbol sintáctico) con nodos anotados
(lema, tags, función)
 Estudia:
 La relación de lemas y categorías morfológicas con estructuras de
frase
 Puede usar categorías sintácticas como sujeto, verbo, objeto, etc.
 Por ejemplo:
 (yo/PT1PS) ví/VP1PS un/DI perro/NCS
 ( (yo)FN ( (ví)V ((un)DET (perro)N)FN )FV )S
Semántica
 Entrada:
 Estructura de la frase (árbol sintáctico) con nodos anotados
(lema, tags, función superficial)
 Salida:
 Estructura de la frase (árbol sintáctico) con nodos anotados
(lema&significado, tags, función profunda)
 Estudia:
 Relación entre categorías como sujeto, objeto y categorías
profundas como agente, efecto, etc.
 Por ejemplo:
 Se venden botellas
Pragmática
 Entrada
 Estructura de la frase (árbol sintáctico) con nodos anotados
(lema&significado, tags, función profunda)
 Salida:
 Forma lógica – la cual puede ser evaluada como verdadera o falsa
 Estudia:
 Asignación de objetos del mundo real con los nodos de la
estructura de la frase (resolución de referentes).
 Interpretación de la estructura de frase a partir de un contexto dado
 Por ejemplo:
 Podrías moverlo un poquito más a tu derecha
¿Qué es la sintaxis?
 Cómo se agrupan las palabras
 Una gramática enlista los principios bajo los cuales se
agrupan las palabras, es el conjunto de reglas que
describe que es válido en un lenguaje

 Gramáticas clásicas:
 Pensadas para gente que conoce el lenguaje
 Definiciones y reglas soportadas sólo por ejemplos
 Gramáticas explícitas:
 Descripción formal
 Programables y validadas sobre datos