^p^p
Módulo 1
Transcripciones
Video 1.3: A Review of the Four Stages Centered on Natural Language Processing (NLP) (04:24)
Alejémonos ahora de la visión artificial y exploremos como ejemplo otra área que también está experimentando un
gran progreso, el procesamiento del lenguaje natural. La inteligencia artificial que podemos querer incluir En
nuestro diseño puede estar relacionada a una o varias tareas de lenguaje natural, al igual que sucedió con la visión
artificial. En el caso concreto del lenguaje natural, hay muchas tareas que nos pueden interesar, como la traducción
de documentación profesional o la anotación de noticias, describir palabras en una escena determinada o en una
hoja de cálculo, resumir un documento largo en unas pocas frases, rellenar formularios de peticiones específicas
de clientes, etcétera.
El campo del lenguaje natural ha experimentado muchos avances hacia algunas de estas y otras tareas, y algunas
funciones básicas necesarias, como lo que se denomina reconocimiento de entidades con nombre o el etiquetado
posicional están prácticamente resueltos, como más allá del rendimiento humano, y estamos alcanzando un
rendimiento de nivel humano en muchas de estas tareas. Y lo que es mejor, también hay excelentes progresos en
tareas más elaboradas, como el análisis de sentimientos o resolución coherente, identificación de expresiones,
refiriéndose a una entidad dada en un sentido de texto o palabra, desambiguación y análisis sintáctico, y muchas
otras. La combinación de todos estos avances ha hecho progresar enormemente servicios como la traducción
automática. Lo que sigue siendo realmente difícil son las cosas que se relacionan con la comprensión de la historia
como solía llamarlo Patrick Winston, o conversaciones longitudinales como tener un dialecto continuo que incluya
preguntas y responder como un niño de 5 años será capaz de hacerlo. Esto todavía es muy difícil. El estado del
arte en PNL incluye avances como Transformers, que pueden tener aplicaciones muy generales.
Un ejemplo de ello es GPT 3, que en su momento fue el mayor ejemplo de inversión en términos de esfuerzo y
tiempo de diseño y aprendizaje, que se formó básicamente casi sobre todo el texto escrito disponible. Piénsalo,
cualquier cosa que los humanos hayan escrito se le dio al sistema. Se convirtió en el modelo más grande en
términos de parámetros con más de 50.000 millones de ellos. Eso es más que los habitantes del planeta requieren
solo en electricidad para funcionar. La computadora tiene más de 5 millones para entrenar el modelo. Y haremos
algunos ejercicios y casos que lo utilizan como parte de esta clase en este módulo y en otros más adelante. Puedes,
por ejemplo, jugar con él y verás cómo completa una serie de frases. Y de nuevo, siempre es el mismo sistema.
Es una caja de herramientas. Le das una frase como por ejemplo un número de palabras Y de hecho completa la
frase. Puedes ver un ejemplo de una lista de compras, cómo completa una lista de la compra. Tienes una serie de
artículos en tu lista de compras. y completa el cuarto punto. Dice "yo tomé leche" y luego completa toda una historia
a partir de ella. Otro ejemplo, puedes empezar una noticia y crea noticias falsas que suenan bastante reales, muy
a menudo indistinguibles de un texto escrito por humanos. Puede explorar muchos usuarios relacionados con su
propio negocio. Intenté, por ejemplo, diseñar una nueva clase. Dije que voy a diseñar una clase de introducción a
la informática para estudiantes de primer año, y completó todo el diseño. Él inventó horarios, políticas, política de
calificaciones, horarios de exámenes, etcétera. Y desde que se lanzó GPT 3, hay una carrera por hacer modelos
más grandes y mejores, con el correspondiente aumento de las inversiones por factores de 10 de una generación
a la siguiente. Incluso hay propuestas de inversiones de un billón de dólares. Más adelante en el programa, vamos
a hacer una inmersión profunda en grandes modelos de lenguaje como ChatGPT. Esto incluirá la revisión de la
arquitectura técnica de un transformador y cómo influye en las cuatro etapas del proceso de diseño de la IA.
Veremos que a los Transformers parece irles bien con comprensión de la historia y de hecho son muy buenos
inventando sus propias historias, pero tienen serias limitaciones en cosas básicas como contar, cosas que cualquier
estudiante de secundaria puede hacer sin esfuerzo. Pasemos ahora a la segunda etapa.
Designing and Building AI Products and Services 1