Introducción al Enmarcado de Problemas

Google

[Link]

1 / 47
Introducción

En Introducción al enmarcado de problemas del aprendizaje automático, aprenderás a

determinar si el aprendizaje automático (AA) es un buen enfoque para un problema y se
explica cómo describir una solución de AA.
Objetivos de aprendizaje
▶ Identificar si el AA es una buena solución para un problema
▶ Aprende a enmarcar un problema de AA.
▶ Comprender cómo elegir el modelo correcto y definir métricas de éxito

2 / 47
Descripción general

El encuadre del problema es el proceso de analizar un problema para aislar los elementos
individuales que deben abordarse para resolverlo. El enmarcado de problemas ayuda a
determinar la viabilidad técnica de tu proyecto y proporciona un conjunto claro de objetivos y
criterios de éxito. Cuando se considera una solución de AA, el encuadre eficaz del problema
puede determinar si el producto tiene éxito o no.

El enmarcado formal de problemas es el comienzo fundamental para resolver un problema de

AA, ya que nos obliga a comprender mejor el problema y los datos para diseñar y construir un
puente entre ellos. - Ingeniero de TensorFlow.

En términos generales, el enmarcado del problema del AA consta de dos pasos distintos:
1. Determinar si el AA es el enfoque adecuado para resolver un problema.
2. Enmarcar el problema en términos de AA.
3 / 47
Comprueba tu comprensión

¿Por qué es importante el enmarcado de problemas?

▶ El enmarcado de problemas ayuda a diagnosticar problemas con los modelos de AA
existentes y a descubrir problemas con los datos.
▶ El encuadre del problema garantiza que un enfoque de AA sea una buena solución al
problema antes de comenzar a trabajar con datos y entrenar un modelo.

4 / 47
Comprende el problema

Para comprender el problema, realiza las siguientes tareas:

▶ Indica el objetivo del producto que estás desarrollando o refactorizando.
▶ Determina si el objetivo se resuelve mejor con AA predictivo, IA generativa o una solución
que no sea de AA.
▶ Verifica que tengas los datos necesarios para entrenar un modelo si usas un enfoque de
AA predictivo.
Indicar el objetivo: Comienza por indicar tu objetivo en términos que no sean del AA.
El objetivo es la respuesta a la pregunta ”¿Qué estoy tratando de lograr?”.

5 / 47
Indicar el objetivo
En la siguiente tabla, se indican claramente los objetivos para apps hipotéticas:
Aplicación Objetivo
App de clima Calcular las precipitaciones en incrementos de seis horas
para una región geográfica.
App de moda Generar una variedad de diseños de camisas.
App de video Recomienda videos útiles.
App de correo electrónico Detecta spam.
App financiera Resume la información financiera de múltiples fuentes de
noticias.
App de mapas Calcula la duración del viaje.
App de banca electrónica Identifica transacciones fraudulentas.
Aplicación de gastronomı́a Identificar la cocina según el menú de un restaurante.
App de comercio electrónico Responde las opiniones con respuestas útiles.
6 / 47
Caso de uso claro para el AA
Algunos ven el AA como una herramienta universal que se puede aplicar a todos los
problemas. En realidad, el AA es una herramienta especializada que se adapta solo a
problemas particulares. No es conveniente implementar una solución de AA compleja cuando
funcionará una más simple que no es de AA.
Los sistemas de AA se pueden dividir en dos categorı́as amplias: AA predictivo y, también, IA
generativa. En la siguiente tabla, se enumeran las caracterı́sticas que lo definen:

Entrada Resultado Técnica de entrenamiento

AA predictivo Texto Imagen Realiza una predicción, por ejem- Por lo general, usa muchos datos
Audio Video plo, puede clasificar un correo para entrenar un modelo de apren-
Numérico electrónico como spam o no, adiv- dizaje supervisado, no supervisado
inar las precipitaciones del dı́a o o por refuerzo a fin de que realice
predecir el precio de una acción. una tarea especı́fica.
Por lo general, el resultado se
puede verificar con la realidad.
7 / 47
 Entrada Resultado Técnica de entrenamiento
IA generativa Texto Imagen Genera resultados en función de la Por lo general, usa muchos datos
Audio Video intención del usuario; por ejemplo, sin etiquetar para entrenar un
Numérico al resumir un artı́culo o producir modelo de lenguaje extenso o un
un clip de audio o un video corto. generador de imágenes a fin de
completar los datos faltantes. El
modelo se puede usar para tareas
que se pueden enmarcar como tar-
eas de completar los espacios en
blanco, o se puede ajustar entre-
nando con datos etiquetados para
alguna tarea especı́fica, como la
clasificación.

Para confirmar que el AA es el enfoque correcto, primero verifica que tu solución actual que
no es de AA esté optimizada. Si no tienes implementada una solución que no sea de AA,
intenta resolver el problema de forma manual mediante una heurı́stica.
8 / 47
La solución que no es de AA es la comparativa que usarás para determinar si el AA es un buen
caso de uso para tu problema. Ten en cuenta las siguientes preguntas cuando compares un
enfoque que no sea de AA con uno de AA:
▶ Calidad. ¿Cuánto mejor cree que puede ser una solución de AA? Si crees que una
solución de AA podrı́a ser solo una pequeña mejora, eso podrı́a indicar que la solución
actual es la mejor.
▶ Costo y mantenimiento. ¿Qué tan costosa es la solución de AA a corto y largo plazo? En
algunos casos, cuesta mucho más en términos de recursos de procesamiento y tiempo
para implementar el AA. Ten en cuenta las siguientes preguntas:
▶ ¿La solución de AA puede justificar el aumento en el costo? Ten en cuenta que las pequeñas
mejoras en los sistemas grandes pueden justificar con facilidad el costo y el mantenimiento
de la implementación de una solución de AA.
▶ ¿Cuánto mantenimiento requerirá la solución? En muchos casos, las implementaciones de
AA necesitan mantenimiento dedicado a largo plazo.
▶ ¿Tu producto tiene los recursos para apoyar la capacitación o la contratación de personas
con experiencia en AA?.
9 / 47
Comprueba tu comprensión

¿Por qué es importante tener una solución o una heurı́stica que no sea de AA antes
de analizar una solución de AA?
▶ Una solución que no es de AA ayudan a determinar cuánto costará una solución de AA.
▶ Una solución que no es de AA es la comparativa con la que se debe medir una solución
de AA.

10 / 47
AA y datos predictivos

Los datos son la fuerza motriz del AA predictivo. Para realizar buenas predicciones, necesitas
datos que contengan funciones con poder predictivo. Tus datos deben tener las siguientes
caracterı́sticas:
Abundante Cuantos más ejemplos útiles y relevantes en tu conjunto de datos, mejor será tu
modelo.
Coherentes y confiables Tener datos que se recopilen de manera coherente y confiable
producirá un mejor modelo. Por ejemplo, un modelo meteorológico basado en el
AA se beneficiará de los datos recopilados durante muchos años de los mismos
instrumentos confiables.
Confiable Comprende de dónde vendrán tus datos. ¿Serán los datos de fuentes de
confianza que controlas, como los registros de tu producto, o serán de fuentes de
las que no tienes mucha información, como la salida de otro sistema de AA?

11 / 47
 Disponible Asegúrate de que todas las entradas estén disponibles en el momento de la
predicción en el formato correcto. Si es difı́cil obtener ciertos valores de atributos
en el momento de la predicción, omite esos atributos de tus conjuntos de datos.
Correcto En conjuntos de datos grandes, es inevitable que algunas etiquetas tengan
valores incorrectos, pero si más de un pequeño porcentaje de etiquetas son
incorrectos, el modelo producirá predicciones deficientes.
Representante Los conjuntos de datos deben ser lo más representativos posible del mundo
real. En otras palabras, los conjuntos de datos deben reflejar con precisión los
eventos, los comportamientos de los usuarios o los fenómenos del mundo real
que se modela. El entrenamiento en conjuntos de datos no representativos puede
causar un rendimiento deficiente cuando se le pide al modelo que haga
predicciones del mundo real.
”Si no puedes obtener los datos que necesitas en el formato requerido, el modelo
realizará predicciones deficientes”.
12 / 47
Poder predictivo

Para que un modelo haga buenas predicciones, los atributos de tu conjunto de datos deben
tener poder predictivo. Cuanto más correlacionado esté un atributo con una etiqueta, más
probable será que lo prediga.
Algunas funciones tendrán más poder predictivo que otras. Por ejemplo, en un conjunto de
datos del clima, los atributos como cloud coverage, temperature y dew point serı́an
mejores predictores de lluvia que moon phase o day of week. Para el ejemplo de la app de
video, puedes suponer que funciones como video description, length y views podrı́an ser
buenos predictores de los videos que un usuario querrı́a mirar.
Ten en cuenta que el poder predictivo de un componente puede cambiar debido a que cambia
el contexto o el dominio. Por ejemplo, en una app de video, una función como upload date
podrı́a, en general, estar correlacionadamente débil con la etiqueta. Sin embargo, en el
subdominio de videos de juegos, upload date puede estar estrechamente correlacionado con
la etiqueta.
13 / 47
Determinar qué atributos tienen poder predictivo puede ser un proceso lento. Puedes explorar
de forma manual el poder predictivo de un atributo si lo quitas y lo agregas mientras entrenas
un modelo. Puedes automatizar la búsqueda del poder predictivo de un atributo mediante
algoritmos como la correlación de Pearson, la información mutua ajustada (AMI) y el
valor de Shapley, que proporcionan una evaluación numérica para analizar el poder predictivo
de un atributo.

14 / 47
Comprueba tu comprensión

Cuando analizas tus conjuntos de datos, ¿cuáles son los tres atributos clave que debes
buscar?
▶ Representativos del mundo real .
▶ Se recopila de una variedad de fuentes impredecibles.
▶ Es lo suficientemente pequeño como para cargarse en una máquina local.
▶ Los elementos tienen poder predictivo para la etiqueta.
▶ Contiene valores correctos.

Si deseas obtener más información sobre el análisis y la preparación de tus conjuntos de datos,
consulta Preparación de datos e ingenierı́a de atributos para el aprendizaje automático.

15 / 47
Predicciones frente a acciones

Predecir algo no tiene valor si no puedes convertirlo en una acción que ayude a los usuarios.
Es decir, tu producto debe tomar medidas a partir del resultado del modelo.
Por ejemplo, un modelo que predice si a un usuario le resultará útil un video deberı́a enviar un
feed a una app que recomiende videos útiles. Un modelo que predice si lloverá debe alimentar
una app meteorológica.

16 / 47
Comprueba tu comprensión
En función de la siguiente situación, determina si el uso del AA es el mejor enfoque
para el problema.
Un equipo de ingenierı́a de una gran organización es responsable de administrar las llamadas
telefónicas entrantes.
Objetivo: Informar a los emisores cuánto tiempo esperarán en espera según el volumen de
llamadas actual.
No tienen una solución, pero creen que una heurı́stica serı́a dividir la cantidad actual de
clientes que están en espera por la cantidad de empleados que responden teléfonos y, luego,
multiplicarla por 10 minutos. Sin embargo, saben que algunos clientes resuelven sus problemas
en dos minutos, mientras que otros pueden tardar hasta 45 minutos o más.
Es probable que su heurı́stica no les proporcione un número lo suficientemente preciso. Puede
crear un conjunto de datos con las siguientes columnas: number of callcenter phones,
user issue, time to resolve, call time y time on hold.
17 / 47
▶ No uses AA. Aunque tienen un objetivo definido con claridad, primero deben implementar
y optimizar una solución que no sea de AA. Además, parece que su conjunto de datos no
contiene sufientes atributos con poder predictivo.
▶ Usa el AA. El equipo de ingenierı́a tiene un objetivo claramente definido. Su heurı́stica no
será lo suficientemente buena para su caso práctico. Parece que el conjunto de datos
tiene caracterı́sticas predictivas para la etiqueta time on hold.

18 / 47
Términos clave

▶ conjunto de datos
▶ función
▶ heurı́stica
▶ label
▶ predicción

19 / 47
Definición de un problema de AA

Después de verificar que tu problema se resuelve mejor con un enfoque de AA predictivo o de

IA generativa, estás listo para enmarcar tu problema en términos del AA. Completa las
siguientes tareas para plantear un problema en términos de AA:
▶ Definir el resultado ideal y el objetivo del modelo
▶ Identificar la salida del modelo
▶ Defina las métricas del éxito
Definir el resultado ideal y el objetivo del modelo
Independientemente del modelo de AA, ¿cuál es el resultado ideal? En otras palabras, ¿cuál es
la tarea exacta que deseas que realice tu producto o función? Esta es la misma declaración
que definiste antes en la sección Establece el objetivo.

20 / 47
Conecta el objetivo del modelo con el resultado ideal mediante la definición explı́cita de lo que
quieres que haga. En la siguiente tabla, se indican los resultados ideales y el objetivo del
modelo para apps hipotéticas:
Aplicaciones Resultado ideal Objetivo del modelo
App de clima Calcular las precipitaciones en incrementos Predice las cantidades de precipitaciones
de seis horas para una región geográfica. de seis horas para regiones geográficas es-
pecı́ficas
App de moda Generar una variedad de diseños de camisas Generar tres variedades de diseño de camisa
a partir de un texto y una imagen, donde el
texto indique el estilo y el color, y la ima-
gen es el tipo de camisa (camiseta, botones,
polo)
App de video Recomienda videos útiles Predice si un usuario hará clic en un video
App de correo Detecta spam. Predice si un correo es spam o no.
App financiera Resume la información financiera de Genera resúmenes de 50 palabras de las
múltiples fuentes de noticias principales tendencias financieras de los
últimos siete dı́as
App de mapas Calcula la duración del viaje Predice cuánto tiempo tardarás en viajar
entre dos puntos

21 / 47
Aplicaciones Resultado ideal Objetivo del modelo
App de banca Identifica transacciones fraudulentas Predecir si el titular de la tarjeta realizó una
electrónica transacción
Aplicación de gas- Identificar la cocina según el menú de un Predecir el tipo de restaurante
tronomı́a restaurante
App de comercio Generar respuestas de atención al cliente Genera respuestas mediante el análisis de
electrónico sobre los productos de la empresa opiniones y la base de conocimiento de la
organización

22 / 47
Identifica el resultado que necesitas

La elección del tipo de modelo depende del contexto y las limitaciones especı́ficas de tu
problema. El resultado del modelo debe realizar la tarea definida en el resultado ideal. Por lo
tanto, la primera pregunta para responder es ”¿Qué tipo de resultado necesito para resolver mi
problema?”
Si necesitas clasificar algo o hacer una predicción numérica, probablemente usarás AA
predictivo. Si necesitas generar contenido nuevo o producir resultados relacionados con la
comprensión del lenguaje natural, es probable que uses IA generativa.
En las siguientes tablas, se enumeran los resultados del AA predictivo y la IA generativa:

23 / 47
 Table: AA Predictivo
Sistema de AA Resultado de ejemplo
Clases binarias Clasificar un correo electrónico como spam o no como spam
Clasificación Etiqueta única de varias clases Clasificar un animal en una imagen
Multiclase con varias etiquetas Clasificar todos los animales en una imagen
Regresión unidimensional Predice la cantidad de vistas que recibirá un video
Numéricos
Regresión multidimensional Predice la presión arterial, la frecuencia cardı́aca y los niveles
de colesterol de una persona

24 / 47
 Table: IA generativa

Tipo de modelo Resultado ejemplo

Resume un artı́culo
Responder las opiniones de los clientes
Texto Traduce documentos del inglés al mandarı́n
Escribe descripciones de productos
Analizar documentos legales
Produce imágenes de marketing.
Imagen Aplica efectos visuales a las fotos
Generar variaciones del diseño del producto
Genera diálogo con un acento especı́fico
Audio
Genera una composición musical breve de un género especı́fico, como jazz
Genera videos de aspecto realista
Video
Analizar videos y aplicar efectos visuales
Multimodal Produce varios tipos de resultados, como un video con subtı́tulos

25 / 47
Clasificación
Un modelo de clasificación predice a qué categorı́a pertenecen los datos de entrada, por
ejemplo, si una entrada se debe clasificar como A, B o C.

Figure: Modelo de clasificación que hace Figure: Resultado de un modelo de clasificación

predicciones que se usa en el código de producto para tomar un
decisión

En función de la predicción del modelo, tu app podrı́a tomar una decisión. Por ejemplo, si la predicción es de
categorı́a A, entonces haz X; si la predicción es de categorı́a B, hazlo, Y; si la predicción es de categorı́a C, haz
Z. En algunos casos, la predicción es el resultado de la app. 26 / 47
Regresión
Un modelo de regresión predice un valor numérico.

Figure: Resultado de un modelo de regresión que

Figure: Un modelo de regresión que hace una se usa en el código de producto para tomar una
predicción numérica. decisión.

En función de la predicción del modelo, tu app podrı́a tomar una decisión. Por ejemplo, si la predicción se
encuentra dentro del rango A, haz X; si está dentro del rango B, haz Y; si está dentro del rango C, haz Z. En
algunos casos, la predicción es el resultado de la app. 27 / 47
Considera la siguiente situación:
Deseas almacenar en caché videos según su popularidad prevista. En otras palabras, si tu
modelo predice que un video será popular, querrás publicarlo con rapidez para los usuarios.
Para hacerlo, usarás la caché más eficaz y costosa. Para otros videos, usarás una caché
diferente. Los criterios de almacenamiento en caché son los siguientes:
▶ Si se predice que un video obtendrá 50 vistas o más, usarás la caché costosa.
▶ Si se predice que un video obtendrá entre 30 y 50 vistas, usarás la caché económica.
▶ Si se predice que el video tendrá menos de 30 vistas, no lo almacenarás en caché.
Crees que un modelo de regresión es el enfoque correcto porque predecirás un valor numérico:
la cantidad de vistas. Sin embargo, cuando entrenas el modelo de regresión, te das cuenta de
que produce la misma pérdida para una predicción de 28 y 32 en el caso de los videos que
tienen 30 vistas. En otras palabras, aunque tu app tendrá un comportamiento muy diferente si
la predicción es 28 en comparación con la 32, el modelo considera ambas predicciones igual de
buenas.
28 / 47
Figure: Entrenar un modelo de regresión

29 / 47
Los modelos de regresión no tienen conocimiento de los umbrales definidos por el producto.
Por lo tanto, si el comportamiento de tu app cambia de manera significativa debido a
pequeñas diferencias en las predicciones de un modelo de regresión, deberı́as considerar
implementar un modelo de clasificación en su lugar.
En esta situación, un modelo de clasificación producirı́a el comportamiento correcto porque un
modelo de clasificación producirı́a una pérdida mayor para una predicción de 28 que 32. En
cierto sentido, los modelos de clasificación producen umbrales de forma predeterminada.
En este escenario, se destacan dos puntos importantes:
▶ Predecir la decisión. Cuando sea posible, predice la decisión que tomará tu app. En el
ejemplo de video, un modelo de clasificación predecirı́a la decisión si las categorı́as en las
que clasificó los videos eran “sin caché”, “caché económica” y “caché costosa”. Ocultar el
comportamiento de tu app del modelo puede provocar que esta produzca un
comportamiento incorrecto.

30 / 47
 ▶ Comprende las limitaciones del problema. Si tu app realiza diferentes acciones según
diferentes umbrales, determina si esos lı́mites son fijos o dinámicos.
▶ Umbrales dinámicos: Si los umbrales son dinámicos, usa un modelo de regresión y establece
los lı́mites de los umbrales en el código de la app. Esto te permite actualizar con facilidad los
umbrales mientras el modelo realiza predicciones razonables.
▶ Umbrales fijos: Si los umbrales son fijos, usa un modelo de clasificación y etiqueta tus
conjuntos de datos según los lı́mites de los umbrales.
En general, la mayor parte del aprovisionamiento de caché es dinámico y los umbrales cambian
con el tiempo. Por lo tanto, debido a que este es un problema especı́fico de almacenamiento
en caché, un modelo de regresión es la mejor opción. Sin embargo, para muchos problemas,
los umbrales se corregirán, lo que hace que un modelo de clasificación sea la mejor solución.

31 / 47
Veamos otro ejemplo. Si estás compilando una app meteorológica cuyo resultado ideal es
decirles a los usuarios cuánto lloverá en las próximas seis horas, podrı́as usar un modelo de
regresión que prediga la etiqueta precipitation amount.
Resultado ideal Etiqueta ideal
Diles a los usuarios cuánto lloverá en su área en las precipitation amount
próximas seis horas.
En el ejemplo de la app de clima, la etiqueta aborda directamente el resultado ideal. Sin
embargo, en algunos casos, no es evidente una relación uno a uno entre el resultado ideal y la
etiqueta. Por ejemplo, en la app de video, el resultado ideal es recomendar videos útiles. Sin
embargo, no hay una etiqueta en el conjunto de datos llamada useful to user.
Resultado ideal Etiqueta ideal
Recomienda videos útiles. ?
Por lo tanto, debes encontrar una etiqueta de proxy.
32 / 47
Etiquetas de proxy

Las etiquetas de proxy sustituyen a las etiquetas que no están en el conjunto de datos. Las
etiquetas de proxy son necesarias cuando no puedes medir directamente lo que deseas
predecir. En la app de video, no podemos medir directamente si un usuario encontrará un
video útil o no. Serı́a muy bueno que el conjunto de datos tuviera un atributo useful y los
usuarios marquen todos los videos que les parecieron útiles. Sin embargo, como el conjunto de
datos no lo tiene, necesitaremos una etiqueta de proxy que sustituya por utilidad.
Una etiqueta de proxy para la utilidad podrı́a ser si el usuario compartirá o no el video.
Resultado ideal Etiqueta de proxy
Recomienda videos útiles. shared OR liked
Ten cuidado con las etiquetas de proxy, ya que no miden directamente lo que deseas predecir.
Por ejemplo, en la siguiente tabla, se describen problemas con posibles etiquetas de proxy para
Recomendar videos útiles:
33 / 47
 Etiqueta de proxy Problema
Predecir si el usuario hará clic en el botón La mayorı́a de los usuarios nunca hacen clic en ”me
”Me gusta”. gusta”.
Predecir si un video será popular No personalizado. Es posible que a algunos usuarios
no les gusten los videos populares
Predice si el usuario compartirá el video Algunos usuarios no comparten videos. A veces, las
personas comparten videos porque no les gustan
Predecir si el usuario hará clic en el botón Maximiza los ciberanzuelos
de reproducción
Predecir cuánto tiempo mirarán el video Prioriza los videos largos por sobre los cortos
Predecir cuántas veces el usuario volverá Prioriza los videos que se pueden volver a mirar por
a mirar el video sobre los géneros que no se pueden volver a mirar

Ninguna etiqueta de proxy puede ser el sustituto perfecto de tu resultado ideal. Todos tendrán
problemas potenciales. Elige la que tenga menos problemas para tu caso de uso.

34 / 47
Comprueba tu comprensión

Una empresa quiere usar el AA en su app de salud y bienestar para ayudar a las
personas a sentirse mejor. ¿Crees que necesitarán usar etiquetas de proxy para lograr
sus objetivos?
▶ No, la empresa no necesitará uar etiquetas de proxy. La felicidad y el bienestar se pueden
medir directamente.
▶ Sı́, la empresa deberá encontrar etiquetas de proxy. Categorı́as como felicidad y bienestar
no se pueden medir directamente. En cambio, deben aproximarse en relación con alguna
otra función, como las horas que se ejercitaron a la semana, el tiempo dedicado a realizar
pasatiempos o con amigos.

35 / 47
Generación
En la mayorı́a de los casos, no entrenarás tu propio modelo generativo porque para hacerlo se
necesitan grandes cantidades de datos de entrenamiento y recursos de procesamiento. En su
lugar, personalizarás un modelo generativo previamente entrenado. Para obtener un modelo
generativo que produzca el resultado deseado, es posible que debas usar una o más de las
siguientes técnicas:
Destilación A fin de crear una versión más pequeña de un modelo más grande, debes generar
un conjunto de datos sintéticos etiquetados a partir del modelo más grande que
usas para entrenar el modelo más pequeño. Los modelos generativos suelen ser
gigantes y consumen recursos sustanciales (como memoria y electricidad). La
destilación permite que el modelo más pequeño y que requiera menos recursos se
aproxime al rendimiento del modelo más grande.
Ajuste o ajuste eficiente de los parámetros Para mejorar el rendimiento de un modelo en
una tarea especı́fica, debes entrenarlo aún más con un conjunto de datos que
contenga ejemplos del tipo de salida que deseas producir.
36 / 47
Ingenierı́a de indicaciones Para que el modelo realice una tarea especı́fica o produzca un
resultado en un formato especı́fico, indı́cale la tarea que quieres que realice o
explica cómo quieres que se formatea el resultado. En otras palabras, el mensaje
puede incluir instrucciones en lenguaje natural sobre cómo realizar la tarea o
ejemplos ilustrativos con los resultados deseados.
Por ejemplo, si deseas resúmenes breves de artı́culos, puedes ingresar lo siguiente:

Produce 100-word summaries for each article.

Si quieres que el modelo genere texto para un nivel de lectura especı́fico, puedes ingresar lo
siguiente:

All the output should be at a reading level for a 12-year-old.

37 / 47
Si quieres que el modelo proporcione su resultado en un formato especı́fico, puedes explicar
cómo se debe formatear el resultado (por ejemplo, “dar formato a los resultados en una tabla”)
o puedes demostrar la tarea dándole ejemplos. Por ejemplo, puedes ingresar lo siguiente:

Translate words from English to Spanish.

English: Car
Spanish: Auto
English: Airplane
Spanish: Avión
English: Home
Spanish:

38 / 47
▶ La destilación y el ajuste actualizan los parámetros del modelo. La ingenierı́a de mensajes
no actualiza los parámetros del modelo. En cambio, la ingenierı́a de indicaciones ayuda al
modelo a aprender a producir un resultado deseado a partir del contexto de la indicación.
▶ En algunos casos, también necesitarás un conjunto de datos de prueba para evaluar la
salida de un modelo generativo frente a valores conocidos, por ejemplo, verificar que los
resúmenes del modelo sean similares a los generados por humanos o que los humanos
califiquen los resúmenes del modelo como buenos.
▶ La IA generativa también se puede usar para implementar una solución de AA predictivo,
como clasificación o regresión. Por ejemplo, debido a su profundo conocimiento del
lenguaje natural, los modelos de lenguaje extenso (LLM) con frecuencia pueden realizar
tareas de clasificación de texto mejor que el AA predictivo que se entrena para la tarea
especı́fica.

39 / 47
Defina las métricas de éxito
Define las métricas que usarás para determinar si la implementación del AA es exitosa o no.
Las métricas de éxito definen lo que te interesa, como la participación o ayudar a los usuarios
a realizar una acción adecuada, como mirar videos que les pusieron útiles. Las métricas de
éxito difieren de las métricas de evaluación del modelo, como la exactitud, la precisión, la
recuperación o el AUC.
Por ejemplo, las métricas de éxito y fracaso de la app meteorológica podrı́an definirse de la
siguiente manera:

Listo Los usuarios abren la función ”¿Lloverá?” con un 50% más de frecuencia que antes.
Falla Los usuarios abren la función “¿lloverá?” no más a menudo que antes.
Las métricas de la app de video se podrı́an definir de la siguiente manera:

Listo En promedio, los usuarios pasan un 20% más de tiempo en el sitio.

Falla En promedio, los usuarios no pasan más tiempo que antes en el sitio.
40 / 47
Recomendamos definir métricas de éxito ambiciosas. Sin embargo, las grandes ambiciones
pueden generar brechas entre el éxito y el fracaso. Por ejemplo, que los usuarios pasen, en
promedio, un 10% más de tiempo en el sitio que antes no es un éxito ni un fracaso. La brecha
no definida no es lo importante.
Lo importante es la capacidad de tu modelo para acercarse (o superar) la definición de éxito.
Por ejemplo, cuando analices el rendimiento del modelo, considera la siguiente pregunta:
¿Mejorar el modelo te acercarı́a más a los criterios de éxito definidos? Por ejemplo, un modelo
podrı́a tener excelentes métricas de evaluación, pero no te acercarı́a a tus criterios de éxito, lo
que indica que incluso con un modelo perfecto, no cumplirı́as con los criterios de éxito que
definiste. Por otro lado, un modelo puede tener métricas de evaluación deficientes, pero te
acercan a tus criterios de éxito, lo que indica que mejorar el modelo te acercarı́a al éxito.

41 / 47
Las siguientes son dimensiones que se deben tener en cuenta cuando se determina si vale la
pena mejorar el modelo:
▶ No es lo suficientemente bueno, pero debes continuar. El modelo no debe usarse en un
entorno de producción, pero, con el tiempo, podrı́a mejorarse significativamente.
▶ Suficientemente bueno y continuar. El modelo se puede usar en un entorno de producción
y se podrı́a mejorar aún más.
▶ Suficientemente bueno, pero no se puede mejorar. El modelo está en un entorno de
producción, pero es probable que sea lo mejor posible.
▶ No es lo suficientemente bueno y nunca lo será. El modelo no debe usarse en un entorno
de producción y es probable que ninguna cantidad de entrenamiento lo logre allı́.

42 / 47
Cuando decidas mejorar el modelo, vuelve a evaluar si el aumento de los recursos, como el
tiempo de ingenierı́a y los costos de procesamiento, justifica la mejora prevista del modelo.
Después de definir las métricas de éxito y de fracaso, debes determinar con qué frecuencia las
medirás. Por ejemplo, puedes medir tus métricas de éxito seis dı́as, seis semanas o seis meses
después de implementar el sistema. Cuando analices las métricas de fallas, intenta determinar
por qué falló el sistema. Por ejemplo, el modelo podrı́a predecir en qué videos harán clic los
usuarios, pero podrı́a comenzar a recomendar tı́tulos de ciberanzuelos que hagan que la
participación de los usuarios disminuya. En el ejemplo de la app del clima, el modelo podrı́a
predecir con precisión cuándo lloverá, pero en una región geográfica demasiado grande.

43 / 47
Comprueba tu comprensión

Una empresa de moda quiere vender más ropa. Alguien sugiere usar AA para determinar qué
ropa debe fabricar la empresa. Piensa que puede entrenar un modelo para determinar qué tipo
de ropa está de moda. Después de entrenar el modelo, quiere aplicarlo a su catálogo para
decidir qué ropa hacer.
¿Cómo deberı́a enmarcar su problema en términos de AA?

Resultado ideal: Determinar la cantidad de tela y suministros que quieres pedir.

Objetivo del modelo: Predecir que cantidad de cada artı́culo se fabricará.

Salida del modelo: Clasificación binaria, make, do not make.

Métricas de éxito: Vende el setenta por ciento o más de la ropa que se confeccionó.

44 / 47
Resultado ideal: Determina qué productos fabricar.

Objetivo del modelo: Predecir qué artı́culos de ropa estarán de moda.

Salida del modelo: clasificación binaria, in fashion, not in fashion.

Métricas de éxito: Vende el setenta por ciento o más de la ropa que se confeccionó.

45 / 47
Términos clave

▶ Exactitud
▶ AUC
▶ Modelo de clasificación
▶ Precisión
▶ Etiqueta de proxy
▶ Modelo de regresión

46 / 47
simple
A beamer theme

simple is a minimalist Beamer theme that features

▶ a watermark logo in the background
And of course...
▶ slide numbers
blocks, columns, and all Beamer power
▶ emphasized and alerted text

47 / 47