Scribd
Cargar
4 vistas2 páginas

Pasos para crear un algoritmo NLP

Este documento describe los pasos para crear y evaluar un algoritmo de procesamiento de lenguaje natural (NLP). Explica que el NLP aplica modelos de aprendizaje automático al texto para que los agentes puedan comprender el lenguaje humano transformando patrones de texto en números. Luego enumera 8 pasos clave en el proceso de NLP que incluyen limpiar el texto, pasarlo a minúsculas, separar las palabras, eliminar palabras sin significado, estandarizar las palabras, volver a formar las oraciones, crear una "bolsa de palabras

Cargado por

Allan cdcd
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
4 vistas2 páginas

Pasos para crear un algoritmo NLP

Este documento describe los pasos para crear y evaluar un algoritmo de procesamiento de lenguaje natural (NLP). Explica que el NLP aplica modelos de aprendizaje automático al texto para que los agentes puedan comprender el lenguaje humano transformando patrones de texto en números. Luego enumera 8 pasos clave en el proceso de NLP que incluyen limpiar el texto, pasarlo a minúsculas, separar las palabras, eliminar palabras sin significado, estandarizar las palabras, volver a formar las oraciones, crear una "bolsa de palabras

Cargado por

Allan cdcd
Derechos de autor
© All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Natural Language Processing

El ‘NLP’ es aplicar modelos de ‘Machine Learning’ a texto y


lenguaje para que el ‘Agente’ intente comprenderlos
transformando patrones de texto a números. 



El ‘NLP’ en la manera en como el ‘lenguaje informático’
interactúa con el ‘lenguaje humano’.

Secuencia de 8 pasos para crear y evaluar un algoritmo ‘NLP’

1. Limpieza gramatical
• Con ‘Expresiones Regulares’ limpiar los ‘strings’ (frases) de números,
signos, exclamaciones, comas, puntos, etc. Finalmente solo quedan las
palabras de la frase separadas por espacio.

2. Pasar a minúsculas
• Los caracteres de los ‘strings' (frases) son evaluados y pasados a
minúsculas; esto es para una mejor manipulación de los datos por parte del
algoritmo.

3. Transformar ‘string’ (frase) en un array de palabras


• Cada ‘string’ (frase) es evaluado para separar cada palabra cortando los
espacios, y luego agregándolas a un array.

4. Quitas las ‘stopwords’


• En base a un diccionario de palabras inútiles (stopwords) evaluado
mundialmente, se valida que el DataSet no contenga ninguna de estas
palabras, se eliminan.

5. Estemizar DataSet
• Evaluar cada palabra del DataSet y reducirla a su raíz gramatical (sin
tiempo, conjugaciones, etc.).

6. Reformar fila: ‘array' a ‘string’


• Cada fila que esta formada por un array de palabras, es re-formada a un
solo ‘string’.

7. Bag of Words (bolsa de palabras)


• Después de los filtros previos hechos a las palabras del DataSet, finalmente
se crea una matriz numérica (0 y 1) con filas igual a la cantidad de datos, y
columnas igual a la cantidad de palabras.

8. Usar un modelo de clasificación


• Con un modelo/método de ‘Classification’ evaluar el algoritmo ‘NLP’. La ‘Matriz
de Confusión’ funciona muy bien.

También podría gustarte