Redes Neuronales Artificiales
El perceptrón ocupa un lugar
especial en el desarrollo histórico
de las redes neuronales: fue la
primera red neuronal descrita
algorítmicamente. Su invento por
Rosenblatt, un psicólogo, inspiró a
ingenieros, físicos y matemáticos a
dedicar sus esfuerzos de
investigación a diferentes aspectos
de las redes neuronales en los años
sesenta y setenta. Además, es
verdaderamente notable descubrir
que el perceptrón es tan válido hoy
como lo fue en 1958 cuando se
publicó por primera vez el paper de
Rosenblatt que aquí acompaño
El perceptrón es la forma más simple de una red neuronal utilizada para la clasificación de observaciones
que se dice que son linealmente separables (es decir, que se encuentran en lados opuestos de un
hiperplano). El percetprón simple consiste en una sola capa con pesos y sesgos sinápticos ajustables.
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EEEGIDE
GGIIDDEE––C
– Cu
urrssoodde
Curso eDDa
de attaaM
Data Mii
nniinnggyyB
Mining yBiiBig
ggDDaData
Big attaa––II––nng
Data g..CCaarrll
Ing.
Ing. oossAArrArana
Carlos
Carlos aArana
annaa
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Algoritmo de Cuadrado Medio Mínimo - LMS (Least Mean Square)
Tenemos el datset T:
Sistema
dinámico
desconocido
Donde la íesima observación tiene las
siguientes características:
El modelo de RNA opera bajo un algoritmo que controla
sistemáticamente los ajustes a los pesos sinápticos de la
neurona. Sus pasos son:
• Determinación arbitraria de los pesos sinápticos de la
neurona.
• Ajustes de los pesos sinápticos en respuesta a las
variaciones estadísticas en el comportamiento del sistema filtro
realizadas de forma continua
• Cálculo de ajustes a los pesos sinápticos luego de la carga Proceso adapt.
y procesamiento de las características de una observación
x(i)
A este modelo se lo denomina filtro adaptativo
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EEEGIDE
GGIIDDEE––C
– Cu
urrssoodde
Curso eDDa
de attaaM
Data Mii
nniinnggyyB
Mining yBiiBig
ggDDaData
Big attaa––II––nng
Data g..CCaarrll
Ing.
Ing. oossAArrArana
Carlos
Carlos aArana
annaa
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Como la neurona es lineal, la salida y(i) es:
La salida de la neurona y(i) se compara con la salida correspondiente d(i) recibida del
sistema desconocido en el momento i siendo el error:
La manera en que se usa la señal de error e (i) para controlar los ajustes a los pesos
sinápticos de la neurona está determinada por una función de costo. A partir de ella se corre
el algoritmo de filtrado adaptativo. Este problema está estrechamente relacionado con el de
la optimización.
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EEEGIDE
GGIIDDEE––C
– Cu
urrssoodde
Curso eDDa
de attaaM
Data Mii
nniinnggyyB
Mining yBiiBig
ggDDaData
Big attaa––II––nng
Data g..CCaarrll
Ing.
Ing. oossAArrArana
Carlos
Carlos aArana
annaa
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
La neurona artificial
x1 w1
w2
input x2 Σ f y
w3 sum activation
x3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
La función sigmoide, y = 1 / (1 + e−x), se usa en lugar de una función escalonada en redes
neuronales artificiales porque el sigmoide es continuo, y necesitamos continuidad siempre que
se quiera usar gradiente descendente. Además, la función sigmoide tiene varias cualidades
deseables. Por ejemplo, el valor de la función sigmoidea, y, se acerca a 1 cuando x se vuelve
altamente positivo; 0 cuando x se vuelve altamente negativo; y es igual a 1/2 cuando x = 0.
Mejor aún, la función sigmoide presenta una derivada muy simple de la salida, y, con respecto a
la entrada, x:
La derivada de la salida y
con respecto a la entrada x
se expresa como una simple
función de la salida y!!!
!!
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EEEGIDE
GGIIDDEE––C
– Cu
urrssoodde
Curso eDDa
de attaaM
Data Mii
nniinnggyyB
Mining yBiiBig
ggDDaData
attaa––II–nngIng.
g..CCaarrll
oossAArraArana
Carlos annaa
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
¿Por qué se necesita una red neuronal?
• Una sola neurona funciona para problemas lineales.
• Los problemas del mundo real son complejos.
• Las redes neuronales artificiales (ANNs) pueden reproducir
funciones altamente no lineales.
s1
x1
El Perceptrón Multicapa s2 y
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Pesos
W(1) W(2)
w11 s1
x1 w12
w31 s2 y
w21
x2 w22
w23
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Entradas h
h(2) h(3)
w11 s1
x1 w12
w31 s2 y
w21
x2 w22
w23
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Activación
a(2) a(3)
w11 s1
x1 w12
w31 s2 y
w21
x2 w22
w23
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Cálculos en el Perceptrón (2a capa)
s1
x1
s2 y
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Cálculos en el Perceptrón (3a capa)
s1
x1
s2 y
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Entrenamiento de una red neuronal
Input signals • Obtener la predicción
• Calcular el error
s1 • Calcular el gradiente de la
función de error respecto a
x1
los pesos
s2 p • Actualizar los parámetros
x2
s3
Error signals
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Obtener la predicción
s1
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el error
s1
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
W(1) W(2)
s1
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Calcular el gradiente de la función de error respecto a los pesos
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Backpropagation
h(2) a(2)
W(1) W(2)
a(1)
s1
h(3) a(3)
x1
s2 p
x2
s3
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Gradiente descendente
● Dar un paso en la dirección opuesta al gradiente
● Learning step = Tasa de aprendizaje
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Backprogation & Gradiente Descendente
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EEEGIDE
GGIIDDEE––C
– Cu
urrssoodde
Curso eDDa
de attaaM
Data Mii
nniinnggyyB
Mining yBiiBig
ggDDaData
attaa––II–nngIng.
g..CCaarrll
oossAArraArana
Carlos annaa
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Redes Feedforward Completamente Conectadas
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana
Función de Pérdida, Épocas y Mini-Batch
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
EGIDE – Curso de Data Mining y Big Data – Ing. Carlos Arana
Modelos
Inteligencia Artificial–y Dr.
Simulación – Ing. Carlos Arana
Ing. Carlos Arana