2023a Ia 2.3 Modelos de Asociacion

Modelos de asociación
Inteligencia Artificial
Redes Hopfield
• Uno de los principales responsables del
desarrollo que ha experimentado la
computación neuronal ha sido J. Hopfield
(1980), quien construyó un modelo de red
con el número suficiente de simplificaciones
como para poder extraer información sobre
Introducción las características relevantes del sistema.
• Hopfield conceptualizó las redes neuronales
como sistemas dinámicos con energía y
mostró su semejanza con ciertos modelos
físicos.
• La red de Hopfield es una red monocapa,
utilizan aprendizaje no supervisado, también
se puede mostrar como una red dos capas, la
primera capa seria una capa de sensores y la
segunda capa será donde se realiza el
Introducción procesamiento.
• Estas redes pueden usarse como un modelo
sencillo para explicar como ocurren las
asociaciones entre ideas en las redes de
neuronas del cerebro.
• Hopfield propuso varios modelos de redes
recurrentes. En este tipo de redes, la salida
de cada neurona se calcula y se
retroalimenta como entrada, calculándose
otra vez, hasta que se llega a un punto de
Red de estabilidad.
• Supuestamente los cambios en las salidas
Hopfield van siendo cada vez mas pequeños, hasta
llegar a cero, esto es, alcanzar la
estabilidad.
• Puede ser que una red recurrente nunca
llegue a un punto estable.
• Una red de Hopfield funciona como una memoria
asociativa. Después de entrenarse con un conjunto
de ejemplos, un nuevo estímulo causa la red a
“asentarse'' en un patrón de activación
correspondiente al ejemplo de entrenamiento que
Red de se parece más al nuevo estímulo. Esto es, se
alimenta un patrón de entrada y se observa su
Hopfield salida.
• La salida vuelve a alimentar a la red y se ve la
nueva salida.
• Memoria autoasociativa: Se trata simplemente de
asociar dos patrones y se establecen
correspondencias entre ellas.
Consideraciones Dinámicas
• Dada una red recurrente de N neuronas con
acoplamiento simétrico, esto es wij = wji , donde wij es la
conexión de i a j, la salida de la neurona j está dada por
la ecuación:
𝑋𝑗 = 𝜑𝑗 𝜐𝑗
• donde 𝜑 𝑗 es la no-linealidad de tipo sigmoide de la

neurona j
• 𝑋𝑗 y 𝜐𝑗 son funciones en el tiempo
Dinámica de las Redes de
Hopfield
• Está dada por el conjunto de ecuaciones diferenciales no
lineales acopladas del tipo:
𝑁
𝜕𝑣𝑗 𝑣𝑗
𝐶𝑗 = ෍ 𝑊𝑗𝑖 𝜑𝑗 𝑣𝑗 − − 𝜃𝑗
𝜕𝑡 𝑅𝑗
𝑖=1,1≠𝑗
• Para j = 1,2, ... N
• 𝜃𝑗 = umbral
• 𝐶𝑗 = Controla el cambio del potencial 𝑣𝑗 𝑡 (efecto
capacitivo)
• 𝑅𝑗 = Pérdidas debido a resistencia en la entrada al elemento j
Configuración de la Red
• Se utiliza principalmente con entradas binarias.
• Se puede utilizar como una memoria asociativa, o para resolver problemas de
optimización.
• Una memoria asociativa o dirigida por contenido es aquella que se puede
acceder teniendo una parte de un patrón de entrada, y obteniendo como
resultado el patrón completo.
• Hopfield también utilizó sus redes para resolver un problema de optimización: el
agente viajero. Además, construyó una red con circuitos integrados que
convierte señales analógicas en digitales.
Estructura
• La estructura de red
neuronal que se muestra
en la figura es una
memoria autoasociativa,
de una sola capa,
totalmente conectada y
recurrente.
Estructura
• n es el número de nodos en la red.
• Las entradas 𝑋0 , 𝑋1 … 𝑋𝑛−1 se aplican a la red en el tiempo
𝑡 = 0. Pueden tomar valores de +1 o -1.
• Las salidas 𝑈0 , 𝑈1 … 𝑈𝑛−1 se van calculando y recalculando,
hasta que sus valores ya no cambian. Cuando esto sucede, se
tiene la salida de la red, y 𝑋’𝑖 = 𝑈𝑖 para 𝑖 = 1. . . 𝑛 − 1
• Esta red consiste en un conjunto de N elementos de
procesado interconectadas que actualizan sus valores
de activación de forma asíncrona e independiente del
resto de los elementos de procesado. Todos los
elementos son a la vez de entrada y salida.
• Es una estructura en donde la matriz de pesos es
cuadrada y simétrica. Es decir, los pesos de un Patrón
Características de Entrada (PE) a otro tiene el mismo valor en ambas
direcciones.
• Cada PE está conectado con todos los demás, incluso
con si mismo pero el valor de dicha conexión es 0,
significando que el PE no se realimenta a si mismo.
• Es una red discreta con entradas y salidas binarias: 0/1
o -1/+1
• Existen varios problemas asociados a la red
Limitaciones Hopfield.
• Número limitado de entradas en la etapa de
aprendizaje: Si se almacenan demasiadas
informaciones, durante su funcionamiento la
red puede converger a valores de salida
diferentes de los aprendidos, con lo que la
tarea de asociación entre la información
presentada y alguna de las almacenadas se
realiza incorrectamente.
• El número máximo de patrones no
Limitaciones correlacionados que puede almacenar es igual
al 15% del número de neuronas de la red
• Ortogonalidad de las informaciones
aprendidas: Si las informaciones almacenadas
no son suficientemente diferentes entre sí (no
son ortogonales) puede ocurrir que ante una
entrada la red no haga una asociación
correcta y genere una salida errónea.
• En cuanto a las aplicaciones más conocidas de
Aplicaciones este modelo destacan las relacionadas con el
reconocimiento de imágenes y de voz, el
control de motores y sobre todo la resolución
de problemas de optimización.
• Para problemas de optimización se ha
aplicado para la resolución de, manipulación
de grafos, procesado de señales (conversores
analógico-digitales) y de imágenes, etc.
• Paso único: Calcule los valores de los pesos que
conectan a los nodos, utilizando la siguiente fórmula:
Algoritmo de • Donde 𝑡𝑖𝑗 es el peso que va de la neurona i a la

Entrenamiento neurona j, y 𝑥𝑖𝑠 es el valor del i-ésimo elemento de la
s-ésima clase; m es el número de clases que se desean
de la red Hopfield aprender. En notación matricial, la matriz de pesos se
define como:
𝑇 = ෍ 𝑋𝑖𝑇 𝑋𝑖 , 𝑡𝑖𝑖 = 0
𝑖
• Lo que se conoce como el producto externo (outer
product) de un vector renglón consigo mismo.
• Paso 1. Inicialice la red con un patrón de
Algoritmo de entrada:
evaluación de la 𝑈𝑖 0 = 𝑋𝑖 0≤𝑖 ≤𝑛−1

red Hopfield
• donde n es el número de nodos en la red
• Paso 2. Itere hasta converger siguiendo la
siguiente fórmula:
Algoritmo de
evaluación de la • donde F es una función escalón definida como:
red Hopfield
• Cuando la red converge, su salida representa al
patrón que más se parece al patrón de entrada
dado.
Ejemplo del
cálculo de la
matriz de
pesos T
Ejemplo 2
Almacenar en una Red
Hopfield los siguientes
patrones:
Ejemplo 2
Ejemplo 2
Supongamos que deseamos recuperar el patrón mas cercano a:
𝐴 = 1 1 1 −1
1º Paso: 𝑈 0 = 𝐴
2º Paso:
𝑈 1 =𝐹 𝑈 0 ∙𝑇 = 1 1 1 −1
En este punto se cumple que U(1) es igual al U(0), por lo que el sistema ya está
estable y el proceso termina.
El patrón mas parecido a A es (1 1 1 − 1)
Ejemplo 2
Ahora hallar el patrón mas
parecido a:
𝐴 = −1 − 1 − 1 − 1
Representación del sistema dinámico de
Hopfield
• Prácticamente no existe tiempo de
entrenamiento, ya que éste no es un proceso
adaptativo, sino simplemente el cálculo de
una matriz (T).
Ventajas y • Las redes de Hopfield son bastante tolerantes
Desventajas de al ruido, cuando funcionan como memorias
asociativas.
las redes de • El número de patrones a almacenar (o
Hopfield aprender) es bastante limitado comparado
con el número de nodos en la red. Según
Hopfield, el número de clases a aprender no
puede ser mayor de 0.15 veces el número de
nodos en la red.
Redes Hamming
• Desarrollada por Richard P. Lippmann a
mediados de 1987
• 1988 lo publica como «An introduction to
computing with neural nets»
Introducción • Similar a la de Hopfield, con la única diferencia
de que ésta implementa un clasificador
máximo de confianza, el aprendizaje también
es similar.
• Se la denomina de Hamming debido a que
utiliza la denominada distancia de Hamming,
computacionalmente es el número de bits en
el cuál difieren dos palabras en el
Introducción computador, el método fue desarrollado por
Richard W. Hamming para identificar y
corregir errores en la transmisión de
información entre dispositivos de cómputo.
Es una red simple feedforward de tres capas:
• La capa de entrada tiene numerosas

neuronas binarias totalmente conectadas a la
siguiente.
Estructura • En la capa oculta (Hopfield) también llamada
de categoria, cada elemento está conectado
a todos los demás elementos de la misma, así
como a una conexión directa a la neurona de
salida.
• La capa de salida coincide en cantidad de
neuronas con la capa oculta.
Las capas más importantes son la segunda y
tercera:
• La segunda realiza una correlación entre el

vector de entrada (E) y el vector patrón (P).
Estructura • La tercera realiza la competencia y determina
cuál de los patrones está más cercano al
vector de entrada, es decir, tiene la menor
diferencia en bits de los dos vectores y por
tanto el más representativo de los patrones
de entrada.
Ejemplo
Como es una red competitiva se
debe ver como que la neurona
ganadora indica cuál patrón
prototipo es el más
representativo, en el ejemplo
P(2).
Redes neuronales
recurrentes
• Las redes neuronales (RN) recurrentes o
recurrent neural networks (RNN) es un tipo
de red neuronal artificial especializada en
procesar datos secuenciales o series
temporales cuya arquitectura permite que la
red obtenga memoria artificial.
Introducción • También conocidas como RN convolucionales
(CNN)
• Ayuda a realizar predicciones de lo que
sucederá en un futuro a partir de datos
históricos.
• Útiles para analizar texto y generar de nuevo
a partir de el ya existente
• La arquitectura de este tipo de modelos
permite que la inteligencia artificial pueda
recordar y olvidar información.
Introducción • Así la IA es capaz de información procesada
previamente y asociarla con conceptos
nuevos que va analizando.
• Normalmente, cuando hablas de redes
neuronales, las funciones de activación solo
se mueven hacia una dirección: hacia
adelante.
• Una neurona recurrente transmite la

Introducción información hacia adelante pero también
tiene la característica de enviar la
información hacia atrás. Por lo tanto, en cada
paso, la neurona recurrente recibe datos de
las neuronas anteriores, pero también recibe
información de ella misma en el paso
anterior.
Estructura

2023a Ia 2.3 Modelos de Asociacion

Cargado por

Copyright:

Formatos disponibles

2023a Ia 2.3 Modelos de Asociacion

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

2023a Ia 2.3 Modelos de Asociacion

Cargado por

Copyright:

Formatos disponibles

Modelos de asociación

• donde 𝜑 𝑗 es la no-linealidad de tipo sigmoide de la

Algoritmo de • Donde 𝑡𝑖𝑗 es el peso que va de la neurona i a la

evaluación de la 𝑈𝑖 0 = 𝑋𝑖 0≤𝑖 ≤𝑛−1

• La capa de entrada tiene numerosas

• La segunda realiza una correlación entre el

• Una neurona recurrente transmite la

También podría gustarte