UNIVERSIDAD NACIONAL DE PIURA

FACULTAD DE INGENIERIA INDUSTRIAL

ESCUELA DE INGENIERIA INDUSTRIAL

CADENAS DE MARKOV

CURSO : INVESTIGACIÓN DE OPERACIONES II

DOCENTE :

ALUMNOS :
 INTRODUCCIÓN

En el acontecer diario nos mezclamos con diferentes situaciones que requieren un

análisis exhaustivo para llegar a una solución. Situaciones en las que no bastando con la

ayuda de la misma experiencia necesitan otro tipo de herramientas para sus prontas

decisiones ya que podrían ser vitales para el progreso de una empresa o negocio.

Las cadenas de Markov son pues una de esas herramientas que motivan el uso de

hechos que ya sucedieron para a través de probabilidades predecir una futura situación.

En el presente trabajo pretendemos mostrar la aplicación de las cadenas de Markov en el

proceso industrial de fabricación y comercialización (en este caso analizaremos la

demanda) de la comercialización de jaboncillos en el mercado minorista. Para ello

tomamos refencia de la distribuidora “MI DIANITA” ubicada en el mercado central de

Piura.

. Nosotros analizaremos la demanda de los siguientes productos: JABONES NEKO,

NIVEA, PALMOLIVE Y OTROS.

 OBJETIVOS

GENERAL:

Aplicar la teoría fundamental de cadenas de Markov para determinar el comportamiento

de la transferencia de demanda a futuro en cada proceso.

ESPECIFICOS:

 Mostrar que el proceso es una cadena de Markov.

 Construir la matriz de transición.

 Mostrar que los estados son accesibles.

 Mostrar que los estados se comunican.

 Mostrar que los estados son recurrentes.

 Mostrar que los estados son aperiódicos.

 Determinar la regularidad de la matriz.

 Determinar los limites ergódicos.

 Presentar las probabilidades de estado estable.

 MARCO TEORICO
1. PROCESOS MARKOV

1.1. ESTADOS DEL SISTEMA:

Un modelo de Markov consiste en un conjunto de estados discretos. Este conjunto es

exhaustivo y describe todos los posibles estados donde el sistema puede estar. La
transición del estado i a j ocurre con una probabilidad pij.

Podemos pensar en un modelo de Markov como una simple línea de transferencia.

1.2. LA CONDICIÓN DE MARKOV:

Si P[Sj(k) / Sa(k-1), Sb(k-2), Sc(k-3).....] = P[Sj(k) / Sa(k-1)] para todo k, j,a, b, c,.....
Entonces el sistema es un estado discreto de discretas transiciones de procesos de
Markov. La implicación de esta condición es que la historia anterior del sistema a su
llegada en (a) no tiene efecto en la transición a (j). En otras palabras, el sistema no
tiene memoria.

1.3. PROBABILIDADES DE TRANSICIÓN:

Para una cadena de Markov, se definen las probabilidades de transición como:

pij = P[Sj(k) / Si(k-1)] 1<= i,j <= m
y las pij son independientes de (k). Estas probabilidades pueden ser incluidas en una
matriz de transición,

P11 P12 ........................ P1m

P21 P22 ........................ P2m

P= . . . .

. . . .

Pm1 Pm2 ........................ Pmm

 También note que las transiciones de probabilidad satisfacen

0<=pij<=1

 p =1, i = 1,2,3...........,m
ij

.j=1

Debido a que los estados son mutuamente excluyentes y colectivamente exhaustivos.

La matriz P, proporciona una completa descripción del proceso de Markov el cual se
usara para responder numerosas preguntas sobre el sistema.

1.4. CLASIFICACIÓN DE LOS ESTADOS

Limite de las probabilidades de estado:

Si k tiende a infinito, P(k) llega a una constante, entonces el limite de las

probabilidades de estado existe y son independientes de la condición inicial.
Si  es un vector 1 x m definido como,
Limkinfinito P(k)= 

Entonces puede satisfacer  =P.

Para el ejemplo, esta ecuación se puede ser resuelta con la restricción

 im i =1 para obtener (12)

Estado transitorio

 Si es un estado transitorio si se puede dejar el estado pero nunca retornar a él.

Estado absorbente
  Si es un estado absorbente si el sistema entra al estado y permanece ahí. Y el
límite de la probabilidad de estado es 1. este estado es conocido también como
estado trampa.

Cadena recurrente

 Una cadena recurrente es un conjunto de estados de los que el sistema no puede

salir. Un estado transitorio conduce al sistema dentro de este conjunto de
estados. El sistema hace saltos dentro de este conjunto indefinidamente. La
cadena recurrente es también llamada subcadena de Markov irreducible o de
clases recurrentes.

Finalmente se presentan unos útiles factores de las cadenas de Markov:

 Cada cadena de Markov debe tener al menos una cadena recurrente.

 Una cadena recurrente es un estado absorbente generalizado.
 Un proceso de Markov que tiene una cadena recurrente será completamente
ergódica desde dondequiera que el inicie finalizara en cadena recurrente.
 Si un proceso tiene dos o más cadenas recurrentes, entonces la propiedad
ergódica no se mantiene en el tiempo.
 Un estado transitorio es un estado que ocupa el sistema antes de convertirse en
una cadena recurrente.

2. CADENAS ERGÓDICAS

Condición suficiente: si existe un n>0 tal que P ijn >0; i, j=0,1,2....m. la cadena de
Markov, con esta propiedad, se llama ergódica. Entonces, P ijn = k=0 (Pikn * Pkj), luego

j = k=0 (k * Pkj) y como j=0 Pijn = 1, entonces j=0 j =1

Teorema. Para una cadena de Markov ergódica, j =Lim ninfinito Pijn existe y j (j
pertenece {0,..,m}) es la única solución no negativa de j. Entonces:

 j = k=0 (k * Pkj) y j=0 j =1.

2.1. LÍMITES ERGÓDICOS EN LAS CADENAS DE MARKOV

 La relación fundamental en una cadena de Markov es: P n =Mn P0. Y si nuestro
interés es el comportamiento asintótico de Pn, es decir Lim ninfinito Pn entonces el
problema es encontrar las condiciones para que este límite exista y en caso de
existir, ¿dependerá del estado inicial del sistema?

Bajo condiciones de “regularidad” la distribución asintótica existe y bajo estas

condiciones la distribución en el límite será independiente de la distribución inicial.

 TEOREMA BÁSICO DEL LÍMITE PARA CADENAS DE MARKOV:

En una cadena de Markov recurrente irreducible y aperiódica se tiene que:

1

n
Lim ninfinito Pii = inf
n=1 n fiin

Siendo fii la probabilidad de que el proceso regrese al estado i dado que comienza
en el estado i.
Y además
Lim ninfinito Pijn = Lim ninfinito Piin
Del teorema se pueden sacar fuertes conclusiones:

 Si M = Pij es la matriz de transición de una cadena de Markov, y si suponemos que

esta cadena es recurrente, irreducible y aperiódica, se nos garantiza la existencia
de la matriz M(infinita) donde la entrada j,i es Pij(inf) =Lim ninfinito Pijn , pero como
Pij(inf) = Pii(inf) se concluye que la matriz M(infinita) tiene sus columnas iguales, esto es
de la forma :

P00inf P00inf P00inf ….

P11inf P11inf P11inf …
M(infinita) = P22inf P22inf P22inf …
. . . .
Piiinf Piiinf Piiinf …

 Sea C una cadena irreducible y recurrente, entonces P ijn =0 para i pertenece a C y j

no pertenece a C dado n. Esto es, toda vez que entremos en C no es posible
abandonarlo, luego la matriz Pij con i,j perteneciendo a C estará asociada a una
 cadena de Markov irreducible y recurrente luego el teorema básico es aplicable si
la clase resulta ser aperiódica.

Ahora si Lim ninfinito Piin =  =0 y la clase es recurrente se dirá entonces que la

clase es débilmente ergódica o nula recurrente.
 Supongamos que Lim ninfinito Piin = i >0 para algún i en una clase aperiódica
recurrente, entonces j >0 para todo j que esté en la clase de i. Si este es el caso
diremos que la clase es positiva recurrente o fuertemente ergódica.

 El valor infn=1 n fiin = mi. se define como el tiempo medio de recurrencia del

estado i. Ahora se asegura, sin demostración, que bajo las condiciones de

regularidad del teorema anterior, que Lim ninfinito Piin = 1/mi = i. El cálculo de los i
se entrega en el siguiente teorema.

 Teorema. En una clase aperiódica positiva recurrente con estados i=0,1,2.... se

tiene que
Lim ninfinito Piin = i = infk=0 Pkj k ; infk=0 k =1 (1)
Cualquier conjunto i que satisfaga (1) se llama probabilidad de distribución
estacionaria de la cadena de Markov.

Observe que si Pij es la matriz de transición asociada a una clase recurrente ergódica
positiva, entonces la ecuación i = infk=0 Pkj k llevada a su forma matricial:

P00 P10 P20 … 1 1

P01 P11 P21 … 2 2
P02 P12 P22 … 3 3
. . . . . .
. . . . . . = .
. . . . . .
P0i P1i P2i … i i
. . . . . .
. . . . . .

Establece claramente que (1 2 3.....t es un auto vector (a la derecha) de la matriz

Pij asociado al autovalor 1. Para esto debemos saber que la matriz de Markov tiene
un autovalor igual a 1, más aún, este valor será el mayor, en valor absoluto, si la
 matriz es primitiva, esto es si todas sus entradas son positivas para alguna
potencia de la matriz.

ENUNCIADO DEL PROBLEMA.

La distribuidora “MI DIANITA” de la cual nosotros analizaremos el comportamiento de la

taza de transferencia de la demanda de jaboncillos como: JABONES NEKO, NIVEA,
PALMOLIVE Y OTROS.

- Las ventas semanales se dan en la siguiente tabla.

PRODUCTO SEMANA 01 SEMANA 02

NEKO 854 727

NIVEA 132 111

PALMOLIVE 300 290.5

OTROS 371 301

- La porción de la demanda que no continúa en el mismo producto “i” se traslada

uniformemente a los demás productos “n-i”.

- Las probabilidades iniciales de demanda de cada producto son: 51.54% de NEKO,

7.96% de NIVEA, 18.11% de PALMOLIVE y 22.39% de OTROS.

 SOLUCION DEL PROBLEMA

1) DESCRIPCION DE LOS ESTADOS:

NUMERO DE ESTADO ESTADO SIMBOLO DE ESTADO

01 NEKO N.
02 NIVEA C.
03 PALMOLIVE P.
04 OTROS O.

2) EL PROCESO DE TRANSFERENCIA DE DEMANDA COMO CADENA DE

MARKOV.

NEKO NIVEA

PALMOLIVE OTROS
El proceso se define como una cadena de Markov debido a que cumple la propiedad
Markoviana de la siguiente forma:

 Al pasar de un estado a otro la probabilidad de la demanda de cada producto

puede aumentar o disminuir.
 La cantidad de clientes (demanda) que llega a un estado proveniente de otro
estado, depende solo de que en el estado “i” el cliente quedo insatisfecho o este
desea probar nuevos productos “n-i”. El proceso se mira como un proveedor que le
entrega a su próximo cliente teniendo en cuenta que tanto le entrega al cliente del
nivel anterior y al cliente actual.

3) DATOS RESUMIDOS PARA CONSTRUIR LA MATRIZ

PRODUCTO SEMANA 01 SEMANA 02

NEKO 854 727

NIVEA 132 111

PALMOLIVE 300 290.5

OTROS 371 301

TOTAL 1657 1429.5

4) ICONO DEL PROBLEMA

NEKO NIVEA

PALMOLIVE OTROS

5) CALCULO DE PROBABILIDADES

PROPORCIONES DE DEMANDA (SEMANA 01)

semana 01 comprende desde el día 20 hasta el día 26

PROPORCIONES
DEMANDA DE NEKO 854 0.5154
DEMANDA DE NIVEA 132 0.0796
DEMANDA DE PALMOLIVE 300 0.1811
DEMANDA DE OTROS 371 0.2239
DEMANDA TOTAL 1657
PROBABILIDADES DE TRANSFERENCIA DE LA DEMANDA ENTRE ESTADOS

DEMANDA
QUE
SEMANA SEMANA DEMANDA QUE NO CONTINUA EN
PRODUCTO 01 02 CONTINUA EN "i" "i"
DEMANDA DE
NEKO 854 727 0.1487 0.8512
DEMANDA DE
NIVEA 132 111 0.159 0.8409
DEMANDA DE
PALMOLIVE 300 290.5 0.0317 0.9683
DEMANDA DE
OTROS 371 301 0.1886 0.8111

LA DEMANDA QUE NO CONTINUA EN "i" PASA EN PARTES IGUALES A "n-i"

OREJITAS KEKE DE N. PIONONO PASTELITOS

DEMANDA QUE NO CONTINUA
EN NEKO - 0.0496 0.0496 0.0496
DEMANDA QUE NO CONTINUA
EN NIVEA. 0.054 - 0.053 0.053
DEMANDA QUE NO CONTINUA
EN PALMOLIVE 0.0106 0.0106 - 0.0106
DEMANDA QUE NO CONTINUA
EN OTROS 0.063 0.063 0.063 -

6) MATRIZ DE TRANSICION

KEKE DE
ESTADOS OREJITAS NARANJA PIONONO PASTELITOS
NEKO 0.8512 0.0496 0.0496 0.0496
NIVEA 0.054 0.8409 0.053 0.053
PALMOLIVE 0.0106 0.0106 0.9683 0.0106
OTROS 0.063 0.063 0.063 0.8111

7) CLASIFICACION DE LOS ESTADOS

 Primeramente diremos que es una cadena de markov ergodica.

 Los cuatro estados (orejitas, keke de naranja, pionono, pastelitos) son:

 Estados aperiodicos.
 Estados concurrentes.
 Estados comunicados.
 Estados alcanzables.
8) ARBOL DE LA DISTRIBUCION DE PROBABILIDADES DEL COMPORTAMIENTO

DE LA TRANSFERENCIA DE LA DEMANDA.

N N
C
P
O

C N
C
P
O

P N
C
P
O

N
O C
P

De acuerdo a la matriz anterior y a los datos de la demanda de los productos se

generan las siguientes interrogantes:

1.- Cual es la matriz de transición para 2 semanas y 4 semanas.

 Pasando 2 semanas la demanda se mantendrá de la siguiente manera.

 P² = P*P

0.8512 0.0496 0.0496 0.0496 0.8512 0.0496 0.0496 0.0496

0.0540 0.8409 0.0530 0.0530 0.0540 0.8409 0.0530 0.0530
0.0106 0.0106 0.9683 0.0106 * 0.0106 0.0106 0.9683 0.0106
0.0630 0.0630 0.0630 0.8111 0.0630 0.0630 0.0630 0.8111

0.7309 0.0876 0.0958 0.0856

0.0953 0.7137 0.1017 0.0908
= 0.0205 0.0203 0.9307 0.0199
0.1088 0.1079 0.1183 0.6650
 Después de 4 semanas la matriz de transición de la transferencia de demanda será la
siguiente:

 (P²)²

0.7309 0.0876 0.0958 0.0856 0.7309 0.0876 0.0958 0.0856

0.0953 0.7137 0.1017 0.0908 0.0953 0.7137 0.1017 0.0908
= 0.0205 0.0203 0.9307 0.0199 * 0.0205 0.0203 0.9307 0.0199
0.1088 0.1079 0.1183 0.6650 0.1088 0.1079 0.1183 0.6650

0.5538 0.1317 0.1782 0.1294

0.1496 0. 5296 0. 1870 0.1354
= 0.0381 0.0374 0.8725 0.0354
0.1646 0.1607 0.2101 0.4637

2.- Conociendo la demanda inicial de:

NEKO 0.5154
NIVEA 0.0796
PALMOLIVE 0.1811
OTROS 0.2239

Después de 2 y 4 semanas cual será el nuevo porcentaje de cantidad demandada de

orejitas, keke de naranja, pionono, pastelitos.

 Después de 2 semanas será:

 p*P²

= 0.5154 0.0796 0.1811 0.2239 * 0.7309 0.0876 0.0958 0.0856

0.0953 0.7137 0.1017 0.0908
0.0205 0.0203 0.9307 0.0199
0.1088 0.1079 0.1183 0.6650

N C P O

= 0.4123 0.1296 0.2525 0.2038

El nuevo porcentaje de cantidad demandada de cada producto después de 2 semanas
será:

PRODUCTO PORCENTAJE DE CANTIDAD DEMANDADA

DEMANDA DE NEKO 41.23%
DEMANDA DE NIVEA 12.98%
DEMANDA DE PALMOLIVE 25.25%
DEMANDA DE OTROS 20.38%

 Después de 4 semanas será:

 p*(P²)²

= 0.5154 0.0796 0.1811 0.2239 * 0.5538 0.1317 0.1782 0.1294

0.1496 0. 5296 0. 1870 0.1354
0.0381 0.0374 0.8725 0.0354
0.1646 0.1607 0.2101 0.4637

N C P O

= 0.3411 0.1559 0.3118 0.1877

El nuevo porcentaje de cantidad demandada de cada producto después de 2 semanas

será:

PRODUCTO PORCENTAJE DE CANTIDAD DEMANDADA

DEMANDA DE NEKO 34.11%
DEMANDA DE NIVEA 15.59%
DEMANDA DE PALMOLIVE 31.18%
DEMANDA DE OTROS 18.77%
3.-Obtener la matriz limite de las sucesivas potencias de la matriz de transición

para conocer las probabilidades de demanda a largo plazo.

 t*P=t Pⁿ

0.8512 0.0496 0.0496 0.0496

0.0540 0.8409 0.0530 0.0530 = t1 t2 t3 t4
t1 t2 t3 t4 * 0.0106 0.0106 0.9683 0.0106
0.0630 0.0630 0.0630 0.8111

0.8512 t1 + 0.0496 t2 + 0.0496 t3 + 0.0496 t4 = t1

0.0540 t1 + 0.8409 t2 + 0.0530 t3 + 0.0530 t4 = t2

0.0106 t1 + 0.0106 t2 + 0.9683 t3 + 0.0106 t4 = t3

0.0630 t1 + 0.0630 t2 + 0.0630 t3 + 0.8111 t4 = t4

t1 + t2 + t3 + t4 =1

SOLUCION

t1 = 0.2356
t2 = 0.1981
t3 = 0.3674
t4 = 0.1981

Pⁿ = 0.2356 0.1981 0.3674 0.1981

0.2356 0.1981 0.3674 0.1981
0.2356 0.1981 0.3674 0.1981
0.2356 0.1981 0.3674 0.1981
Esta es la matriz limite en la que hay un equilibrio establece las cantidades demandadas
de los 4 productos.

 El porcentaje de las cantidades demandadas a largo plazo son:

PRODUCTO PORCENTAJE DE CANTIDAD DEMANDADA

DEMANDA DE NEKO 23.56%
DEMANDA DE NIVEA 19.81%
DEMANDA DE PALMOLIVE 36.74%
DEMANDA DE OTROS 19.81%
 CONCLUSIONES

1. Esta primera conclusión es para decir que no se concluirá sobre los resultados
numéricos del proceso, pues en el desarrollo del mismo se explica claramente las
respuestas obtenidas. Nuestro deseo es expresar conclusiones alrededor del proceso
de construcción del conocimiento y crear una inquietud acerca del proceso a analizar.

2. Se requiere de más tiempo para poder elaborar un buen documento que sirva como
apoyo a otras personas que quieran profundizar en el modelado y explicación de una
cadena de Markov.

3. No es fácil construir una matriz de transición.

4. En este problema en particular se tuvo que modelar el proceso de la demanda con los
datos disponibles en la empresa. No hay otros más.

5. Se aprendió a construir la matriz de transición por medio de proporciones generadas

por los datos totales de la demanda en cada uno de los productos fabricados (orejitas,
keke de naranja, pionono, pastelitos).

6. El problema se abordo desde una perspectiva académica, pero siempre con el norte
de responderle a un empresario de forma técnica y científica todas las inquietudes que
se generan alrededor de una cadena de Markov.

7. Las cadenas de Markov no deben abordase de una forma simple, ellas tienen una
sustentación matemática fuerte y unos requisitos que se deben probar.

Existen inquietudes que nos llevan a concluir que no es solamente construir una matriz y
calcularle probabilidades de estado estable y tiempos de ocurrencia y recurrencia, las
cadenas de Markov son mucho más.
 BIBLIOGRAFÍA

 INTRODUCCIÓN A LA INVESTIGACIÓN DE OPERACIONES, Hiller and

Lieberman, Edit.Mc Graw Hill.

 ÁLGEBRA LINEAL. Grossman, Edit. Iberoamérica.

 APUNTES DE CLASE, Ing. CARLOS COELLO OBALLE - UNP.

 Documentos bajados de la Internet.

1. Cadenas de Markov
2. Límites ergódicos en las cadenas de Markov.
3. Notas sobre cadenas de Markov.
4. Análisis de Markov.