Cadenas de Markov

Lo que ocurra mañana dependerá de lo sucedido hoy…

1 Bibliografía Sugerida: Investigación de Operaciones. Hamdy Taha.

Cadenas de Markov. Teoría y Aplicaciones. H. Rojo y M. Miranda. Apunte I3CT4
Procesos estocásticos - Introducción
Un Proceso Estocástico estudia el comportamiento en el tiempo de una
sistema dinámico que posee naturaleza aleatoria.

“La presencia de un fenómeno aleatorio hace que el sistema evolucione según el

parámetro, que normalmente es el tiempo t, cambiando probabilísticamente de
estado.”

Entonces, “al realizar una serie de observaciones del proceso en diferentes

momentos y bajo las mismas condiciones, los resultados de las observaciones
serán, generalmente, diferentes.”

En otras palabras, un proceso o sucesión de eventos que se desarrolla en el

tiempo en el cual el resultado en cualquier etapa contiene algún elemento que
depende del “azar” se denomina proceso aleatorio o proceso estocástico.

2
Procesos estocásticos - Introducción
“Para describir el comportamiento del sistema es necesario definir una
variable aleatoria X(t) que represente una característica mensurable de los
distintos estados que puede adoptar el sistema según sea el resultado del
fenómeno aleatorio y su correspondiente probabilidad de estado asociada
P [X(t)] .”

P.E. { T ; X(t) tT ; P [X(t)] }

Tiempo Comportamiento Probabilidad
de la variable de la variable
aleatoria en aleatoria
el tiempo

Un ejemplo podría ser las condiciones del tiempo en Buenos Aires en una serie
de días consecutivos: el tiempo cambia día a día de una manera que en apariencia
es algo aleatoria. O bien, la sucesión podría consistir en los precios de las
acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de
aleatoriedad.
3
Procesos estocásticos - Ejemplos
Otros ejemplos de procesos estocásticos podrían ser:

El número de vehículos esperando en un peaje en el instante t.

El número total de llamadas recibidas solicitando un determinado servicio hasta

el instante t.

El número de máquinas descompuestas o en reparación en un determinado taller

en el instante t.

El nivel de inventario de cierto producto al final del día t.

El valor de una determinada acción en el instante t.

4
Procesos estocásticos - Ejemplos

Por ejemplo, la evolución del número de compradores en un local comercial al

ser abierto al público, entre las 8:00 y 9:40 de la mañana (100 minutos) puede
ser representada por un proceso estocástico y una posible realización de éste se
observa en la siguiente gráfica:

6 Nt
Número 5
de
4
compradores
3
2
1
0

Tiempo
5
Procesos estocásticos - Introducción
Un ejemplo de un proceso estocástico es una sucesión de lanzamientos de una
moneda. En este caso, el resultado en cualquier etapa es independiente de todos
los resultados previos (esta condición de independencia es parte de la definición
de los ensayos de Bernoulli).

Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende

de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un
día determinado no es totalmente aleatorio sino que es afectado en cierto grado
por el tiempo de días previos. El precio de una acción al cierre de cualquier día
depende en cierta medida del comportamiento de la bolsa en días previos.

6
Procesos estocásticos - Clasificación
► Según la memoria que guarda el proceso de la historia de los estados
anteriores:
► Procesos aleatorios puros: la probabilidad de que el sistema se encuentre en un
estado cualquiera X(t) en un instante t se puede calcular de manera independiente a
cuales fueron los estados anteriores.
► Ejemplos: Ensayos independientes al azar: dados, ruleta, etc.

► Procesos sin memoria (markovianos): la probabilidad de que el sistema se

encuentre en un estado cualquiera X(t) en un instante t se puede calcular conociendo el
estado inmediato anterior.
► Ejemplos: Sistema de filas de espera, niveles de inventarios, campañas de marketing,
etc.
► Procesos con memoria.

7
Procesos estocásticos markovianos
En la mayoría de los procesos estocásticos, cada resultado depende de lo que
sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día
determinado no es totalmente aleatorio sino que es afectado en cierto grado
por el tiempo de días previos. El precio de una acción al cierre de cualquier
día depende en cierta medida del comportamiento de la bolsa en días previos.

Un caso simple de un proceso estocástico en que los resultados dependen de

otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de
la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se
denomina proceso de Markov.

Estos procesos tienen memoria, recuerdan el último evento y eso condiciona

las posibilidades de los eventos futuros. Esto justamente los distingue de una
serie de eventos independientes como el hecho de tirar una moneda.

8
Procesos de Markov - Clasificación
► Según la naturaleza discreta o continua del espacio de estados de la variable
X(t):

► Proceso de Markov: cuando X(t) representa una magnitud continua (energía, potencia,
corriente eléctrica, etc.) estamos en presencia de un Proceso de Markov con
estados continuos o simplemente Proceso de Markov.

► Cadena de Markov: cuando X(t) representa una magnitud discreta (unidades en stock
en un depósito, cantidad de clientes en un sistema de filas de espera, etc.) estamos en
presencia de un Proceso de Markov con estados discretos o simplemente Cadena
de Markov.

9
Procesos de Markov - Clasificación
► Según la naturaleza discreta o continua del parámetro tiempo t:

► Parámetro continuo: la definición de la variable aleatoria X(t) requiere la

especificación del parametro t, es decir, del conjunto de instantes en que se puede
observar los estados del sistema. Así si las observaciones se realizan en cualquier
instante del continuo (t ≥ 0), hablamos de un proceso o cadena de Markov de
parámetro continuo.

► Parámetro discreto: cuando las observaciones se efectúan en determinados instantes

de tiempo (por ejemplo, a cada hora t = 0, 1, 2, …), hablamos de un proceso o cadena
de Markov de parámetro discreto.

10
Procesos de Markov - Clasificación
► Clasificación de los procesos de Markov según la naturaleza discreta o
continua del espacio de estados de la variable X(t) y del parámetro tiempo
t:

Naturaleza del espacio de estados X(t)

Discreto Continuo
Naturalez Discreto Cadenas de Markov Procesos de Markov
a del (t = 0,1,2,…) de parámetro de parámetro
parámetro discreto discreto
tiempo t
Continuo Cadenas de Markov Procesos de Markov
(t ≥ 0) de parámetro de parámetro
continua continuo

11
Procesos Estocásticos, Procesos de
Markov y Cadenas de Markov

Procesos
Estocásticos
Procesos de Cadenas de
Markov Markov

Parámetro
Discreto

Parámetro
Continuo

12
Repasando
Una Cadena de Markov es una serie de eventos (de una variable aleatoria
de magnitud discreta), donde la probabilidad de que ocurra un evento
determinado depende del evento inmediato anterior.

Por lo tanto, el último evento condiciona las posibilidades de los eventos

futuros, por lo que se dice que las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento.

En otras palabras, una cadena de Markov es una sucesión de ensayos

similares u observaciones en los cuales cada ensayo tiene el mismo número
finito de resultados posibles y en donde la probabilidad de cada resultado
para un ensayo dado depende sólo del resultado del ensayo
inmediatamente precedente y no de cualquier resultado previo.

13
Propiedad de Markov
Dada una secuencia de variables aleatorias X1, X2, X3 …. tales que el valor de Xn
es el estado del proceso en el tiempo n.

Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una

función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i.

Esto implica que el estado en t+1 sólo depende del estado en t y no de la

evolución anterior del sistema.

14
Matriz de Transición
Al trabajar con cadenas de Markov, es útil pensar la sucesión de ensayos como
experimentos efectuados en cierto sistema físico, cada resultado dejando a este
sistema en cierto estado.

Por ejemplo, consideremos una sucesión de elecciones políticas en cierto país: el

sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto
estado, es decir en el control del partido ganador.

Si sólo hay dos partidos políticos fuertes que se alternan en el gobierno,

llamados A y B, entonces podemos decir que el país se encuentra en el estado A
o B si el partido A o B ganara la elección. Cada ensayo (o sea cada elección),
coloca al país en uno de los dos estados A o B.
15
Matriz de Transición
Una sucesión de 10 elecciones podría producir resultados tales como los
siguientes:

A, B, A, A, B, B, B, A, B, B

La primera elección en la sucesión deja en el poder al partido A, la segunda fue

ganada por el partido B, y así sucesivamente, hasta que la décima elección la gane
el partido B.

Supongamos que las probabilidades de que el partido A o B ganen la próxima

elección son determinadas por completo por el partido que está en el poder
ahora.

16
Matriz de Transición
Por ejemplo podríamos tener las probabilidades siguientes:

• Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A

ganará la próxima elección y una probabilidad de ¾ de que el partido B gane la
elección siguiente.

• Si el partido B está en el poder, hay una probabilidad de 1/3 de que el partido A

gane la elección siguiente y una probabilidad de 2/3 que el partido B permanezca
en el poder.

17
Matriz de Transición
En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que las
probabilidades de los dos resultados de cada elección están determinadas por el
resultado de la elección precedente.

Lo descrito anteriormente puede representarse gráficamente usando la siguiente

red:

3/4
1/4 2/3
Los círculos A y B se denominan
nodos y representan los estados del
A B proceso, las flechas que van de un
nodo a si mismo o al otro son los
arcos y representan la probabilidad
de cambiar de un estado al otro
1/3

18
Matriz de Transición
La información probabilística que se acaba de dar se puede representar de
manera conveniente por la siguiente matriz:

Esta matriz se denomina matriz de transición. Los elementos de la matriz de

transición representan las probabilidades de que en el próximo ensayo el estado
del sistema del partido indicado a la izquierda de la matriz cambie al estado del
partido indicado arriba de la matriz.
19
Matriz de Transición
Definición: Consideremos un proceso de Markov en que el sistema posee n
estados posibles, dados por los números 1, 2, 3, …., n. Denotemos pij a la
probabilidad de que el sistema pase al estado j después de cualquier ensayo en
donde su estado previo era i. Los números pij se denominan probabilidades de
transición y la matriz nxn P = (pij) se conoce como matriz de transición del
sistema.

Además se cumple que:

 pi1 + pi2 + ... + pin = 1

 Cada pij ≥ 0

20
Vector de estado inicial
Consideremos un sistema de n estados posibles. Para cualquier etapa en el
futuro (m transiciones) no podemos predecir en qué estado se encontrará el
sistema pero sí podríamos definir las probabilidades de que se encuentre en cada
uno de los estados 1, 2, ….,n.

En general, si p1 , p2 , ... , pn son las probabilidades de que el sistema se encuentre

en los estados 1, 2, ….., n, respectivamente, entonces la matriz de dimensión 1xn
(p1 , p2 , ... , pn) se conoce como matriz de estado inicial o vector de estado
inicial del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la
matriz de estado inicial como P(0) y a la matriz de estado después de k ensayos o
etapas por P(k) .

21
Vector de estado inicial
Tomemos otro ejemplo. Consideremos el valor de una acción que varía a diario.
Cuando la bolsa de valores se encuentra estable, un incremento en un día tiende
a anteceder una baja el día siguiente, y una baja por lo regular es seguida por un
alza. Por lo tanto, las probabilidades de alza y baja del valor del acción se pueden
representar a través de la siguiente matriz de transición:

22
Vector de estado inicial
Si ayer se obtuvo una baja en el valor de la acción, el vector de estado inicial
resultante sería:

P(0) = ( 0 1)

En la matriz de transición vemos que después de un día, la acción está en alza

con probabilidad de 0,8 y en baja con probabilidad de 0,2, así, la matriz de estado
P1 después de un día está dada por:

P(1) = ( 0,8 0,2)

23
Vector de estado inicial
La probabilidad de que la acción vaya al alza o a la baja después de dos días sería:

p1 = (0,8)(0,1) + (0,2)(0,8) = 0,24

p2 = (0,8)(0,9) + (0,2)(0,2) = 0,76

Por lo tanto, el vector de estado luego de dos días resulta:

P(2) = (0,24 0,76)

De esta forma podemos obtener el vector de estado en cualquier etapa

conociendo el vector de estado del ensayo previo.

24
Probabilidad de Transición de m pasos
Una de las propiedades de la matriz de transición es que es estacionaria. Es decir,
no cambia con el tiempo. Esto también implica:

Definición: Consideremos un proceso de Markov en que el sistema posee n

estados posibles, dados por los números 1, 2, 3, …., n. Denotemos pij(m) a la
probabilidad de que el sistema pase al estado j luego de m ensayos en donde su
estado previo era i. Se denomina pij(m) a las probabilidades de transición de
m pasos.

25
Matriz de transición de m pasos

Definición: Si P denota la matriz de transición de una cadena de Markov y P(n)

es la matriz de estado después de n ensayos, entonces la matriz de estado P(n+1)
después del ensayo siguiente está dada por:

P(n+1) = P(n) . P

26
Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
las probabilidades de transición de n pasos pij(n).

Al ir del estado i al estado j en n pasos el proceso estará en algún estado k

después de exactamente m pasos, lo que se expresa de la siguiente manera:

Representa la probabilidad condicional de que, si se comienza en el estado i el

proceso vaya al estado k después de m pasos y después al estado j en n-m pasos.

27
Ecuaciones de Chapman-Kolmogorov
Como ya vimos, esto mismo se puede expresar de otra forma:

P(n+m) = P(n) . P(m)

Luego, si m = n = 1 tenemos:

P(2) = P(1) . P(1)

Si m = 1 y n = r – 1 tenemos:

P(r – 1 + 1) = P(r – 1) . P(1) = P(r)

28
Cadenas de Markov

Veamos un ejemplo

El problema del Jardinero

29
Cadenas de Markov – Segunda clase

RETOMANDO…

30
Procesos de Markov - Clasificación
► Clasificación de los procesos de Markov según la naturaleza discreta o
continua del espacio de estados de la variable X(t) y del parámetro tiempo
t:

Naturaleza del espacio de estados X(t)

Discreto Continuo
Naturalez Discreto Cadenas de Markov Procesos de Markov
a del (t = 0,1,2,…) de parámetro de parámetro
parámetro discreto discreto
tiempo t
Continuo Cadenas de Markov Procesos de Markov
(t ≥ 0) de parámetro de parámetro
continua continuo

31
Matriz de Transición
Definición: Consideremos un proceso de Markov en que el sistema posee n
estados posibles, dados por los números 1, 2, 3, …., n. Denotemos pij a la
probabilidad de que el sistema pase al estado j después de cualquier ensayo en
donde su estado previo era i. Los números pij se denominan probabilidades de
transición y la matriz nxn P = (pij) se conoce como matriz de transición del
sistema.

Además se cumple que:

 pi1 + pi2 + ... + pin = 1

 Cada pij ≥ 0

32
Matriz de transición de m pasos

Definición: Si P denota la matriz de transición de una cadena de Markov y P(n)

es la matriz de estado después de n ensayos, entonces la matriz de estado P(n+1)
después del ensayo siguiente está dada por:

P(n+1) = P(n) . P

33
Vector de estado inicial
En general, si p1 , p2 , ... , pn son las probabilidades de que el sistema se encuentre
en los estados 1, 2, ….., n, respectivamente, entonces la matriz de dimensión 1xn
(p1 , p2 , ... , pn) se conoce como matriz de estado inicial o vector de estado
inicial del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la
matriz de estado inicial como P(0) y a la matriz de estado después de k ensayos o
etapas por P(k) .

El vector de estado inicial del sistema estará conformado por ceros y un uno,
identificando este el estado inicial en el que se encuentra el sistema.

Ejemplo:

P(0) = ( 0 1)

34
Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
las probabilidades de transición de n pasos pij(n).

Al ir del estado i al estado j en n pasos el proceso estará en algún estado k

después de exactamente m pasos, lo que se expresa de la siguiente manera:

Representa la probabilidad condicional de que, si se comienza en el estado i el

proceso vaya al estado k después de m pasos y después al estado j en n-m pasos.

35
Cadenas de Markov Homogéneas
En una cadena de Markov, en la que X(t) representa una magnitud discreta
como cantidad de unidades en stock, clientes en una cola, etc., ∆t representa
el lapso de tiempo (discreto o continuo) en el que se produce una
“transición”, es decir, el posible cambio de estado de X(t)

(a diferencia de un proceso de markov , en donde X(t) representa por

ejemplo, corriente eléctrica, presión, etc.).

Decimos entonces que una Cadena de Markov es homogénea cuando la

probabilidad condicional de transición del estado i al estado j en cualquier
instante t sólo depende de la diferencia ∆t.

P { X(t + ∆t) = j / X(t) = i } = Pij (t, t + ∆t)

36
Clasificación de las Cadenas de Markov
Homogéneas
Estados accesibles

Un estado j es accesible desde un estado i si se cumple que para algún paso n ≥

1 es Pij (n) > 0, lo que significa que es posible pasar del estado i al estado j luego
de un número de transicíones.

La accesibilidad es una propiedad transitiva:

Si i  j y j  k , entonces i  k

37
Clasificación de las Cadenas de Markov
Homogéneas
Estados comunicantes

Dos estados i y j son comunicantes si j es accesible desde i y viceversa.

La comunicación también es una propiedad transitiva:

Si i  j y j  k , entonces i  k

38
Clasificación de las Cadenas de Markov
Homogéneas
Clase comunicante

Una clase comunicantes es un conjunto de estados que se comunican todos

entre sí. Como caso particular, la clase puede consistir en un solo estado.

Las clases comunicantes se pueden clasificar en recurrentes y transitorias.

39
Clasificación de las Cadenas de Markov
Homogéneas
Clase comunicante - Clases recurrentes

Una clase es recurrente cuando la probabilidad de que la cadena se encuentre

en un estado de dicha clase después de ∞ transiciones es positiva. Esto significa
que una vez que alcanza dicha clase, siempre regresará a ella.

Un caso especial de una clases recurrentes lo constituyen los estados

absorventes, que son aquellos estados que una vez alcanzados no pueden ser
abandonados.

40
Clasificación de las Cadenas de Markov
Homogéneas
Clase comunicante - Clases transitorias

Una clase es transitoria cuando la probabilidad de que la cadena se encuentre

en un estado de dicha clase después de ∞ transiciones es nula. Esto significa que
una vez que alcanza dicha clase existe una probabilidad de que no retorne nunca
a ella.

41
Clasificación de las Cadenas de Markov
Homogéneas
Estados sin retorno

Son aquellos estados que no se comunican con ningún otro estado, ni si quiera
consigo mismo. Esto significa que una vez que la cadena ha alcanzado dicho
estado la probabilidad de que retorne a él es nula.

42
Clasificación de las Cadenas de Markov
Homogéneas

Cadenas de Markov
Homogéneas

Estados sin retorno Clases comunicantes

Recurrentes Transitorias

Estados absorbentes

43
Clasificación de las Cadenas de Markov
Homogéneas
Veamos algunos ejemplos:

0 1 2 3 4 5 6 7

El estado 4 es accesible desde los estados 2, 3 y 4 en un paso, desde el 1 en dos pasos
y desde el estado 0 en tres pasos.

Los estados 5 y 7 son comunicantes.

Algunas clases comunicantes: C1 = {2} , C2 = {3 , 4} , C3 = {5 , 6 , 7}

C3 es una clase recurrente

C1 y C2 son clases transitorias.

Los estados 0 y 1 son estados sin retorno.

44
Clasificación de las Cadenas de Markov
Homogéneas: Ergódicas y no Ergódicas

Una cadena de Markov homógenea es ergódica o irreductible cuando todos sus

estados se comunican, es decir, constituyen una única clase comunicante
recurrente.

Las cadenas ergódicas pueden ser clasificadas en regulares y periódicas.

45
Clasificación de las Cadenas de Markov
Homogéneas: Ergódicas y no Egódicas
Cadenas ergódicas regulares

Una cadena ergódica es regular o aperiódica cuando todos los estados pueden
comunicarse simultáneamente en una cantidad r de pasos. En estas condiciones,
Pr es una matriz con todos sus elementos no nulos.

Un criterio para comprobar que una cadena es regular consiste en calcular las
sucesivas potencias de P hasta encontrar un número r de pasos tal que la matriz
Pr tiene todos sus elementos no nulos.

46
Clasificación de las Cadenas de Markov
Homogéneas: Ergódicas y no Egódicas
Cadenas ergódicas periódicas

Una cadena ergódica es periódica cuando no se puede encontrar una potencia r

de P para la cual todos los elementos de Pr sean no nulos. En estas condiciones
las sucesivas potencias de la matriz Pr denotan un patrón periódico que permite
asegurar siempre la presencia de al menos un cero en Pr .

47
Clasificación de las Cadenas de Markov
Homogéneas: Ergódicas y no Egódicas
Cadenas no ergódicas

Una cadena de Markov es no ergódica o reductible o separable cuando no

todos sus estados se comunican, en esas condiciones la cadena es separable en
un conjunto de clases comunicantes y estados sin retorno.

Volvamos a la cadena del ejemplo:

48
Clasificación de las Cadenas de Markov
Homogéneas
Cadena no ergódica

0 1 2 3 4 5 6 7

Clases comunicantes: C1 = {2} , C2 = {3 , 4} , C2 = {5 , 6 , 7}

La cadena es separable en:

C3 es una clase recurrente

C1 y C2 son clases transitorias.

Los estados 0 y 1 son estados sin retorno.

49
Clasificación de las Cadenas de Markov
Homogéneas: Ergodicidad

Cadenas de Markov
Homogéneas

Cadenas Ergódicas Cadenas no ergódicas

Regulares Periódicas Absorbentes Cíclicas

50
Régimen Permanente y Régimen
Transitorio
Se define como Régimen Permanente o Estado Estacionario de una
cadena de Markov homogénea a la situación que el sistema alcanza luego de un
período relativamente largo de tiempo.

En dicho régimen la cadena ya ha entrado en una condición de equilibrio

estocástico , lo que significa que sus probabilidades de estado devienen estables
en el tiempo.

Regimen transitorio es la situación en que el sistema se encuentra luego de

un período relativamente corto a través del cual la cadena no ha encontrado una
condición de equilibrio estocástico, por lo que sus probabilidades de estado no
son estables en el tiempo.

51
Condiciones para alcanzar el Régimen
Permanente o Estado Estacionario.
El estudio de las Cadenas Ergódicas Regulares interesa particularmente
porque las conclusiones, bajo determinadas condiciones, son extensibles a las
Cadenas Ergódicas Periódicas y a las clases recurrentes de las cadenas
no ergódicas.

Como vamos a ver a continuación, sólo puede asegurarse que una cadena de
Markov será estable en el régimen permanente o en otras palabras, admite
estado estacionario, cuando es una cadena Ergódica Regular.

52
Comportamiento de la cadenas
regulares en el régimen permanente
Para describir el comportamiento de una cadena regular en el régimen
permanente o al largo plazo es preciso conocer las probabilidades de transición
y de estado cuando el número n de transiciones tiende a ∞.

Se puede demostrar que si la cadena es regular , el límite de la matriz de

transición P(n) cuando n tiende a ∞ es una matriz regular (todos sus elementos
son positivos y todas sus filas iguales). Es decir:

P0 … Pj … Pm

lim P(n) = lim Pn = P0 … Pj … Pm

n∞ n∞ P0 … Pj … Pm
53
Comportamiento de la cadenas
regulares en el régimen permanente
Luego, aplicando la ecuación de Chapman - Kolmogorov obtenemos:

P0 … Pj … Pm

lim P(n) = P(0) . lim P(n) = | P0(0) … Pi(0) … Pm(0) | x P0 … Pj … Pm

n∞ n∞ P0 … Pj … Pm

m
Y por cumplirse que : ∑ Pi(0) = 1 , queda:
i=0

lim P(n) = P = | P0 … Pj … Pm |

n∞
54
Comportamiento de la cadenas
regulares en el régimen permanente
Estas ecuaciones expresan que una cadena de Markov regular , luego de un
número suficientemente grande de transiciones (n  ∞), sus probabilidades de
transición y de estado se estabilizan en valores límites iguales para cada estado j,
e independientes del estado inicial i.

Este estado es el que conocemos como el estado o régimen estacionario y sus

probabilidades de estado representan los porcentajes de tiempo que la cadena
permanece en cada estado luego de un período largo de tiempo.

Dicho de otra forma, representan las probabilidades de que el sistema se

encuentre en un determinado estado en el largo plazo.

55
Cálculo del estado estacionario
El estado estacionario se puede calcular de tres maneras distintas:

1 – Mediante: lim P(n) = lim Pn , con n  ∞

Es decir, elevando a la n a la matriz de transiciones P.

2 – Mediante :

Si p(n) = p(n-1) . P

Y además lim p(n) = lim p(n - 1) = p,

n∞ n∞
Reemplazando entonces tenemos que: p = p . P
m
Y dado que : ∑ Pj(0) = 1
j=0
56
Cálculo del estado estacionario
Luego, conocida la matriz de transición P dela cadena regular , se puede calcular
el vector de probabilidades p del régimen permanente.

Entonces si: p = p . P

Luego: p .{ P – I } = 0

La matriz A = [P – I] define un sistema de ecuaciones linealmente

dependientes. Para calcular las probabilidades de estado en régimen permanente
se excluye una de las ecuaciones y se reemplaza por una ecuación que indica que
la sumatoria de probabilidades es igual a 1.
57
Cálculo del estado estacionario
Se obtiene una ecuación del tipo: p .A = B

El vector p se obtiene resolviendo: p = B . A-1

3 – Mediante la ecuación de flujos probabilísticos.

∑ Pi . Pij = Pj . ∑ Pjk
i≠j j≠k

Esta es la ecuación de flujos probabilísticos, y expresa que para un nodo genérico

j la suma de los flujos probabilísticos que concurren al nodo es igual a la suma de
flujos probabilísticos que salen del nodo.
58
Cálculo del estado estacionario
1 - Chapman - Kolmogorov
Volvamos al Caso del Jardinero:

Tenemos que:

P = 0,30 0,60 0,10 Tiene todos sus elementos no nulos, por lo

que podemos asegurar que es Regular y por
0,10 0,60 0,30 lo tanto, las sucesivas potencias de Pn tienden
a un límite fijo.
0,05 0,40 0,55

Luego vemos que:

P2 = 0,1550 0,5800 0,2650 P4 = 0,1068 0,5330 0,3603

0,1050 0,5400 0,3550 0,1023 0,5265 0,3713

0,0825 0,4900 0,4275 0,0995 0,5219 0,3786

59
Cálculo del estado estacionario
1 - Chapman - Kolmogorov
Y finalmente:

P8 = 0,1018 0,5255 0,3729 P10 = 0,1017 0,5254 0,3729

0,1017 0,5254 0,3729 0,1017 0,5254 0,3729

0,1017 0,5254 0,3729 0,1017 0,5254 0,3729

Con P10 = P11 = lim P(n)

n∞

60
Cálculo del estado estacionario
2 – Ecuación de Estado
Tenemos que:

P = 0,30 0,60 0,10 Si: p = p . P

0,10 0,60 0,30 Entonces: p .{ P – I } = 0

0,05 0,40 0,55 Y P0 + P1 + P2 = 1

Entonces:

0,30 0,60 0,10

P0 P1 P2 = P0 P1 P2 x 0,10 0,60 0,30

0,05 0,40 0,55

P0 + P1 + P2 = 1

61
Cálculo del estado estacionario
2 – Ecuación de Estado
Luego:

0,7 P0 – 0,1 P1 – 0,05 P2 = 0

– 0,6 P0 + 0,4 P1 – 0,4 P2 = 0

– 0,1 P0 – 0,3 P1 + 0,45 P2 = 0

P0 + P1 + P2 = 1

Que es un sistema de 4 ecuaciones y 3 incógnitas. Eliminando una de las tres primeras se

obtiene un sistema del tipo: p . A = B

0,7 P0 – 0,1 P1 – 0,05 P2 = 0

– 0,6 P0 + 0,4 P1 – 0,4 P2 = 0

P0 + P1 + P2 = 1

62
Cálculo del estado estacionario
2 – Ecuación de Estado
Entonces:

Tenemos que:

A = 0,70 -0,10 -0,05 ; B = 0

-0,60 0,40 -0,40 0

1 1 1 1

A-1 = 1,356 0,085 0,1017

0,339 1,271 0,5254

-1.695 -1,356 0,3729

Y luego p = B . A-1 = (0,1017 ; 0,5254 ; 0,3729)

63
Cálculo del estado estacionario
3 – Ecuación de Balance de Flujos Prob.
Tenemos que:

P = 0,30 0,60 0,10

0,10 0,60 0,30

0,05 0,40 0,55

Entonces:

Para el nodo 0: 0,10 P1 + 0,05 P2 = (0,60 + 0,10) P0

Para el nodo 1: 0,60 P0 + 0,40 P2 = (0,10 + 0,30) P1

Para el nodo 2: 0,10 P0 + 0,30 P1 = (0,05 + 0,40) P2

64
Cálculo del estado estacionario
3 – Ecuación de Balance de Flujos Prob.
Ordenando:

Para el nodo 0: 0,70 P0 – 0,10 P1 – 0,05 P2 = 0

Para el nodo 1: – 0,60 P0 + 0,40 P1 – 0,40 P2 = 0

Para el nodo 2: – 0,10 P0 – 0,30 P1 + 0,45 P2 = 0

Considerando además que :

P0 + P1 + P2 = 1

Obtenemos el mismo sistema de ecuaciones alcanzado a través de la ecuación de estado,

y resolvemos de la misma manera.

65