1.

CADENAS DE MARKOV

Algunas veces nos interesa saber como cambia una variable aleatoria a través del tiempo. Por ejemplo, desearíamos
conocer cómo evoluciona el precio de las acciones de una empresa en el mercado a través del tiempo. El estudio de
como evoluciona una variable aleatoria incluye el concepto de procesos estocásticos. En este capítulo explica esos
procesos, en especial uno que se conoce como cadena de Markov. Las cadenas de Markov se han aplicado en áreas
tales como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción. Comenzaremos
definiendo el concepto de un proceso estocástico. En el resto del capítulo describiremos las ideas básicas que se
necesitan para comprenderlas cadenas de Markov.

1.1-¿QUÉ ES UN PROCESO ESTOCÁSTICO?

Supóngase que observamos alguna característica de un sistema en puntos discretos en el tiempo (que llamarnos 0,1,2. .
,). Sea Xt el valor de la característica del sistema en el tiempo t. En la mayor parte de los casos no se conoce Xt con
certeza antes del tiempo t y se puede considerar como variable aleatoria. Un proceso estocástico de tiempo discreto es
simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2, ., . A continuación daremos unos
ejemplos de procesos estocásticos de tiempo discreto.

Ejemplo La ruina del jugador

En el tiempo 0 tengo 2 dólares. En los tiempos 1, 2. ... participo en un juego en el que apuesto 1 dólar. Gano el juego con
probabilidad p, y lo pierdo con probabilidad 1 -p. Mi meta es aumentar mi capital a 4 dólares, y tan pronto como lo logre
se suspende el juego. El juego también se suspende si mi capital se reduce a 0 dólares. Si definimos que Xt es mi capital
después del juego cuando el tiempo es t, si es que lo hay, entonces se puede considerar que X0, X1, X2, ..., Xt son
procesos estocásticos de tiempo discreto. Nótese que X0 = 2 es una constante conocida, pero que X1 y las demás Xt,
son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad 1 - p. Nótese que si Xt = 4, entonces
Xt+1 y todas las demás Xt, también serán igual a 4. Igualmente, si Xt = 0, entonces X t+1 y todas las demás X t serán
cero también. Por razones obvias, a estos casos se les llama problema de la ruina del jugador.
——————————————————————————————————————•
Ejemplo
En una urna que contiene bolas hay dos sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola
elegida no está pintada y la moneda produce cara, pintamos la bola de rojo; si la moneda produce cruz, la pintamos de
negro Si la bola ya está pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o cruz. Para modelar este caso como proceso estocástico, definimos
a t como el tiempo después que la moneda ha sido lanzada por t-ésima vez y se ha pintado la bola escogida En
cualquier tiempo se puede representar el estado mediante el vector [u r b], donde u es el número de bolas sin pintar en la
urna, r el número de bolas rojas y b el número de bolas negras. Se nos dice que X0 = [2 0 0]. Después del primer
lanzamiento, una bola habrá sido pintada ya sea de rojo o de negro y el estado será [1 1 0] o [1 0 1]. Por lo tanto,
podemos asegurar que X1 = [1 1 0] o X1 = [1 0 1]. Es claro que debe haber alguna relación entre las Xt,. Por ejemplo, si
X, = [0 2 0] podemos asegurar que Xt+1 será [0 1 1].

Ejemplo

Sea X0 el precio de una acción de Computadoras CSL al principio de este día hábil. También, sea Xt, el precio de esa
acción al principio del t-ésimo día hábil en el futuro. Es claro que si se conocen los valores de X0, X1, X2, ..., Xt nos
dicen algo acerca de la distribución de probabilidad de Xt+1; el asunto es: ¿que nos dice el pasado (los precios de las
acciones hasta el tiempo t) acerca de X t+1? La respuesta a esta pregunta es de importancia crítica en finanzas.

Terminaremos esta sección con una explicación breve de los procesos estócasticos de tiempo continuo. Un proceso
estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del tiempo se puede
considerar cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede considerar que el número de
personas en un supermercado a los t minutos después de abrir, es un proceso estocástico de tiempo continuo. Los
modelos en los que intervienen estos procesos se estudian en la sección de teoría de colas. Como el precio de una
acción se puede observar en cualquier tiempo, y no solo al abrir la bolsa, se puede considerar como un proceso
estocástico de tiempo continuo. Al considerarlo así, se ha podido llegar a importantes resultados en la teoría de finanzas,
incluyendo la famosa fórmula de Black-Scholes para opción de precio.

Ejemplo
Un caso muy conocido es el proceso de movimiento Browniano, el cual tiene las siguientes características

11. suponga t0< t1<...<tn; los incrementos son variables aleatorias independientes

22. La distribución de probabilidad es t1< t2, depende solo de t2 - t1

33. donde B es una constante

La historia de este proceso comienza con la observación de R. Brown en 1827 de pequeñas partículas inmersas en un
liquido, las cuales mostraban movimientos irregulares. En 1905 Einsten explica el movimiento mediante el postulado que
las partículas bajo observación eran sujetas de perpetuas colisiones con las partículas que rodean el medio. Los
resultados derivados de forma analítica por Einstein fueron posteriormente verificados por experimentación.

En este caso Xt denota el desplazamiento en el tiempo t de un partícula Browniana. El desplazamiento

es normalmente distribuido sobre un intervalo de tiempo (s,t) que puede verse como la suma de pequeños
desplazamientos. El teorema del limite Central es esencialmente aplicable y razonable afirmar que es normalmente
distribuido. También que la distribución de es la misma, para cualquier h>0.

1.2 ¿QUÉ ES UNA CADENA DE MARKOV?

Un tipo especial de procesos estocásticos de tiempo discreto se llama cadena de Markov. Para simplificar nuestra
presentación supondremos que en cualquier tiempo, el proceso estocástico de tiempo discreto puede estar en uno de un
número finito de estados identificados por 1.2,..., s.

DEFINICIÓN Un proceso estocástico de tiempo discreto es una cadena de Markov si, para t = 0,1,2,... y todos los
estados,
(1) P(Xt+1 = i t+1 \ X t = i t,. Xt-1= it-1, …, X1 = i1, X 0= i0) = P(Xt+1 = i t+1 \ X t = i )

En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el tiempo t + 1 depende del estado en
el tiempo t(i) y no depende de los estados por los cuales pasó la cadena para llegar a i, en el tiempo t.
En el estudio de las cadenas de Markov haremos la hipótesis adicional que para lodos los estados i y j, y toda t, P(Xt+1
= i \ X t = j ) es independiente de t. Esta hipótesis permite escribir

(2) P(Xt+1 = i \ X t = j ) = pij

donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará en el estado
j en el tiempo t + 1. Si el sistema pasa del estado i durante un periodo al estado j durante el siguiente, se dice que ha
ocurrido una transición de i a j. Con frecuencia se llaman probabilidades de transición a las pij en una cadena de Markov.

La ecuación (2) indica que la ley de probabilidad que relaciona el estado del siguiente periodo con el estado actual no
cambia. o que permanece estacionaria, en el tiempo. Por este motivo, a menudo se llama Hipótesis de estabilidad a la
ecuación (2). Toda cadena de Markov que cumple con la ecuación (2) se llama cadena estacionionaria de Markov,

El estudio de las cadenas de Markov también necesita que definamos qi como la probabilidad de que la cadena se
encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) •= qi,. Al vector q = [q1, q2, ..., qs] se le llama
distribución inicial de probabilidad de la cadena de Markov. En la mayoría de las aplicaciones, las probabilidades de
transición se presentan como una matriz P de probabilidad de transición s x s. La matriz de probabilidad de transición P
se puede escribir como

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el

tiempo t + 1. Esto significa que para cada i.

También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos de la matriz
de probabilidad de transición son no negativos; los elementos de cada renglón deben sumar 1.

La ruina del jugador (continuación) Encuentre la matriz de transición del primer ejemplo.

Solución Como la cantidad de dinero que tengo después de t + 1 jugadas depende de los antecedentes del juego sólo
hasta la cantidad de efectivo que tengo después de t jugadas, no hay duda que se trata de una cadena de Markov. Como
las reglas del juego no varían con el tiempo, también tenemos una cadena de Markov estacionaria. La matriz de
transición es la siguiente (el estado i quiere decir que tenemos i dólares):

Estados 0 dólares 1 dólares 2 dólares 3 dólares 4 dólares

0 dólares 1 0 0 0 0
1 dólares 1-p 0 p 0 0
2 dólares 0 1-p 0 p 0
3 dólares 0 0 1-p 0 p
4 dólares 0 0 0 0 1

Si el estado es 0 dólares o 4 dólares no juego más y, por lo tanto el estado no puede cambiar; entonces p∞ ∞= p44 = 1.
Para los demás estados sabemos que, con la probabilidad p, el estado del siguiente periodo será mayor que el estado
actual en 1, y con probabilidad 1 -p, el estado del siguiente periodo será menor en 1 que el estado actual.

Figura 1
Representación gráfica de la matriz, de transición para el ejemplo de la ruina del jugador
Una matriz de transición se puede representar con una gráfica en la que cada nodo represente un estado y arco (i,j)
represente la probabilidad de transición pij. La Fig. 1 es una representación gráfica de la matriz de probabilidad de
transición para este ejemplo.

EJEMPLO 2. (Continuación) Determine la matriz de transición del Ejemplo 2 en la sección anterior.

Solución Como el estado de la urna después del siguiente lanzamiento de la moneda depende sólo del pasado del
proceso hasta el estado de la unía después del lanzamiento actual, se trata de una cadena de Markov. Como las reglas
no varían a través del tiempo, tenemos una cadena estacionaria de Markov. La matriz de transición para el Ejemplo 2 es
la siguiente:

[0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1]
[0 1 1] 0 ½ ½ 0 0 0
[0 2 0] 1 0 0 0 0 0
[0 0 2] 1 0 0 0 0 0
[2 0 0] 0 0 0 0 ½ ½
[1 1 0] ¼ ¼ 0 0 0 ½
[1 0 1] ¼ 0 ¼ 0 ½ 0

EJEMPLO 3 (Continuación) En los últimos años, los estudiantes de finanzas han dedicado mucho esfuerzo a contestar
la pregunta de si el precio diario de una acción se puede describir mediante una cadena de Markov. Supongamos que
el precio diario de una acción, como la de Computadoras CSL, se puede representar por una cadena de Markov. ¿Qué
nos dice esto? Simplemente que la distribución de probabilidad del precio de las acciones mañana depende sólo del
precio de hoy, pero no de los precios anteriores. Si el precio de una acción se puede representar con cadena de Markov,
los "tablistas" que tratan de predecir los precios futuros en base a los comportamientos seguidos durante el pasado están
mal. Por ejemplo, supongamos que el precio diario de una acción de CSL sigue una cadena de Markov y el preciod e hoy
es 50 dólares. Entonces, para predecir el precio de mañana no importa si el precio ha aumentado o disminuido durante
cada uno de los últimos 30 días. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dólares, la predicción del precio de mañana se debe basar sólo en el hecho de que hoy el precio de esas
acciones es de 50 dólares. En la actualidad, el consenso es que para la mayor parte de las acciones, su cotización diaria
se puede describir con una cadena de Markov. A esta idea se le llama con frecuencia hipótesis del mercado eficiente.

PROBLEMAS

1. En Smalltown, al 90% de los días soleados siguen días soleados, y al 80% de los días nublados siguen días nublados.
Con esta información modelar el clima de Smalltown como cadena de Markov.

2. Se tiene un sistema de inventario en el que la secuencia de eventos durante cada periodo es como sigue: (1) Se
observa el nivel de inventario (llamémosle í) al principio del periodo. (2) Si i ≤1, se piden 4 –i unidades. Si i ≥ 2, no se
hace ningún pedido. (3) Los Clientes no piden unidades durante el periodo, con probabilidad 20%; se pide una unidad
durante el periodo, con probabilidad 50%. y se piden 2 unidades durante el periodo, con probabilidad 30% (4) Se
observa el nivel de inventario al principio del siguiente periodo.
Defina un estado de periodo como el nivel de inventario al principio del periodo. Determine la matriz de transición que
pudiera usarse para modelar este sistema de inventario como una cadena de Markov.

3. Una fábrica tiene dos máquinas. Durante cualquier día, cada máquina que trabaja al principio del día tiene
probabilidad x de descomponerse. Si se descompone una máquina durante el día, se manda a un taller de reparación y
estará trabajando dos días después que se descompuso. Por ejemplo, si una máquina se descompone durante el día 3,
estará trabajando al principio del día 5. Si se hace que el estado del sistema sea el número de máquinas que trabajan al
principio del día, formule, una matriz de probabilidad de transición para este caso.

4. En relación con el problema 1, suponga que el tiempo de mañana en Smalltown depende del tiempo que haya
prevalecido los últimos dos días, como sigue; (1) Si los últimos dos días han sido soleados, entonces el 95% de las
veces mañana será soleado. (2) Si ayer estuvo nublado y hoy soleado, entonces el 70% de las veces mañana estará
soleado. (3) Si ayer estuvo soleado y hoy está nublado, entonces el 60%, de las veces mañana estará nublado. (4) Si los
últimos dos días fueron nublados, entonces el 80% de las veces mañana será nublado.

Con esta información modele el clima de Smalltown como cadena de Markov. Si el tiempo de mañana dependiera del de
los últimos tres días, ¿cuántos estados se necesitarían para modelar el clima como cadena de Markov? Nota: El método
que se usa en este problema se puede aplicar para modelar un proceso estocástico de tiempo discreto como cadena de
Markov. aun si Xt+1 depende de los estados anteriores a Xt, tal como Xt-1 en este ejemplo.

5. Sea X, la ubicación de su ficha en el tablero deMonopoly después de t tiradas de dados. ¿Se puede modelar X, como
cadena de Markov? Si no esa así ¿cómo podemos modificar la definición del estado en el tiempo t para que X0, X1,. . .,
Xi, • • • sea una cadena de Markov? Sugerencia: ¿Cómo va un jugador a la cárcel? En este problema, suponga que los
jugadores que van a prisión permanecen allí hasta que en la tirada de dados -sacan doble número o hasta que hayan
estado tres turnos en prisión, lo que se represente primero.

6. En el Prob. 3, suponga que una máquina que se descompone regresa al servicio tres días después.
Por ejemplo, la máquina que se descompone el día 3 estará trabajando al principio del día 6. Determine una matriz de
transición de probabilidad para este caso.

1.3 PROBABILIDADES DE TRANSICIÓN DE n ETAPAS

Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de transición conocida. Como todas las
cadenas con las que trataremos son estacionarias, no nos importará identificar nuestras cadenas de Markov como
estacionarias. Una pregunta de interés es: si una cadena de Markov está en el estado i en el tiempo m, ¿cuál es la
probabilidad que n periodos después la cadena de Markov este en el estado j? Como se trata de una cadena de Markov
estacionaria, esta probabilidad será independiente de m y, por lo tanto, podemos escribir

P(Xm+n = j \ X m = i) = P(Xn = j \ X 0 = i)= Pij(n)

donde Pij(n) se llama probabilidad en la etapa n de una transición del estado i al estado j.

Es claro que Pij(1) = Pij. Para determinar Pij(2) nótese que si el sistema se encuentra hoy en el estado i, entonces para
que el sistema termine en el estado j dentro de 2 periodos, debemos pasar del estado i al estado k y después pasar del
estado k al estado j(Fig. 2). Este modo de razonar nos permite escribir

Pij(2) = (probabilidad de transición de i a k}x (probabilidad de transición de k a j)

De acuerdo con la definición de P, la matriz de probabilidad de transición, replanteamos la última ecuación en la siguiente
forma:

(3) Pij(2) =

El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i de la matriz P por la columna j de
esa matriz. Por lo tanto, Pij(2) es el ij-ésimo elemento de la matriz P2. Generalizando este modo de razonar, se puede
demostrar que para n >1,

(4) Pij(n) = elemento ij-ésimo de Pn

Figura 2
Representación de la transición de i a j en dos pasos
Naturalmente, para n = 0, Pij(0) = P(X0 = j | X0 = i) y, por lo tanto, debemos escribir

Pij(0)= ⎜⎜

En el Ejemplo. 4 mostraremos el uso de la ecuación (4).

EJEMPLO 4 Ejemplo de Cola Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha
comprado la cola 1, hay una probabilidad de 90% de que su siguiente compra sea de cola 1. Si una persona compró cola
2, hay 80% de probabilidades que su próxima compra sea de cola 2.

1. Si actualmente una persona es comprador de cola 2, ¿cuál es la probabilidad que compre cola 1 pasadas dos
compras a partir de hoy?

2. Si en la actualidad una persona es comprador de cola 1, ¿cuál es la probabilidad que compre cola 1 pasadas tres
compras a partir de ahora?

Solución Consideraremos que las compras de cada una de las personas son una cadena de Markov, y que el estado en
cualquier momento es el tipo de cola que compró la persona por última vez. Por lo tanto, las compras de cola por parte
de cada una de las personas se pueden representar con una cadena de Markov de dos estados, donde

Estado 1 = la persona acaba de comprar cola 1

Estado 2 = la persona acaba de comprar cola 2

Sí definimos Xn como el tipo de cola que compra una persona en la n-ésima compra futura (la compra actual = X0),
entonces X0, X1, ... se puede describir como la cadena de Markov con la siguiente matriz de transición:

P=

Podemos contestar ahora las preguntas 1 y 2.

1. Se busca P(X2 =1 /X1 = 2) = P21(2) = elemento 21 de P2:

P2=

Por lo tanto, P21(2) = .34. Esto significa que hay probabilidad .34 de que la persona 2 compre cola 1, después de dos
compras a partir de ahora. Con la teoría básica de probabilidad, podemos obtener esta respuesta siguiendo un camino
distinto a través del teorema total de probabilidades.

En muchos casos no conocemos el estado de la cadena de Markov en el tiempo 0. Como se definió en la Sec. 1.2, sea
qi la probabilidad que la cadena esté en el estado i en el tiempo 0. Entonces podemos determinar la probabilidad de que
el sistema este en el estado j en e! Tiempo n mediante el siguiente razonamiento (Fig. 3):

Figura 3
Determinación dela probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado inicial.

Probabilidad de estar en el estado j en el tiempo n =

(Probabilidad que el estado original sea i ) X (Probabilidad de ir de i a j en n transiciones) =

(5) = q X Columna j de Pn

donde q = [q1, q2, ..., qs]

Para mostrar el uso de la ecuación (5) contestaremos la siguiente pregunta:

supongamos que el 60% de toda la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, ¿que
fracción de los compradores estará tomando cola 1? Como q = [.60 .40] y

q(columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una persona tome cola 1

la probabilidad que se busca es

Por lo tanto, a tres compras de este momento el 64% de las personas estará comprando cola 1.

Para mostrar el comportamiento de las probabilidades de transición en n etapas para grandes valores de n hemos
calculado algunas de las probabilidades de transición de n etapas para el ejemplo de la cola y las mostramos en la
siguiente tabla (Tabla 1).

Cuando n es grande, P11(n) y P21(n) son casi constantes y tienden a .67. Esto quiere decir que para n grande,
independientemente del estado inicial, hay una probabilidad de .67 de que una persona compre cola 1. Igualmente.
vemos que para n grande, tanto P12(n) como P22(n) son casi constantes y tienden a .33. Esto significa que para n
grande, haciendo caso omiso del estado inicial, hay una probabilidad .33 de que una persona sea comprador de cola 2.
En la Sección 1.5 estudiaremos con detenimiento estas tendencias de probabilidad de transición en la etapa n.

Tabla 1 Probabilidades de transición en n etapas para el ejemplo de las colas

n P11(n) P12(n) P21(n) P22(n)

1 .90 .10 .20 .80
2 .83 .17 .34 .66
3 .78 .22 .44 .56
4 .75 .25 .51 .49
5 .72 .28 .56 .44
10 .68 .32 .65 .35
20 .67 .33 .67 .33
30 .67 .33 .67 .33
40 .67 .33 ,67 .33

1.3.1 Tiempos de Parada o de primer pasaje

Un tiempo de parada se define como Tj = min(n>0, tal que Xn=j). Es el primer instante tal que la variable aleatoria Xn
toma el valor el j, a este tiempo también será referenciado como tiempo de primer pasaje. Si definimos como la
probabilidad del que primer tiempo de parada en j, dado que estamos en el estado i, podemos redefinir la probabilidad de
ir de i a jo en n pasos como

Pij(n) =
Esta definición es útil para la prueba de algunos resultados futuros.

PROBLEMAS

1. Cada familia norteamericana se puede clasificar como habitante de zona urbana, rural u suburbana. Durante un año
determinado, el 15% de todas las familias urbanas se cambian a una zona suburbana y el 5% se cambian a una zona
rural. También, el 6% de las familias suburbanas pasan a zona urbana y el 4% se mudan a zona rural. Por último, el 4%
de las familias rurales pasan a una zona suburbana y el 6% se mudan a una zona urbana.

a) Si una familia actualmente vive en una zona urbana, ¿cuál es la probabilidad que después de 2 años viva en una
zona urbana? ¿En una zona suburbana? ¿En una zona rural?

(b) Supongamos que en la actualidad el 40% de las familias viven en una zona urbana, el 25% en zona suburbana y el
15% en zona rural. Después de dos años, ¿qué porcentaje de las familias norteamericanas vivirá en zona urbana?

(c) ¿Que problemas se pueden presentar si este modelo se usara para predecir la distribución futura de la población en
los Estados Unidos?

2. Se pregunta lo siguiente acerca del Ejemplo 1.

(a) Después de jugar dos veces, ¿cuál es la probabilidad que tenga 3 dólares? ¿Cuál la de que tenga 2
dólares?

(b) Después de jugar tres veces, ¿cuál es la probabilidad que tenga 2 dólares?

3. En el Ejemplo a 2, determine las siguientes probabilidades de transición en n etapas:

(a) Después de haber pintado 2 bolas, ¿cuál es la probabilidad que el estado sea [0 2 0]?

(b) Después de haber pintado tres bolas, ¿cuál es la probabilidad que el estado sea [0 1 1]?

1.4 CLASIFICACIÓN DE ESTADOS DE UNA CADENA DE MARKOV

En la sesión 1.3 se menciono que después de muchas transiciones, las probabilidades de transición de n etapas tienden
a estabilizarse . Antes de poder describir esto con más detalle, necesitamos estudiar cómo los matemáticos clasifican
los estados de una cadena de Markov. La siguiente matriz de transición se usará para mostrar la mayoría de las
definiciones siguientes (Fig. 4):

P=

DEFINICIÓN: Dados dos estados i y j, la trayectoria de i a j es la sucesión de transiciones que comienza en i y

termina en j, de modo que cada transición de la secuencia tenga probabilidad positiva
de presentarse.

Figura 4
Representación gráfica de la matriz de transición

Otra manera de ver esta definición es que el tiempo de primer pasaje es un número finito o sea que la probabilidad de
llegar a j, dado que se está en i, en una cantidad de finita de pasos sea positiva: > 0

DEFINICIÓN un estado es alcanzable desde un i si hay una trayectoria que vaya de i a j.

DEFINICIÓN Se dice que dos estados i y j se comunican si j es alcanzaba desde i, e i es alcanzable desde j.

Para la matriz P de probabilidad de transición representada en la Fig. 4, el estado 5 es alcanzable desde el estado 3 (a
través de la trayectoria 3-4-5), pero el estado 5 no es alcanzable desde el estado 1 (no hay trayectoria que vaya de 1 a 5
en la Fig. 6). También, los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2 a 1.
DEFINICIÓN Un conjunto de estados S en una cadena de Markov es conjunto cerrado si ningún estado fuera de S
es alcanzable desde un estado en S.

De la cadena de Markov con la matriz P de la FÍg. 4, tanto S1 = {1,2} como S2 = {3, 4, 5} son conjuntos cerrados.
Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 4 ningún arco comienza
en S1 y termina en S2 o principia en S2 y termina en S1.

DEFINICIÓN Un estado i es un estado absorbente si pij = 1. O sea =1

Siempre que entramos a un estado de absorción, nunca lo podremos dejar. En el Ejemplo 1, la ruina del jugador, los
estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado que sólo contenga un
estado.

DEFINICIÓN Un estado i es un estado transitorio si hay un estado j alcanzable desde i, pero el estado i no es
alcanzable desde el estado j. Esto es lo mismo que afirmar que < 1, no siempre existe una cantidad finita de pasos
para alcanzar a j desde i.

En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se regrese a él. En
el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo (FÍg. 1), desde el estado 2 es
posible pasar por la trayectoria 2-3-4. pero no hay modo de regresar al estado 2 desde el estado 4. Igualmente, en el
Ejemplo 2, [2 0 0], [1 1 0] y [l 0 1] son
estados transitorios. Hay una trayectoria desde [1 0 1] a [0 0 2], pero una vez que se hayan pintado ambas bolas, no hay
manera de regresara [1 0 1].

Después de un gran número de periodos, la probabilidad de encontrarse en cualquier estado de transición i es cero.
Cada vez que entramos a un estado i de transición, hay una probabilidad positiva de dejar i para siempre y terminar en
el estado j descrito en la definición de estado transitorio. Así, al final, tenemos la seguridad de entrar al estado j (y en ese
caso nunca regresaremos al estado i). Así, suponga que en el Ejemplo 2 nos encontramos en el estado transitorio [1 0 1].
Con probabilidad 1, la bola no pintada la pintaremos finalmente y nunca regresaremos a ese estado [1 0 1].

DEF1NÍCIÓN Si un estado no es transitorio, se llama estado recurrente. Esto es lo mismo que afirmar que = 1, o sea
existe una cantidad finita de pasos para llegar a j desde i.

En el Ejemplo 1, los estados 0 y 4 son estados recurrentes (y también estados absorbentes). En el Ejemplo 2, [0 2 0], [0
0 2[ y [0 1 1] son estados recurrentes. Para la matriz de transición de la Fig. 4, todos los estados son recurrentes.

DEFINICIÓN Un estado i es periódico con periodo k >1 si k es el menor numero tal que todas las trayectorias que
parten del estado i y regresan al estado i tienen una longitud múltiplo de k. Si un estado recurrente no es periódico, se
llama aperiódico.

Para la cadena de Markov cuya matriz de transición es

Q=
cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la única manera de regresar a ese estado es
seguir la trayectoria 1-2-3-1 durante digamos m veces (Fig. 5). Por lo tanto, cualquier regreso al estado 1 tomará 3m
transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos, tenemos la seguridad de regresar allí
tres periodos después.

Figura 5
Cadena periódica de Markov con k = 3
DEFINICIÓN Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre si, se dice que la
cadena es ergódica.

El ejemplo de la ruina del jugador no es cadena ergódica porque, por ejemplo, los estados 3 y 4 no se comunican. El
Ejemplo 2 tampoco es una cadena ergódica porque, por ejemplo, [2 0 0] y [0 1 1] no se comunican. El Ejemplo 4, el
ejemplo de la cola, es cadena ergódica de Markov. De las siguientes tres cadenas de Markov, P1 y P3 son ergódicas y
P2 no es ergódica.

P1 =

P2 =

P3 =

P2 no es ergódica porque hay dos clases cerradas de estados (la clase 1 = {1, 2}
y la clase 2 = {3, 4}) y los estados en clases diferentes no se comunican entre sí.

PROBLEMAS

1. En el Ejemplo 1, ¿cuál es el periodo de los estados 1 y 3?

2. La cadena de Markov de la Secc. 1.3, Problema 1, ¿es ergódica?

3. Se tiene ]a siguiente matriz de transición:

0 0 1 0 0 0
0 0 0 0 0 1
0 0 0 0 1 0
¼ ¼ 0 ½ 0 0
1 0 0 0 0 0
0 0 0 0 2/3

(si) ¿Cuáles estados son transitorios?

(b) ¿Cuáles estados son recurrentes?

(c) Identifique lodos los conjuntos cerrados de estados.

(d) ¿Es ergódica esa cadena?

4. Para cada una de las siguientes matrices, determine si la cadena de Markov es esgódica. También, para cada cadena,
determine los estados recurrente, transitorio y absorbente.

a. b.

5. En la Serie Mundial de Poker de 1980 participaron 54 jugadores. Cada uno de ellos comenzó con 10 000 dólares. Los
juegos continuaron hasta que uno de los jugadores ganó lodo el dinero de los demás. Si se modela esta Serie Mundial
como cadena de Markov, ¿cuántos estados absorbentes tendría esa cadena?
6. ¿Cuál de las siguientes cadenas es ergódica?

a. b.

1.5 PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS MEDIOS DE PRIMER PASAJE

En nuestra descripción del ejemplo de la Cola encontramos que después de largo tiempo, la probabilidad de que la
siguiente compra de una persona fuera de cola 1 tendía a .67, y la de que la compra siguiente fuera de cola 2 tendía a .
33 (Tabla 1). Estas probabilidades no dependieron de si la persona era al principio tomador de cola 1 o de cola 2. En esta
sección describiremos el importante concepto de probabilidades de estado estable, que se pueden usar para describir el
comportamiento de una cadena de Markov a largo plazo.

El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo
de cadenas de Markov.

TEOREMA 1 Sea P una matriz de transición de una cadena ergódica de s estados. Existe entonces un vector

tal que

(La prueba de este teorema se encuentra en anexo al final de este documento)

Recuerde que el ij-ésimo elemento de Pn es Pij(n). El teorema 1 establece que para cualquier estado inicial i,
Observe que para n grande, Pn tiende a una matriz con renglones idénticos. Esto quiere decir que después de largo
tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una probabilidad , de que
nos encontremos en el estado j.

El vector a menudo se llama distribución de estado estable, o también distribución de equilibrio para
la cadena de Markov. ¿Cómo podemos encontrar la distribución de probabilidades de estacionario para una cadena dada
cuya matriz de transición es P? Según el teorema 1, para n grande y para toda i,

(6)

Como Pij{n + 1) = (renglón i de Pn) X (columna j de P), podemos escribir

(7)
Si n es grande, al sustituir la ecuación (6) en la (7) se obtiene

(8)

En forma matricial, la ecuación (8) se puede escribir como:

(8')

Desafortunadamente, el sistema de ecuaciones que especifica la ecuación (8) tiene un número infinito de soluciones,
porque el rango de la matriz P siempre resulta ser ≤ s- 1. Para obtener valores únicos de probabilidades de estado
estable, note que para toda n y toda i,

(9)

AI hacer que n tienda al infinito en la Ecuación. (9), obtenemos

(10)

Así, después de reemplazar cualquiera de las ecuaciones (8) por (10), podemos usar la ecuación (8) para despejar las
probabilidades de estado estable.

Para mostrar cómo determinar las probabilidades de estado estable, las calcularemos para el Ejemplo. 4, el de la Cola.
Recuerde que la matriz tic transición de ese ejemplo era

Entonces las ecuaciones (8) u (8') producen

AI reemplazar la segunda ecuación por la condición , obtenemos el sistema

Al despejar y , resulta que = 2/3 y =1/3. Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de
que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.

ANÁLISIS DE ESTADO TRANSITORIO

Un vistazo a la Tabla 1 muestra que para el Ejemplo. 4 se alcanza el estado estable, a dos cifras decimales, sólo
después de 10 transiciones. No se puede dar una regla general acerca de que tan rápido alcanzan las cadenas de
Markov el estado estable pero si P contiene muy pocos elementos que queden cerca de 0 o de 1, en general, se alcanza
en forma muy rápida el estado estable. El comportamiento de una cadena de Markov antes de alcanzar el estado estable
se llama comportamiento transitorio (o a plazo corto). Para estudiar el comportamiento transitorio de una cadena de
Markov, tan sólo se usan las fórmulas para Pij(n) de las ecuaciones (4) y (5). Sin embargo es bueno saber que para n
grande, las probabilidades de estado estable describen con exactitud la probabilidad de encontrarse en un estado
determinado.

INTERPRETACIÓN INTUITIVA DE LAS PROBABILIDADES DE ESTADO ESTABLE

Se puede dar una interpretación intuitiva de las ecuaciones (8) de probabilidad de

estado estable. Al restar , de ambos lados de (8) se obtiene

(11)

La ecuación (11) dice que en el estado estable,

Probabilidad de que una transición determinada deje el estado j

= probabilidad de que una transición determinada entre al estado j (12)

Recuérdese que en el estado estable, la probabilidad de que el sistema este en el estado j es , Según esta
observación se concluye que

Probabilidad de que una transición particular deje el estado j

= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transición actual deje j)
=
y

Probabilidad de que determinada transición entre al estado j

= ∑ (probabilidad de que el periodo actual comience en k≠i)
x (probabilidad de que la transición actual entre a j)

Es aceptable la ecuación (11 ). Si fuera violada para cualquier estado, entonces para un estado j el lado derecho de (11)
sería mayor que el lado izquierdo. Esto ocasionaría una probabilidad de "acumulación" en el estado j y no existiría una
distribución de estado estable. Se puede considerar que la ecuación (11) dice que en el estado estable, el "flujo" de
probabilidad hacia cada estado debe ser igual al flujo de probabilidad que sale de cada estado. Esto explica por qué las
probabilidades de estado estable se llaman con frecuencia probabilidades de equilibrio.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE PARA TOMAR DECISIONES

EJEMPLO 5 Suponga, en el Ejemplo 4, que cada cliente hace una compra de cola durante cualquier semana (52
semanas = 1 año). Suponga que hay 100 millones de clientes de cola. La producción de una unidad de venta de cola
cuesta 1 dólar y se vende a 2 dólares. Una empresa de publicidad garantiza, por 500 millones de dólares al año, un
decremento al 5% de la fracción de consumidores de cola 1, que se cambian a cola 2 después de una compra. ¿Debe
contratar a la empresa de publicidad la compañía que fabrica la cola 1?

En la actualidad, una fracción = 2/3 de todas las compras son de cola 1. Cada compra de cola 1 le deja al
fabricante 1 dólar. Como hay un total de 52(100 000 000) = 5 200 000 000 de compras de cola cada año, las ganancias
actuales del fabricante de cola 1, al año, son

2/3 * (5 200 000 000) = 3 466 666 667 dólares

La empresa de publicidad ofrece cambiar la matriz P a

Para P1, las ecuaciones de estado estable se transforman en

Al reemplazar la segunda ecuación por y despejar, obtenemos = .8 y =.2. En este caso, la

ganancia anual de la productora de cola 1 será

(.80)(5200000000) - 500000000 = 3 660 000 000 dólares

Por lo tanto, el fabricante de cola 1 debe contratar la agencia de publicidad.

EJEMPLO 6. Bajo la hipótesis de que el jugador de Monopoly que vaya a la cárcel se quede allí hasta que se saque
números dobles o pasen tres turnos, la probabilidad de estado estable que tiene un Jugador de caer en cualquier cuadro
de Monopoly fue determinado por Ash y Bishop (1972) (Tabla 2) Ests probabilidades de estado estable se pueden
emplear para medir la eficacia de diversos monopolios con respecto al costo. Por ejemplo, cuesta 1 500 dólares construir
hoteles en el monopolio anaranjado. Cada vez que un jugador cae en Tcnnessee Ave o en un hotel de St. James Place,
el propietario del monopolio recibe 950 dólares, y cada vez que un jugador cae en un hotel de New York Ave., el
propietario recibe 1 000 dólares. De la Tabla 3 podemos calcular la renta esperada por tirada de dados que gana el
monopolio anaranjado:

950(.0335) + 950(.0318) + 1 000(.0334) = 95.44 dólares

Así, por cada dólar invertido, el monopolio anaranjado da 95.44/1500 = 0.064 de dólar por tirada de dados.

Veamos ahora al monopolio verde. Poner hoteles en el monopolio verde cuesta 3 000 dólares. Si un Jugador cae cu un
hotel de North Carolina Ave. o de Pacific Ave., el propietario recibe 1 275 dólares. Si un jugador cae en un hotel de
Pennsylvania Ave. el propietario recibe 1 400 dólares. De acuerdo con la Tabla 3, la ganancia promedio por tirada de
dados que se gana con los hoteles en el monopolio verde es

1275(.0294) + 1275(.0300) + 1400(.0279) = 114.80 dólares

Así, por cada dólar invertido, el monopolio verde da sólo 114.80/3000 = 0.038 de dólar por tirada de dados.

Este análisis muestra que el monopolio anaranjado es mejor que el verde. Por cierto ¿por que caen los jugadores con
tanta frecuencia en el monopolio anaranjado?

Tabla 2 Probabilidades de estado estable para Monopoly

TIEMPOS PROMEDIO DE PRIMER PASAJE

En una cadena ergódica, sea mij = número esperado de transiciones antes de alcanzar por primera vez el estado j,
dado que estamos actualmente en el estado i. mij se llama tiempo promedio de primer pasaje del estado i al estado j.
En el Ejemplo 4, m12 sería el número esperado de botellas de cola que adquiere un comprador de cola 1, antes de
comprar una botella de cola 2. Suponga que estamos ahora
en el estado i. Entonces, con probabilidad pij, necesitaremos una transición para pasar del estado i al estado j. Para k ≠ j
pasamos a continuación, con probabilidad pik, al estado k. En este caso, se necesitara un promedio de 1 + mkj,
transiciones para pasar de k a j. Este modo de pensar indica que

Como
podernos reformular la última ecuación como

(13) +1
Al resolver las ecuaciones lineales representadas en (13), podemos encontrar todos los tiempos promedios de primer
pasaje. Se puede demostrar que

Con ello se puede simplificar el uso de las ecuaciones (13).

Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejemplo 4. Recordemos que .
= 2/3 y =1/3. Entonces

Entonces (13) da en las dos ecuaciones siguientes:

Resolviendo esas ecuaciones encontramos que = 10 y = 5. Esto quiere decir que, por ejemplo, una persona que había
tomado cola 1 tomará un promedio de diez botellas de refresco antes de cambiar a cola 2.

PROBLEMAS

1. Determine las probabilidades de estado estable para el Problema 1 de la Sección 1-3.

2. En el problema de la ruina del Jugador, ¿por que no es razonable hablar de probabilidades de

estado estable?

3. Para cada una de las siguientes cadenas de Markov, determine la fracción de las veces, a largo plazo, que se ocupará
cada estado.

(a) (b)

(c) Determine todos los tiempos promedio de primer pasaje de! inciso (b).

4. Al principio de cada año, mi automóvil está en buen, regular o mal estado. Un buen automóvil será bueno al principio
del año siguiente, con probabilidad .85, regula con probabilidad .10 y mal con probabilidad .05. Un automóvil regular
estará regular al principio del año siguiente con probabilidad .70 y mal con probabilidad .30. Cuesta 6000 dólares
comprar un buen automóvil, uno regular se puede conseguir por 1000 dólares; uno malo no tiene valor de venta, y se
debe reemplazar de inmediato por uno bueno. Cuesta 1 000 dólares al año el funcionamiento de un buen automóvil, y 1
500 dólares el de uno regular. ¿Debe reemplazar mi automóvil tan pronto como se vuelve regular, o debo esperar hasta
que se descomponga?
Suponga que el costo de funcionamiento de un automóvil durante un año depende del tipo de vehículo que se tiene a la
mano a principio del año (después de llegar cualquier auto nuevo, si es el caso).

5. Se dice que una matriz cuadrada es doblemente estocástica si todos sus elementos son no negativos y los elementos
de cada renglón y cada columna suman 1.
Para cualquier matriz ergódica y doblemente estocástica, demuestre que todos los estados tienen la misma probabilidad
de estado estable.
6. Este problema mostrará porque las probabilidades de estado estable se llaman a veces probabilidades estacionarias.
Sean las probabilidades de estado estable para una cadena ergódica con matriz P de transición. Suponga
también que la cadena de Markov comienza en el estado i con probabilidad πi.

a) Cual es la probabilidad que después de una transición el sistema se encuentre en el estado i? Sugerencia: Usar la
ecuación (8).

b) Para cualquier valor de n (n = 1, 2,. . .), ¿cuál es la probabilidad de que una cadena de Markov se encuentre en el
estado i después de n transiciones?

(c) ¿Por que a las probabilidades de estado estable se les llama a veces probabilidades estacionarias?

7. Se tienen dos acciones. Las acciones 1 siempre se venden a 10 dólares o 20 dólares. Si hoy las acciones 1 se venden
a 10 dólares, hay una probabilidad .80 de que mañana se vendan a 10 dólares. Si las acciones 1 se venden hoy a 20
dólares, hay una probabilidad .90 de que mañana se vendan a 20 dólares. Las acciones 2 siempre se venden a 10
dólares o a 35 dólares. Si se venden hoy a 10 dólares, hay una probabilidad .90 de que se vendan mañana a 10 dólares.
Si se venden hoy a
25 dólares, hay una probabilidad .85 de que mañana se vendan a 25 dólares. En promedio, ¿que acciones se venden a
mayor precio? Determine e interprete todos los tiempos promedio de primer pasaje.

8. La compañía de seguros Payoff cobra a sus clientes de acuerdo a su historia de accidentes. Un cliente que no haya
tenido accidentes durante los últimos dos años paga 100 dólares de prima anual. Quien haya tenido un accidente en
cada uno de los dos últimos años paga una prima anual de 400 dólares. A los que hayan tenido un accidente durante
sólo uno de los últimos dos años se les cobra una prima anual de 300 dólares. Un cliente que tuvo un accidente durante
el último año tiene una probabilidad de 10% de accidentarse durante este año.
Si un cliente no ha tenido un accidente durante el último año, tiene una probabilidad de 3% de sufrir un
accidente durante este año. Durante un año dado, ¿cuál es la prima que paga en promedio un cliente de Payoff?
{Sugerencia: En caso de dificultad, pruebe con una cadena de Markov de cuatro estados.)

9. Se tiene la siguiente cadena no ergódica;

P=

a) ¿Por qué esta cadena es no ergódica?

b) Explique porqué falla el teorema 1 en esta cadena.

Sugerencia: Determine si es cierta la siguiente ecuación;

(c) A pesar del hecho que falla el teorema 1, determine

10. Se tiene la siguiente cadena no ergódica:

(a) ¿Por que esta cadena es no ergódica?

(b) Explique por que el teorema 1 falla para esta cadena. Sugerencia: Demuestre que no existeal hacer una lista del
comportamiento que sigue P11(n) a medida que aumenta n.

1.6 CADENAS ABSORBENTES

Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los estados son
absorbentes y el resto son transitorios. A esas cadenas se les llama cadenas absorbentes. Veamos una cadena
absorbente de Markov: si comenzamos en un estado transitorio, entonces al final tendremos la seguridad de dejar el
estado transitorio y terminar en uno de los estados absorbentes. Para ver por qué nos interesan las cadenas
absorbentes, describiremos las siguientes dos:

EJEMPLO 7 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con frecuencia como
cadena absorbente de Markov. Suponga que una empresa supone que una cuenta es incobrable si han pasado más de
dos meses de su fecha de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de
los siguientes estados específicos:

Estado 1 Cuenta nueva.

Estado 2 Los pagos de la cuenta están retrasados un mes.

Estado 3 Los pagos de la cuenta están retrasados dos meses.

Estado 4 Los pagos de la cuenta están retrasados tres meses.

Estado 5 Se ha saldado la cuenta.

Estado 6 Se ha cancelado la cuenta por ser mal pagado

Supongamos que los últimos datos indican que la siguiente cadena de Markov describe como cambia el estado de una
cuenta de un mes al siguiente:

Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de probabilidades de que no se
pague al principio del mes siguiente y, por lo tanto, que tenga tres meses de retraso y una probabilidad de 60% de que
se pague.

Para simplificar el ejemplo, supondremos que después de tres meses, la cuenta o se cobra o se considera incobrable.

Una vez que una deuda se paga o se considera incobrable, se cierra y no se tienen más transiciones. Por lo tanto.
Pagada e Incobrable son estados absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las
cuentas Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida hace 2 meses
puede seguir la trayectoria 2 meses-pagada, pero no hay regreso posible de Pagada a 2 meses.

Una cuenta nueva normal será absorbida ya sea como pagada o como incobrable. Una pregunta de mayor interés es:
¿cuál es la probabilidad de que una cuenta nueva Finalmente se pueda cobrar? Más adelante en esta sección se
encontrará la respuesta.

Ejemplo. Planificación de personal la empresa de abogados Masón y Burger emplea a tres categorías de abogados:
principiantes, con experiencia y socios. Durante un año determinado hay una probabilidad .15 que un abogado
principiante sea ascendido a abogado con experiencia y una probabilidad .05 que deje la empresa. También, hay una
probabilidad .20 que un abogado con experiencia sea ascendido a socio y una probabilidad .10 que deje la empresa.
También hay una probabilidad .05 que un socio deje la empresa. La empresa nunca degrada a un abogado.

Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo, ¿cuál es la probabilidad que un
abogado principiante recién contratado se vaya antes de ser socio? En promedio, ¿cuánto tiempo permanece- un
abogado principiante recién contratado con la empresa? Las respuestas se deducirán después en esta sección.

Modelaremos la trayectoria de un abogado en Masón y Burger como cadena absorbente de Markov con la siguiente
matriz de probabilidad cíe transición:

Los dos últimos estados son estados absorbentes y los demás son transitorios. Por ejemplo. Experimentado es estado
transitorio, porque hay una trayectoria de Experimentado a Sale sin ser socio, pero no hay trayectoria que regrese de
Sale sin ser socio a Experimentado. Suponemos que una vez que un ahogado sale de la empresa nunca regresa.

Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado transitorio, y años
de alcanzar un estado absorbente, ¿cuál es el número esperado de veces que se llegara a un estado? ¿Cuántos
periodos esperamos pasar en un determinado estado transitorio antes que se efectué la absorción?
(2) Si una cadena inicia en un estado transitorio dado, ¿cuál es la probabilidad de terminar en cada uno de los estados
absorbentes?

Para contestar estas preguntes necesitamos formular la matriz de transición con los estados en una lista con el siguiente
orden: primero los estados transitorios y después los absorbentes. Para precisar, se supondrá que hay s - m estados
transitorios (t1, t2,..., ts-m) y m estados absorbentes (a1, a2, ... , am). Entonces la matriz de transición para la cadena de
absorción puede escribirse como sigue:

En este formato, los renglones y las columnas de P corresponden, en orden, a los estados (t1, t2,..., ts-m) (a1, a2, ... ,
am). En este caso, I es una matriz identidad m x m, que refleja el hecho de que nunca podemos dejar un estado
absorbente; Q es una matriz (s - m) x (s - m) que representa las transiciones entre los estados transitorios; R es una
matriz (s - m) x m que representa las transiciones desde los estados transitorios a los estados absorbentes; 0 es una
matriz m x {s - m) que consta de ceros. Esto refleja el hecho de que es imposible ir de un estado absorbente a uno
transitorio.

Aplicando esta notación al Ejemplo 7, tenemos que

t1= Nueva
t2= 1 mes
t3= 2 meses
t4= 3 meses
a1= Pagada
a2= Incobrable

Entonces, para ese ejemplo, las partes de la matriz de probabilidad de transición se puede
expresar como (s = 6, m =2)

Para el Ejemplo 8, sean

t1= Principiante
t2= Experimentado
t3= Socio
a1= Sale sin ser socio
a2= Sale siendo socio

y podemos escribir las partes de la matriz de probabilidad de transición como

Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Keineny y Snell(1960)): (1) Si la cadena
comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente, ¿cuál es entonces el número
esperado de veces que se entrará en cada estado? ¿Cuántos periodos esperamos pasar en un estado transitorio dado
antes de que se lleve a cabo la absorción? Respuesta: Si en este momento estamos en el estado transitorio ti el número
esperado de periodos que pasarán en un estado transitorio tj, antes de la absorción es el ij-ésimo elemento de la matriz
(I- Q)-1. Para una demostración vea e! Problema 8 al final de esta sección. (2) Si una cadena inicia en un estado
transitorio dado, ¿qué probabilidad hay de terminar en cada uno de los estados absorbentes? Respuesta:
Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos finalmente por un estado
absorbente aj es el ij-ésimo elemento de la matriz (I –Q)-1R. Para una demostración vea el Problema 9 al final de esta
sección.

La matriz (I- Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se interese en proseguir
el estudio de cadenas de absorción debe consultar Kemeny y Snell (1960).

Continuación del ejemplo de Cuentas por cobrar

1. ¿Cuál es la probabilidad que una cuenta nueva sea cobrada alguna vez?

2. ¿Cuál es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable?

3. Si las ventas de la empresa son 100 000 dólares en promedio mensual, ¿cuánto dinero será incobrable cada año?

Solución De la descripción anterior, recuerde que

Entonces

Para contestar las preguntas 1 a 3 necesitamos calcular

Entonces

1. t1 = Nueva, a1 = Pagada. Así, la probabilidad de que una cuenta nueva se pague finalmente es el elemento 11 de

=.964
2.t2 = 1 mes, a2 = Incobrable. Entonces, la probabilidad que una cuenta atrasada un mes se vuelva incobrable es el

elemento 22 de( = .06.

3. De la respuesta 1, sólo el 3.6% de todas las deudas son incobrables. Como las cuentas totales del año son 1 200 000
dólares en promedio, (.036)(1 200 000) =43 200 dólares serán impagables al año.

Ejemplo Planificación del personal (continuación)

1. ¿Cuál es la duración promedio de un abogado joven recién contratado en la empresa?

2. ¿Cual es la probabilidad de que un abogado joven llegue a ser socio?

3. ¿Cuál es la duración promedio que pasa un socio en el bufete?

Solución Recordemos que en el Ejemplo

Entonces.

luego

Por lo tanto,

1. El tiempo esperado que un abogado principiante permanece en la empresa = (duración esperada del abogado
principiante en la empresa como principiante) + (tiempo esperado que el abogado principiante permanece en la empresa
como abogado con experiencia) + (tiempo esperado que el abogado principiante permanece en la empresa como socio).
Entonces

Tiempo esperado como principiante = = 5

Tiempo esperado como con experiencia = = 2.5
Tiempo esperado como socio = = 10

Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la empresa es 5 + 2.5 + 10 == 17.5
años.

2. La probabilidad de que un abogado principiante recién ingresado llegue a ser socio es tan solo la probabilidad de que
salga de la empresa siendo socio. Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es el elemento 12 de =
.50.

3. Como t3 = Socio, buscamos el numero esperado de años que pasa en t3 dado que comenzamos en t3. Esto es
justamente el elemento 33 de = 20 años. Es razonable, porque durante cada año hay una probabilidad en 20 que un
socio deje el bufete y. por lo tanto, debe lardar un promedio de 20 años en dejar la empresa.

PROBLEMAS

l. El departamento de admisión del colegio estatal ha modelado la trayectoria de un estudiante en esa institución corno
cadena de Markov:

1er año 2do año 3er año 4to año Termina Sale
1er año .10 .80 0 0 .10 0
2do año 0 .10 .85 0 .05 0
3er año 0 0 .15 .80 .05 0
4to año 0 0 0 .10 .05 .85
Sale 0 0 0 0 1 0
Tea 0 0 0 0 0 1

Se observa el estado de cada estudiante al principio de cada semestre de otoño. Por ejemplo, si un estudiante es de 3er
año al principio de este semestre de otoño, habrá 80% de probabilidades de que al principio del siguiente semestre de
otoño sea de cuarto año, 15% de probabilidad de que aun sea de 3er año y 5% de que salga. Suponemos que una vez
que sale un estudiante ya nunca vuelve a inscribirse.

(a) Si un estudiante entra al colegio a primer año, ¿cuántos años se espera que pasen siendo estudiante?

(b) ¿Cuál es la probabilidad de que se gradúe un estudiante de nuevo ingreso?

2. El Herald Tribble obtuvo la siguiente información acerca de sus suscriptores: durante el primer año como
suscriptores, el 20% cancelan sus suscripciones. De los que se han suscrito por un año, el 10% cancelan durante el
segundo año. De los que se han suscrito por más de dos años, el 4% cancelan durante cualquier año dado. En
promedio, ¿cuánto tiempo se suscribe una persona al Herald Tribble ?

3. Un bosque consta de dos tipos de árboles: los que tienen de 0 a 1.50 m de alto, y los que son más altos. Cada año
muere el 40% de los árboles que tienen menos de 1.50 m, el 10% se venden a 20 dólares cada uno, 30% permanecen
entre 0 y 1.50 in, y el 20% crecen mas de 1.50 m. Cada año, el 50% de los árboles de más de 1.50 m se venden a 50
dólares, el 20% se venden a 30 dólares, y el 30% permanecen en el bosque.

a) ¿Cuál es !a probabilidad de que muera un árbol de 0 a 1.50 m antes de venderse?

b) Si se planta un árbol de menos de 1.50 m, ¿cuál es el ingreso esperado que se va a tener con ese árbol?

4. Las cadenas absorbentes de Markov se usan en ventas para modelar la probabilidad de que un cliente que se localiza
por teléfono compre finalmente algún producto. Considere un cliente posible a quien nunca le ha llamado acerca de
comprar un producto. Después de una llamada, hay una probabilidad de 60% de que tenga poco interés en el producto,
de 30% que muestre un gran interés en el producto, y 10% de que sea borrado de la lista de los posibles clientes de la
compañía. Se tiene un cliente que actualmente tiene poco interés en el producto- Después de otra llamada, hay 30% de
probabilidades de que compre el producto, 20% de probabilidades de que sea borrado de la lista, 30% de que el cliente
aún tenga poco interés y 20% de que exprese un interés alto. Para un cliente que actualmente expresa alto interés,
después de otra llamada hay 50% de probabilidades de que compre el producto, 40% de probabilidades de que siga
teniendo gran interés y 10% de probabilidades que tenga poco interés.
a) ¿Cuál es ]a probabilidad de que un nuevo posible cliente al final compre el producto?
b) ¿Cuál es la probabilidad de que un posible cliente con poco interés sea borrado de la lista finalmente?
c) En promedio, ¿cuántas veces habrá que llamar por teléfono a un nuevo posible cliente para que compre el producto, o
para que sea borrado de la lista?

5. En el problema de la ruina del jugador (Ejemplo 1), suponga que p = .60.

a) ¿Qué probabilidad hay de que alcance a ganar 4 dólares?

b) ¿Cuál es la probabilidad de que salga sin dinero?
(c) ¿Cuál es la duración esperada del juego?

6. En el cuidado de pacientes ancianos en un hospital psiquiátrico, una meta principal es la

colocación correcta de los pacientes en pensiones u hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y el estado absorbente (la muerte) se puede
describir mediante la siguiente cadena de Markov. La unidad de tiempo es un mes:
Hospital Hogares Muerte
Hospital .991 .003 .006
Hogares .025 .969 .006
Muerte 0 0 1

Cada mes que pasa un paciente en el hospital cuesta 655 dólares al estado, y cada mes que pasa en una pensión le
cuesta 226 dólares, también al estado. Para mejorar la ocurrencia de éxitos de colocación de pacientes, el estado
recientemente comenzó un "programa de resocialización geriátrica" (GRP) para preparar a los pacientes a
desempeñarse en las pensiones. Algunos pacientes se colocan en el GRP y a continuación pasan a pensiones. Es
menos probable que estos pacientes no se puedan ajustar a sus pensiones. Otros pacientes continúan pasando en
forma directa del hospital a las pensiones sin haber tomado parte en el (GRP). El estado paga 680 dólares cada mes lo
que cuesta el paciente en el GRP. El movimiento de los pacientes está gobernado por la siguiente cadena de Markov:

GRP Hospital Pensiones (GRP) Pensiones (directo) Muerte

GRP .854 .028 .112 0 .006

Hospital .013 .978 0 .003 .006
Pensiones (GRP) .025 0 .969 0 .006

Pensiones (directo) 0 .025 0 .969 .006

Muerte 0 0 0 0 1

(a) El GRP, ¿ahora fondos al estado?

(b) Bajo el sistema anterior y bajo el GRP, calcule el número esperado de meses que pasa un paciente en el hospital.

7. Freezco, Inc.. vende refrigeradores. La fábrica otorga una garantía en todos los refrigeradores que especifica cambio
gratis de cualquier unidad que se descomponga antes de tres años. Se nos da la siguiente información: (1) el 3% de
todos los refrigeradores nuevos falla durante su primer ano de funcionamiento; (2) el 5% de todos los refrigeradores con
1 año de funcionamiento falla durante su segundo año de trabajo, y (3) el 7% de todos los refrigeradores con dos años
de funcionamiento falla durante su tercer año. La garantía no vale para el refrigerador de repuesto.

a) Use la teoría de endonas de Markov para predecir la fracción de lodos los refrigeradores que deberá cambiar Freezco.

b) Suponga que a Freezco le cuesta 500 dólares cambiar un refrigerador y que vende 10 000 refrigeradores al año. Si la
fabrica redujera el plazo de garantía a dos años, ¿cuánto dinero se ahorraría en costos de reemplazo?
8. Para una matriz Q que, represente las transiciones entre estados transitorios en una cadena absorbente de Markov, se
puede demostrar que
a) Explique por que es posible esta expresión de

b) Defina a mij = número esperado de periodos pasados en el estado transitorio t, antes de la absorción, si se sabe que
iniciamos en el estado ti¿. Suponga que el periodo inicial se pasa en el estado ti. Explicar por qué mij = (probabilidad de
que estemos al principio en el estado tj} + (probabilidad que estemos en el estado tj después de la primera transición) +
(probabilidad que estemos en el estado tj después de la segunda transición) + . . . + (probabilidad que estemos en el
estado tj después de la n-ésima transición) + • • • .

c) Explique por qué la probabilidad de que estemos inicialmente en el estado tj = elemento ij-ésimo de la matriz identidad
(s - m} x (s - m). Explique por qué la probabilidad de que estemos en el estado tj después de la ij-ésima transición =
elemento ij-ésimo de Qn.

d) Ahora explique por qué mij = elemento ij de

9. Defina

bij = probabilidad de terminar en un estado absorbente aj dado que iniciamos en un estado transitorio tj
rij = ij-ésimo elemento de R.
qij = ij-ésimo elemento de Q.
B = matriz (s –m) x m cuyo ij-ésimo elemento es bij

Suponga que iniciamos en el estado ti. En nuestra primera transición, pueden suceder tres tipos de eventos:

Evento 1 Pasamos al estado absorbente aj, con probabilidad rij.

Evento 2 Pasamos al estado absorbente que no es aj, con probabilidad ∑

Evento 3 Pasamos al estado transitorio tk, con probabilidad qik

1a) Explique por qué

bij = rij +

b) Ahora demuestre que bij es el ij-ésimo elemento de (R +QB) y que B = R+ QB

c) Demuestre que B = y que bij = ij-ésimo elemento de B = .

10, General Motors tiene tres divisiones automotrices (división 3, división 2 y división 3). También
tiene una división de contabilidad y una de consultora de administración. La pregunta es: ¿Que
fracción del costo de las divisiones de contabilidad y de consultoría de administración se debe cargar
a cada división automotriz? Suponemos que el costo total de los departamentos de contabilidad y
consultora se deben repartir entre las tres divisiones automotrices. Durante un ano determinado, el
trabajo de las divisiones de contabilidad y consultoría se asigna como se ve en la siguiente tabla.
Contabilidad Consultoría de Adm. División 2 División 3

Contabilidad 10% 30% 20% 20% 20%

Administración 30% 20% 30% 0% 20%

Por ejemplo, contabilidad emplea el 10% de su tiempo en problemas generados por el departamento
de contabilidad, 20% en trabajos generados por la división 3, etc. Cada año, cuesta 63 millones de dólares la operación
de! departamento de contabilidad, y 210 millones de dólares la del departamento de consultoría de administración. ¿Que
fracción de esos costos se debe asignar a cada división automotriz?
Imaginar 1 dólar en costos incurridos en trabajos de contabilidad. Hay una probabilidad .20 de que estos costos se
asignen a cada división automotriz, probabilidad .30 de que se asigne a consultoría y probabilidad .10 que se asigne a
contabilidad. Si el dólar se asigna a una división automotriz, sabemos a qué división se debe cargar ese dólar. Por
ejemplo, si el dólar se carga a consultaría, repetimos el proceso hasta que, por último, el dólar se cargue a una división
automotriz.
Use el conocimiento de cadenas de Markov para establecer cómo asignar los costos de funcionamiento de los
departamentos de contabilidad y asesoría entre las tres divisiones automotrices.