1.

Procesos Estocásticos

1.1. Definición

Un proceso estocástico {Xt, t T} es una colección de variables aleatorias. Esto

es, para cada t T, Xt es una variable aleatoria.

Índice de proceso. El conjunto T es llamado el “índice” del proceso. El índice t

es a menudo interpretado como tiempo, pero puede referirse a cualquier otra
cosa,. Por ejemplo, al número de un juego.
Denotamos por Xt a una variable que representa el estado del proceso en el
tiempo t.
Espacio de estados = E. Conjunto de todos los posibles valores que la variable
Xt puede tomar.
Ejemplos. Xt puede ser:

• Número de clientes en un supermercado

• Estado del tiempo

• Precio de una acción, etc.

Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se
usará la siguiente notación, reemplazando el subíndice t por n: {Xn, n = 0,
1,...}
Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notación:
{Xt, t 0} proceso estocástico de tiempo continuo.
En resumen, un proceso estocástico es una familia de variables aleatorias que
describe la evolución de un proceso (físico) a través del tiempo. Para
describirlo, bastaría con conocer la distribución conjunta de dichas variables
aleatorias.
Realización de un proceso: Conjunto particular de valores que toma el proceso.

1.2. Estructura probabilística del proceso

Como ya se mencionó, para conocer el comportamiento de un proceso
estocástico, basta con conocer la distribución conjunta de probabilidad
P(x1,x2,....Xn)
Considere un proceso estocástico de parámetro discreto n = 0, 1, 2,...,.
Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su comportamiento
puede describirse mediante la función de probabilidad conjunta. Para ello
considere la siguiente probabilidad:
P = P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 )
Usando la fórmula de probabilidad condicional P(AB) = P(A/B) P(B), la
probabilidad anterior puede escribirse como:
P = P(Xn=in, Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, …, X1=i1,
X0=i0) P(Xn-1=in-1, …, X1=i1, X0=i0)
Usando de nuevo el condicional, la probabilidad se puede expresar como:
P = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 …, X1=i1,
X0=i0) P(Xn-2=in-2 …, X1=i1, X0=i0)
De nuevo, usando el condicional en forma iterativa, se llega a la siguiente
expresión para la probabilidad conjunta:
P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1,
X0=i0)xP(Xn-2=in-2 …, X1=i1, X0=i0)
x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0)
De lo anterior, se observa que la probabilidad conjunta puede expresarse en
términos de las probabilidades condicionales, condicionando el resultado en el
tiempo n a los resultados obtenidos en los tiempos n-1, n-2,...,1 y el estado
inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados
obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta
condicionar el resultado en el tiempo 1 al estado inicial.
Usando la expresión anterior, se pueden calcular la probabilidad conjunta para
cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso
independiente y el caso dependiente de Markov.

1.3. Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, …,
X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por:
P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn-
2 = in-2)…P(X1 = i1) P(X0 = i0)
1.4. Caso Markoviano
Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1,
n-2,...,1 y 0 se puede expresar de la siguiente manera:
P(Xn = in/Xn-1 = in-1, Xn-2 = in-2…, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-
1)
Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1
y es independiente de los estados pasados (Xn-2, Xn-3,…, X1, X0). En este
caso se dice que el proceso tiene la “propiedad Markoviana”, o tiene pérdida de
memoria, es decir, el futuro depende únicamente del presente y es
independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1)
se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un
período.
La probabilidad conjunta se expresa entonces como
P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0) =
P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)…P(X2 = i2/X1 = i1)P(X1 =
i1/X0 = i0)P(X0 = i0)

Ejemplos: Problema del jugador, caminata aleatoria.

2. Cadenas de Markov

Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,}

que toma un número finito o infinito de valores. Supondremos que E = (0,
1,2,...,M) ó E = (0, 1,2,...)

Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o

etapa n. El tiempo se denomina “etapa o paso”
Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso
cumple la condición de Markov o tiene la propiedad markoviana si

P(Xt+1 = j/Xn = i, Xn-1 = in-1…, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i)

Se tiene entonces que la probabilidad condicional de cualquier evento futuro

dados el evento presente o actual y los eventos pasados depende únicamente
del presente y es independiente del pasado.

2.1. Probabilidad de transición

La probabilidad P(Xt+1 = j/Xt = i) se denomina “probabilidad de transición” o

probabilidad de pasar del estado i al estado j en una etapa o transición.

2.1.1. Probabilidad estacionaria

Si para cada i, j y t se cumple

P(Xt+1=j/Xt=i) = P(X1=j/X0=i)

se dice que las probabilidades son “estacionarias”, es decir, no cambian con el

tiempo y se denotan simplemente por pij.

Estas probabilidades de transición tienen las siguientes propiedades:

2.1.2. Probabilidad de transición en n pasos

También se tiene
P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n)

y se denomina “probabilidad de transición en n pasos”

Como los pij(n) son probabilidades se tiene que:

2.1.3. Matriz de transición en una etapa P

Es una matriz cuadrada conformada por las probabilidades de transición en una

etapa P = {pij}
La matriz de transición debe cumplir las siguientes propiedades:

La primera propiedad se debe al hecho de que se trata de una probabilidad, y la

segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado
i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado
i.

2.1.4. Diagrama de transición

Una cadena de Markov se puede representar en forma gráfica mediante un

diagrama de transición, en el cual los estados se representan por figuras
geométricas (círculos, cuadrados, etc), y mediante flechas orientadas se indican
las transiciones posibles entre los diferentes estados. (ver el problema del
jugador).
Ejemplo 2.1 Estado del tiempo

Suponga que el estado del tiempo en un día cualquiera depende únicamente del
estado del tiempo del día anterior. Mas específicamente, suponga que si llueve
hoy, la probabilidad de que llueva mañana es (=0.7), y si no llovió hoy la
probabilidad de que llueva mañana es (=0.4). Represente este proceso como
una cadena de Markov.
Solución. Si denotamos por Xn el estado del tiempo el día n, por las
suposiciones dadas se concluye claramente que el proceso Xn es una cadena de
Markov, con el siguiente espacio de estados:

E = (Lluvia, no lluvia) = (0, 1)

La matriz de transición correspondiente será:

Ejemplo 2.2 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A
puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q =
1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos
jugadores. Si denotamos por Xn el capital del jugador A después de n jugadas,

a) Es Xn una cadena de Markov?

b) Si lo es, cual sería la matriz de transición.

Solución. El capital del jugador A después de n juegos es igual al capital que

tiene al final del juego n-1 más el resultado obtenido al realizar el último juego
n, es decir,

Xn = Xn-1 + Yn

donde Yn es el resultado del n-ésimo juego (±1). De la expresión anterior, se

concluye que cumple la condición de Markov.

Observación. El capital del jugador A después de n juegos puede expresarse

en términos del capital inicial X0 ( = k) y de los resultados de las n apuestas
que haga Y1, Y2,..., Yn-1, Yn.

Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn

Al examinar la expresión podría pensarse que no se cumple la condición de

Markov. Mas sin embargo debe tenerse en cuenta que el capital después de los
n-1 primeros juegos Xn-1 es igual a:

Xn-1 = X0 + Y1 + Y2 + ... + Yn-1

con lo cual se obtiene la expresión dada anteriormente

El espacio de estados está dado por E = (0, 1, 2,..., M)

Las probabilidades de transición están dadas por:

ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se

tiene todo el capital, el oponente no puede realizar ninguna apuesta.
El problema el jugador se puede representar mediante el siguiente “diagrama
de transición”.

Ejemplo 2.3 Sistema de inventarios

Considere un sistema de inventario (s, S) donde se pide la cantidad necesaria
para elevar el inventario al nivel S cuando el inventario es menor que s. En
caso contrario no se pide nada. El pedido se entrega al principio de la siguiente
semana. La demanda semanal tiene la siguiente distribución de probabilidad
(corresponde a una distribución de Poisson con tasa = 1.5):

Sea Xn el inventario al final de la semana n.

a) ¿Es Xn una cadena de Markov?

b) En caso afirmativo, ¿cual será la matriz de transición?. Sea s = 1, S = 3

Solución. El inventario al final de una semana (Xn) es igual al inventario al

final de la semana anterior (Xn-1) menos la demanda atendida durante la
semana Dn más las órdenes colocadas al final de la semana anterior para
reabastecer el inventario (On-1), las cuales llegan al principio de la semana. Por
lo tanto Xn se expresa como:

Xn = Xn-1 + Qn-1 - Dn

donde

Qn-1 = Cantidad pedida al final de la semana n-1

Dn = demanda atendida durante la semana n

El espacio de estados está dado por E = (0, 1, 2, 3)

Cálculo de las probabilidades de transición

Cálculo de p00. Para calcular p00 debe tenerse en cuenta que si el inventario es
cero al final de una semana, se piden tres unidades que llegan al principio de la
semana siguiente, y para poder terminar de nuevo la semana en cero, se
requiere que la demanda durante esa semana sea de por lo menos tres
unidades

P00=P(Xn=0/Xn-1=0)= P(D 3) = .126+.047+.018 =.191

Cálculo de p01, p02 y p03. Para calcular p0j (j = 1, 2, 3) debe tenerse en

cuenta que si el inventario es cero al final de una semana, se piden tres
unidades que llegan al principio de la semana siguiente, y para poder terminar
la semana con inventarios de 1, 2 o 3 unidades, se requiere que las demandas
respectivas durante la semana sean de 2, 1 y 0 unidades

P01 = P(Xn=1/Xn-1=0)= P(D=2) = 0.251

P02 = P(Xn=2/Xn-1=0) = P(D=1) = 0.335
P03 = P(Xn=3/Xn-1=0) = P(D=0) = 0.223

Cálculo de p1j. Si el inventario al final de una semana es uno no se hace ningún

pedido. Por lo tanto, para pasar de un inventario de uno a un inventario de
cero, (p10) se requiere que la demanda durante esa semana sea de por lo
menos una unidad, y para poder terminar la semana con una unidad en el
inventarios la demanda durante la semana debe ser cero. Además, como no se
hace pedido, no es posible terminar la semana con dos o tres unidades si al
final de la semana anterior sólo había una unidad en el inventario.

P10 = P(D 1) =0.335+.251+.126+.047+.018 = 0.777

P11 = P(D=0) = 0.223
P12 = 0, P13 = 0

La matriz de transición resultantes es la siguiente:

Ejemplo 2.4 Genio de una persona.

Suponga que el genio (humor) de un compañero en un día cualquiera puede ser
“alegre”, “normal”, o “de mal genio(malhumorado)”. Suponga además que si
hoy está de buen genio mañana puede estar de buen genio, normal o
malhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoy
está “normal” mañana puede estar de buen genio, normal o malhumorado con
probabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy está de
mal humor, mañana puede estar de buen genio, normal o malhumorado con
probabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n ? 0} representa el
genio de su compañero, la matriz de transición estará dada por
donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2]

Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b,

14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a

Ejemplo 2.5 Transformación de una cadena de Markov. El estado del

tiempo
Suponga que el estado del tiempo un día cualquiera depende de las condiciones
del tiempo en los dos días anteriores. Así:
• Si ha llovido en los dos últimos días, lloverá mañana con probabilidad de
0.7

• Si llovió hoy pero no ayer, la probabilidad de que llueva mañana es de

0.5

• Si llovió ayer pero no hoy, la probabilidad de que llueva mañana es de

0.4

• Si no ha llovido los dos últimos días, la probabilidad de que llueva

mañana es de 0.2
a) ¿Es el proceso anterior una cadena de Markov?
b) Si no lo es, puede transformarse para que lo sea?
Solución. Si denotamos por Xn el estado del tiempo el día n, entonces Xn es
una función no sólo de Xn-1 sino también de Xn-2, por lo cual no es una cadena
de Markov.
Si embargo, si redefinimos el estado del proceso como el estado del tiempo en
dos días consecutivos, el proceso sería una cadena de Markov. Así: Xn = Estado
del tiempo en los días n y n-1. La convención podría ser la siguiente:
Estado Condición
0 Llueve los dos últimos días- LL
Llueve el día actual pero no el
1
anterior-LN
No llueve el último día, pero sí el
2
anterior- NL
3 No ha llovido los dos últimos días-NN
E = (0, 1, 2, 3) = (LL, LN, NL, NN)
Cálculo de las probabilidades de transición
Estado futuro = Estado del tiempo mañana y hoy
Estado actual = Estado del tiempo hoy y ayer
P00 = P(LmañanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos últimos
días) = 0.7
P01 = P(LmañanaNhoy/LhoyLayer) = 0
P02 = P(NmañanaLhoy/LhoyLayer) = 0.3
P03 = P(NmañanaNhoy/LhoyLayer) = 0
P10 = P(LmañanaLhoy/LhoyNayer) = 0.5
P11 = P(LmañanaNhoy/LhoyNayer) = 0
P12 = P(NmañanaLhoy/LhoyNayer) = 0.5
P13 = P(NmañanaNhoy/LhoyNayer) = 0
La matriz de transición resultante es la siguiente:

Ejemplo 2.6 Taller con dos máquinas y un mecánico

Considere un taller que tiene 2 máquinas y un mecánico que las repara cuando
fallan. Si una máquina está trabajando, la probabilidad de que falle en una hora
es . Si una máquina está bajo reparación, la probabilidad de que el mecánico
termine de repararla en una hora es . Si Xn es el número de máquinas en
operación al final de la hora n,
a) ¿Es Xn una cadena de Markov?. Explique
b) En caso afirmativo, calcule la matriz de transición
Solución. El número de máquinas en operación al final de una hora (Xn) es
igual al número de máquinas en operación al final de la hora anterior (Xn-1)
más el número de máquinas reparadas durante la última hora (Rn) menos el
número de máquinas que han fallado durante la última hora (Fn). Por lo tanto
Xn se expresa como se indica a continuación, de donde se desprende que es
una cadena de Markov. Se supone que las máquinas fallan al final de la hora, o
que sólo al final de la hora se descubre que las máquinas han fallado, o que el
mecánico ha terminado la reparación. (No hay eventos simultáneos)
Xn = Xn-1 + Rn - Fn
donde
Rn = Número de máquinas reparadas durante la última hora.
Fn = Número de máquinas que fallaron durante la última hora.
El espacio de estados está dado por E = (0, 1, 2)
Cálculo de las probabilidades de transición
Cálculo de p00, p01 y p02. Para pasar del estado cero al estado cero se
requiere que el mecánico no termine la reparación de una máquina (1 - ) y
para pasar al estado uno se requiere que termine de reparar la máquina ( ).
P00 = P(mecánico no termine la reparación) =1 -
P01 = P(mecánico termine la reparación) =
P02 = P(Reparar dos máquinas) = 0
Cálculo de p10, p11 y p12. Para pasar del estado uno al estado cero se requiere
que el mecánico no termine la reparación de la máquina que está arreglando (1
- ) y que la máquina que estaba en operación se dañe ( ). Para pasar del
estado uno al estado uno se requiere que el mecánico no termine la reparación
de la máquina que está arreglando (1 - ) y que la máquina que estaba
operando no se dañe (1 - ), o que el mecánico termine la reparación de la
máquina que está arreglando ( ) y que la máquina que estaba operando se
dañe ( ).Para pasar del estado uno al estado dos se requiere que el mecánico
termine la reparación de la máquina que está arreglando ( ) y que la máquina
que estaba operando no se dañe (1 - )
p10 = P(No terminar reparación y máquina buena se dañe = (1 - ) ( )
p11 = P(no terminar reparación y la máquina buena no se dañe)
P(terminar reparación y la máquina buena dañe)
= (1 - ) (1 - ) + ( ) ( )
p12 = P(terminar reparación y que máquina buena no se dañe) = ( ) ( )
Queda como un ejercicio calcular las probabilidades de transición desde el
estado 2 hacia los demás estados.
La matriz de transición resultante es la siguiente:

2.2. Matriz de transición en n etapas

Probabilidad de transición en n etapas:

Probabilidad de que un proceso pase del estado i al estado j en n transiciones o
pasos.

P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) = , n, i, j 0

Se tiene que =

Cálculo de

Para pasar del estado i al estado j en dos transiciones se debe pasar por un
estado intermedio k en la primera transición y luego ir del estado k al estado j
en la segunda transición. Este estado k puede ser cualquiera de los estados del
proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso

Denotemos por la matriz formada por las probabilidades de transición en

dos etapas, cuyos elementos son las diferentes probabilidades de transición en

dos etapas . Al analizar la expresión resultante para observamos este

elemento es igual al producto de la fila i de la matriz de transición en una etapa
P por la columna j de la misma matriz. Es decir, la matriz de transición en dos
etapas, es simplemente el producto de la matriz de transición de una etapa por
sí misma. Por lo tanto,

Matriz de transición en 3 etapas Cálculo P(3)

Para pasar del estado i al estado j en tres etapas se puede pasar en el primer
paso por un estado intermedio k, y luego hacer la transición del estado k al
estado j en los restantes dos pasos, es decir:

Si P(3) es la matriz de transición en 3 pasos, entonces se tiene que

También se puede pasar al estado intermedio k en los primeros dos pasos, y

luego hacer la restante transición al estado j en un paso, es decir

Es decir, P(3) se puede expresar como:

Matriz de transición en n etapas - P(n) Ecuación de Chapman

Kolmogorov .

Para pasar del estado i al estado j en n etapas se puede pasar en los m

primeros pasos por un estado intermedio k, y luego hacer la transición del
estado k al estado j en los n-m restantes pasos, es decir:

Si P(n) es la matriz de transición en n pasos, entonces puede expresarse como:

También para pasar del estado i al estado j en n etapas se puede pasar al

estado intermedio k en los primeros n-m pasos, y luego hacer la transición al
estado j en m pasos, es decir

Es decir, se puede expresar como:

El sistema anterior de ecuaciones recibe el nombre de Ecuación de Chapman
Kolmogorov

Propiedades:

Ejemplo 2.7 Estado del tiempo. ¿Cuál es la probabilidad de que llueva dentro
de 4 días si está lloviendo hoy?.
Solución. Para responder esta pregunta debemos calcular las probabilidades de
transición en cuatro paso

La probabilidad requerida está dada por = 0.5749

Ejemplo 2.8 Sistema de inventarios. Calcule la probabilidad de que no haya

unidades en el inventario dentro de dentro de cuatro días si hoy no hay nada.
La matriz de transición en varias etapas (n =2, 4, 8) se presenta en la página
siguiente:

La probabilidad requerida está dada por = 0.3993

¿Qué comportamiento se observa en a medida que n aumenta?

2.3. Probabilidades de estado

Se denomina “probabilidad de estado” a la probabilidad (incondicional) de que
después de n transiciones el proceso se encuentra en el estado j, la cual

denotaremos por = P(Xn=j)

Cálculo 1. La probabilidad de estado se puede calcular condicionando bien

sea en el estado inicial o en cualquier otro estado. Condicionando en el estado
inicial se tiene:

Si denotamos por ={ , ,..., } un vector fila con las

probabilidades de estado, y analizamos la ecuación anterior tenemos que se
puede expresar como
:

donde es el vector de estado o probabilidad inicial { = P(X0=j)} y

={ , , ,..., }

Cálculo 2. También se puede calcular condicionando en cualquier otro

estado. Si se condiciona en el penúltimo estado que visite el proceso se tiene:

Analizado la ecuación anterior tenemos que:

= P

donde es el vector de probabilidad de estado para la etapa n-1.

Ejemplo 2.9 Estado del tiempo. Calcule la probabilidad de que llueva dentro
de cuatro días si es igualmente probable que llueva o no llueva hoy.

Solución. Como es igualmente probable que llueva o no llueva hoy, se tiene

que = (0.5, 0.5). La probabilidad de que llueva dentro de cuatro días se

calcula como:
Ejemplo 2.10 Sistema de inventarios 1. Si el inventario inicial es 2
unidades, cual es la probabilidad de que no haya inventario al final de la
primera semana? De la cuarta? De la octava?. Qué pasa si el inventario inicial
fuera tres?

Solución. Si el inventario inicial es dos unidades, tenemos entonces que =

(0, 0, 1, 0). Por lo tanto:

La probabilidad de que no haya inventario al final de la primera semana es

0.442, al final de la cuarta es 0.4002 y al final de la octava es 0.4005
.
Ejemplo 2.11 Sistema de inventarios 2. Si el inventario inicial fuera 3
unidades, las probabilidades de estado para las etapas 1,2, 4 y 8 serían:

La probabilidad de que no haya inventario al final de la primera semana es

0.191, al final de la cuarta es 0.3993 y al final de la octava es 0.4005

Analice las respuestas anteriores, y como es su comportamiento. ¿Qué se

observa?

Comportamiento de las probabilidades de estado.

a) Qué se observa en el comportamiento de cuando n aumenta?

b) Qué pasa con cuando n aumenta y se cambia el estado inicial?

2.4. Clasificación de estados

Accesibilidad. El estado j es accesible desde el estado i (i j) si >0. Esto

implica que j es accesible desde i si y solo si, empezando en i es posible que el
proceso entre al estado j. Esto es verdadero dado que si j no es accesible desde
i, entonces
Comunicabilidad. Si el estado j es accesible desde el estado i, y el estado i es
accesible desde el estado j, entonces se dice que los estados i y j se comunican
(i j).

La comunicación tiene las siguientes propiedades:

a) Reflexiva: Todo estado se comunica consigo mismo, ya que =1

b) Simétrica: Si i se comunica con j, entonces j se comunica con i
c) Transitiva: Si i se comunica con j, y j se comunica con k, entonces i se
comunica con k.

Conjunto cerrado C. Sea Cj el conjunto (clase cerrada) formado por el estado

j y todos los estados que se comunican con el estado j. Puede contener un solo
elemento.

Ejemplo 2.12 Sistema de inventarios. Se tiene que:

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E

Ejemplo 2.13 Problema del jugador. Se tiene que

C0 = (0)
C1 = (1, 2, 3, ..., M-1) = C2 = C3 = ...= CM-1
CM = (M)

Clases disjuntas. Los estados de una cadena de Markov se pueden clasificar

en clases disjuntas (cerradas), donde los estados que se comunican pertenecen
a la misma clase.

Ejemplo 2.14 Problema del jugador. Se tiene que E=(0,1,2,...,M-1,M)

C0 = (0) = E1, C1 = (1, 2, ..., M-1) = C2 = ... = CM-1 = E2, CM = (M) = E3

Ejemplo 2.15 Problema de inventarios. Se tiene: E = (0, 1, 2, 3).

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E
Proceso irreducible. Una cadena de Markov es irreducible si sólo contiene una
clase, es decir, si todos los estados se comunican. Por ejemplo el sistema de
inventarios.

Estados recurrentes y transitorios

Sea fii= Probabilidad de que el proceso regrese al estado i dado que empieza o
se encuentra en dicho estado i

Estado recurrente. El estado i es recurrente si fii=1, es decir, hay certeza de

regresar a dicho estado.

Estado absorbente: Es un caso especial de un estado recurrente cuando pii=1

Estado transitorio: El estado i es transitorio si fii<1, es decir existe una

probabilidad =1 – fii>0 de no regresar al estado una vez se sale de él.

Ejemplo 2.16 Problema del jugador. Se tiene que E = (0, 1, 2, ..., M-1, M)

Como se observa en el diagrama de transición, los estados 0 y M son

absorbentes, ya que una vez el proceso entra en dichos estados, no vuelve a
salir de allí. Los demás estados se comunican entre sí, pero son transitorios, ya
que si el proceso sale del estado 1 o del estado M-1 nunca regresa a dichos
estados. Se tiene que f00= fMM = 1, y fii < 1, para i 0, M

Para encontrar el número esperado de períodos que el proceso se encuentra en

el estado i dado X0 = i, considere:

Sea Bn = 1 si Xn = 1, y Bn = 0 si Xn i

La cantidad representa el número de períodos que el proceso está

en el estado i dado X0=i
Su esperanza está dada por:

De lo anterior se tiene que:

El estado i es recurrente si

El estado i es recurrente si
La recurrencia es una propiedad de clase, es decir, todos los estados que
pertenezcan a una misma clase son todos recurrentes o todos transitorios. De
nuevo, considere el problema del jugador. Claramente el estado 1 es
transitorio, ya que si del estado 1 se pasa al estado 0, nunca se regresa al
estado 1. Además, los estados 1, 2,..., M-1 se comunican entre sí. Por lo tanto,
estos estados son también transitorios. El mismo argumento empleado para el
estado 1 se puede usar para el estado M-1.

No todos los estados de una cadena de Markov pueden ser transitorios.

Considere un proceso de Markov con la siguiente matriz de transición.

Clasifique sus estados.

Sea E=(0, 1, 2, 3, 4) (Uso diagrama de transición)

C0=(0,1) =C1, C2 = (2,3) = C3, C4= (4) E1 = (0,1), E2 = (2,3), E3 = (4)

Recurrentes = (0,1), (2,3) y transitorio = (4)

Período. El período de un estado i se define como el entero t (t >1) si =

0 para todos los valores de n t, 2t,3t,..., y t es el entero mayor con esta
propiedad.

Ejemplo 2.17 Problema del jugador. Considere el estado 1. Si se está en el

estado 1, sólo se puede pasar a él, en los tiempos 2, 4, 6, etc. Igual sucedería

con los estados, 2, 3,.., M-1. (Esto se puede verificar calculando o

analizando el diagrama de transición).

La periodicidad es propiedad de clase, es decir, si el estado i es periódico con

período t, y el estado i se comunica con el estado k, entonces el estado k
también tiene período t.

Estado aperiódico. El estado i es aperiódico si existen dos enteros s y s+1

tales que el proceso pueda encontrarse en el estado i en los tiempos s y s+1.
Se dice que el estado tiene período 1. Por ejemplo, en el sistema de inventarios
analizado previamente todos los estados se comunican, y son aperiódicos.
Recuerde que para pasar de un estado a otro, la transición se puede dar en
varios pasos, no necesariamente en uno sólo.
Estado ergódico. Se dice que un estado es ergódico si dicho estado es
recurrente y aperiódico

Ergodicidad. Un proceso estocástico es ergódico si es irreducible y aperiódico

Problema. Considere los cadenas de Markov descritos por las matrices de
transición. Clasifique sus estados.

2.5. Tiempos de primera pasada

El tiempo de primera pasada corresponde al número de transiciones que hace

el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j,
corresponde al número de transiciones para regresar al estado i y se denomina
tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el número de
semanas requerido para pasar de un inventario de cero a otro inventario de
cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos
consecutivos

Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una
función de densidad.

Ecuaciones recursivas.

Sea =Probabilidad de que el tiempo de primera pasada del estado i al estado

j sea n. Para n = 1 se tiene claramente que:

Para n = 2, representa todas las formas en que se puede pasar de i a j en

dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o transición
siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad
de transición en dos pasos

Para cualquier valor de n, representa todas las formas en que el proceso

puede pasar del estado i al estado j en n pasos, lo cual incluye pasar a j en un
paso y quedarse ahí en las n-1 transiciones siguientes, o pasar a j en dos pasos
y quedarse ahí en las n-2 transiciones siguientes,..., o pasar a j en los primeros
n-1 pasos y quedarse ahí en la transición siguiente. Por lo tanto estas
probabilidades deben restarse de la probabilidad de transición en n pasos
Sea fij la probabilidad (incondicional) de que el proceso pase del estado i al
estado j, la cual está dada por:

Entonces, como ya se había visto, el estado i es recurrente si fii=1, y es

transitorio si fii<1 (no hay certeza de realizar la transición)

Tiempo esperado de primera pasada ij

Corresponde al tiempo esperado para ir del estado i al estado j, y en teoría, se

puede calcular usando la definición de valor esperado, a saber:

Los son difíciles de calcular. Sin embargo, los ?ij se pueden calcular más
fácilmente usando el siguiente conjunto de ecuaciones:

Cálculo de ij .Si los estados i y j son recurrentes, los tiempos de primera

pasada se pueden calcular usando el conjunto de ecuaciones dado por:

Explicación: Para ir del estado i al estado j por primer vez se requiere:

a) Realizar mínimo un paso. Si llega a j ij = 1
b) Si no se llega a j sino a k j, entonces partiendo de k pasa a j en un número
esperado de kj pasos.

Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y luego
se calcula la ecuación correspondiente a jj.

Ejemplo 2.18 Sistema de inventarios. Calcular el tiempo medio de

recurrencia del estado 0 00.

las ecuaciones a plantear y resolver son las siguientes:

Realizado el cálculo de 10, 20 y 30 se calcula 00 como:

00 = 1+ p01 10+ p02 20+ p03 30

Las ecuaciones resultantes son:

De (3) se obtiene 10 = 1/0.777 = 1.287 (4)

(4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5)

(4)y (5) en (1): 30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497
00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497

¿Cómo se interpreta 00=2.497? Tiempo entre pedidos

2.6. Probabilidades de largo plazo de las Cadenas de Markov

(Probabilidades de estado estable)

Al examinar las probabilidades de transición en n pasos , se observa que a

medida que n aumenta, estas probabilidades tienden hacia una constante ,
independiente del valor inicial de i es decir, puede existir una probabilidad
límite, independiente de su estado inicial. Esta probabilidad límite está dada por

Un comportamiento similar se observó para la probabilidad de estado para

dos condiciones iniciales diferentes (gráfico de n vs qj(n)). Además, los valores
límites eran los mismos. Es decir,

2.6.1. Cálculo de probabilidades de estado estable

Recordemos que se puede calcular como:

Usando la expresión de la derecha tenemos que:

Como

Teniendo en cuenta lo anterior, se tiene que

Si definimos el vector fila tenemos que la ecuación anterior se

puede escribir en forma matricial como (se obtiene un sistema de M+1
ecuaciones y M+1 variables)
Como los forman una distribución de probabilidad, entonces . Por lo
tanto, las probabilidades de estado estable (o en régimen permanente) deben
satisfacer el siguiente sistema de ecuaciones:

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir
que hay una redundante, la cual no puede ser la última (¿por qué?).

2.6.2. Condiciones para la existencia de las probabilidades límites

a) Si el proceso es irreducible, existen las probabilidades limites

b) Si el proceso es ergódico, esas probabilidades son independientes del estado
inicial

2.6.3. Tiempos medios de recurrencia

Se puede demostrar que los tiempos medios de recurrencia se pueden

expresar en términos de las probabilidades límites como

= 1/

Ejemplo 2.19 Cálculo de probabilidades límites

Sistema de inventarios: El sistema de ecuaciones queda de la siguiente

manera:

= 0.191 + 0.777 + 0.442 + 0.191 (1)

= 0.251 + 0.223 + 0.335 + 0.251 (2)
= 0.335 + 0 + 0.223 + 0..335 (3)
= 0.223 + 0 + 0 + 0.223 (4)
Para que las formen una distribución de probabilidad se debe agregar la
siguiente ecuación

+ + + = 1 (5)

Solución
De (4) = 0.223 / 0.777= 0.287 (6)
(6) en (3): = (0.335 + 0.335 x 0.287 )/0.777 = 0.55488 (7)
(6) y (7) en (2): = (0.251 + 0.335 x 0.55488 + 0.251x0.287 )/.777 =
0.65498 (8)
Reemplazando (6), (7) y (8) en (5) tenemos:
+ 0.65498 + 0.55488 + 0.287 =1
= 1/2.49686 = 0.4005
=1/ 0.4005 = 2.4969
= 0.65498 = 0.2623
=1/ 0.2623 = 3.81216
= 0.55488 = 0.2222
=1/ 0.2222 = 4.4998
= 0.287 = 0.1149
=1/ 0.1149 = 8.7

Observación: Como se puede observar estos valores son los mismos que
aparecen en la matriz de transición P(8) calculada anteriormente, y en las
probabilidades de estado Q(8) calculadas también previamente

2.6.4. Probabilidades límites en cadenas periódicas

Si las cadenas son periódicas el límite

puede no existir. Considere la siguiente matriz de transición de dos estados

La matriz de transición en n pasos está dada por:

Tenemos que =1 si n es par, = 0 si n es impar. Por lo tanto el límite

anterior no existe.
Sin embargo, el siguiente límite siempre existe para cadenas de Markov
irreducibles y periódicos:

2.6.5. Interpretación de las :

Si se analiza el límite anterior, se observa que el numerador representa la suma

de las frecuencias (relativas) en que el proceso se encuentra en el estado j, es
decir, el total de períodos o pass en que el proceso visita el estado j, y el
denominador, el número total de transiciones observadas. Por lo tanto esta
probabilidad de estado a largo plazo se le puede dar la siguiente interpretación:

a) Probabilidad a largo plazo de que el sistema se encuentre en el estado j

b) Proporción de tiempo que el sistema se encuentra en el estado j

Ejemplo 2.20 Interpretación para el sistema de inventario. Los valores de las

probabilidades límites y su interpretación son los siguientes:
 = 0.4005 Un 40% de las semanas no hay artículos en la tienda al final de la
semana, o también, un 40% de las semanas es necesario colocar pedidos para
reabastecer el inventario
= 0.2623 Un 26.23% de las semanas se termina la semana con un artículo en
inventario
= = 0.2222 Un 2.22% de las veces se termina la semana con dos artículos en
inventario.
= 0.1149 Un 11.49% de las veces se termina la semana con tres artículos en
inventario.

Cálculo e Interpretación para el problema del estado del tiempo

La matriz de transición está dada por

Las ecuaciones para el cálculo de las probabilidades límites son las siguientes:

= 0.7 + 0.4 (1)

= 0.3 + 0.6 (2)
+ = 1 (5)

Del sistema anterior de ecuaciones se obtiene que = 571, = 0.329

Interpretación: La probabilidad de que llueva en un día cualquiera es 0.571, o
un 57.1% de los días lloverá.

2.7. Costo promedio esperado/unidad de tiempo

Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el

estado Xt en el tiempo t. C(Xt) es una variable aleatoria que toma cualquiera
de los valores C(0), C(1),..., C(M), y la función C(.) es independiente de t. El
costo promedio esperado a lo largo de n períodos está dado por:

Usando el resultado

Se puede demostrar que el “costo promedio esperado por unidad de tiempo”

está dado por:

Ejemplo 2.21 Suponga que existe un costo de $2 por cada unidad que hay en
inventario al final de la semana t. Cuál sería el costo esperado por semana de
mantenimiento del inventario?

Se tiene que C(0)=0, C(1)=2, C(2)=4, C(3)=6

El costo esperado por semana está dado por:
Costo esperado = = 0.4005x0+0.2623x2+0.2222x4+0.1149x6= 2.1028

Funciones de costos más complejas

Suponga que deben tenerse en cuenta los costos de ordenar y de penalización

por faltantes (demanda insatisfecha durante la semana). El costo por demanda
insatisfecha depende de la demanda y del estado del proceso. El costo del
período es una función de Xt, Xt-1 y D. El costo promedio esperado a la larga
está dado por:

donde C(j) =E{C(Xt, Xt-1,Dt)}

Ejemplo 2.22 Suponga que se tienen los siguientes costos:

El costo de hacer un pedido para reabastecer el inventario es $10, mientras que
el costo unitario se de $25. Por lo tanto, si se orden Q cámaras, el costo es =
10 + 25Q
Costo de demanda insatisfecha = $50/unidad
.
Considerando únicamente los anteriores componentes, el costo semanal será:

Si al final de una semana hay 0 unidades en inventario, se hace un pedido por

tres unidades. Habrá demanda insatisfecha al final de la semana siguiente, si
durante la semana la demanda es de 4 o 5 unidades. Por lo tanto:
C(0)=10+25 x 3 + 50 E{max(Dt-3), 0} =75 + 50 {p4 + 2 p5} = 75 +
50x(0.047+2*0.018)= 79.15

C(1) = 2 + 50 E{max(Dt-1}, 0}=2 + 50 {p2+2p3+3p4+4p5}

= 2 + 50 (0.251 + 2 x 0.126 + 3 x 0.047 + 4 x 0.018} = 37.8

C(2) = 2 x 2 + 50 E{max(Dt-2}, 0} =4 + 50{p3 + 2p4 + 3p5}

= 4 + 50 (0.126+2 x 0.047 + 3 x 0.018) = 17.7
C(3) = 2 x 3 + 50 E{max(Dt-3}, 0) = 6 + 50 {p4 + 2p5}
= 6 + 50 (0.047 + 2 x 0.018) = 10.15

Por lo tanto, el costo esperado por unidad de tiempo está dado por:

Costo esperado = 79.15 x 0.4005 + 37.8 x 0.2623 +17.7 x 0.2222 + 10.15 x

0.1149 = 46.71

2.8. Estados absorbentes

Definición. El estado k es absorbente si pkk = 1

Si el estado k es absorbente, y el proceso empieza en el estado i, entonces no

se habla de probabilidades límites, tales como fueron analizadas recientemente,
sino que se habla de que el estado i sea absorbido por el estado k, o
“probabilidad de absorción” al estado k, denotada por fik.
2.8.1. Probabilidades de absorción

Si el proceso se encuentra en el estado i (no absorbente), para calcular la

probabilidad de que este estado sea absorbido por el estado k, se puede
condicionar en el resultado de la primera transición, de la siguiente manera: El
proceso puede hacer una transición a un estado intermedio j, y de ahí ser
absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de
absorción fik pueden calcularse mediante el siguiente sistema de ecuaciones:

Ejemplo 2.23 Caminata aleatoria. Si el proceso se encuentra en el estado i, en

el instante siguiente puede estar sólo en i-1, i e i+1.
Ejemplo: Juegos de azar

Ejemplo 2.24 Estados absorbentes. Considere el problema del jugador con M =

3. Calcule fi0.

La matriz de transición está dada por:

Las ecuaciones para calcular fi0 son las siguientes

f00=1
f10= 1/2 f00+1/2f20 = 1/2 + 1/2f20
f20= 1/2 f10 + 1/2f30 = 1/2 f10
f30= 0

Resolviendo se obtiene f10 = 2/3, f20 = 1/3

Demostrar que 13 = 1/3, f23 = 2/3

13

2.8.2. Número medio de pasos para la absorción

Si el proceso empieza en el estado i (o se encuentra en el estado i), donde i es

un estado transitorio, el número medio de pasos para llegar a un estado
absorbente, se puede calcular condicionando en el resultado de la primera
transición, mediante el sistema de ecuaciones que se obtiene de la siguiente
ecuación:

donde T es el conjunto de estados transitorios.

También se podría escribir de la siguiente manera

donde la sumatoria se hace para todo estado k contenido en el espacio
muestral, y teniendo en cuenta que k = 0 si k es un estado recurrente
(absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo
medio de absorción a partir de ese estado es cero

2.8.3. Probabilidad de absorción. Calculo matricial

El cálculo se basa en la matriz fundamental. Simplemente daremos los pasos

requeridos en el procedimiento, sin analizar detalladamente el por qué.
Supondremos que el proceso tiene m estados transitorios, s estados
absorbentes y k estados recurrentes.

1) Se reorganizan las filas y las columnas de la matriz de transición, tal que

quede expresada (parcial o totalmente) de la siguiente manera:

donde
• R es una matriz de transición (mxs) que representa las transiciones de los m
estados transitorios a los s estados absorbentes
• Q es una submatriz de transición entre estados transitorios (m x m)
• I es una matriz identidad (s x s).
• Se excluyen de a matriz las transiciones entre estados recurrentes, si los hay
(ya que estos estados nunca serán absorbidos por los estados absorbentes).
2) Se calcula la matriz fundamental N como:

N = (I’ - Q)-1, donde Ì´ es otra matriz identidad de m x m

3) Se calcula la matriz que contiene las probabilidades de absorción PA = N x R

Ejemplo 2.25 Probabilidad de absorción.

Considere un almacén. Al final de cada mes se clasifican las cuentas por cobrar
en cuatro categorías: i) cuentas saldadas, ii) cuentas insolutas, las que no
adeudan abonos del mes anterior, iii) cuentas vencidas, las que llevan entre
uno y tres meses de atraso, y finalmente, iv) cuentas de dudoso o difícil cobro,
las que llevan mas de tres meses de atraso en sus abonos.

De los registros contables se extrajo la siguiente información: El 60% de las

cuentas insolutas se pagan al siguiente mes, el 30% permanece en esta
categoría y el 10% pasan a cuentas vencidas; el 40% de las cuentas vencidas
se convierten en insolutas, el 30% se pagan, el 20% permanece como cuentas
vencidas y el 10% pasan a deudas de dudoso cobro, consideradas como
cuentas perdidas.

a) Plantear este proceso como una cadena de Markov.

b) ¿De $ 50 millones que tiene el almacén este mes en cuentas insolutas y $ 10
millones en cuentas vencidas, cuánto dinero recuperará el almacén al mes
siguiente y cuánto considera como perdido?

Solución
Definición de estados. Los estados se pueden definir de la siguiente manera:
:
• 0 = Cuentas saldadas
• 1 = Cuentas insolutas
• 2 = Cuentas vencidas
• 3 = Cuentas malas

La siguiente es la matriz de transición resultante

Procedimiento:

1) Se intercambian filas 2 y 4 y luego las columnas 2 y 4.

El espacio de estados queda como E´=(0,3,2,1) y la matriz resultante es la
siguiente:

2) Cálculo de la matriz fundamental

3) Cálculo de las probabilidad de absorción

Interpretación de las probabilidades de absorción: A largo plazo, un 86.5% de

las cuentas vencidas son canceladas, y un 13.5% se convierten en cuentas de
dudoso recaudo. De las cuentas insolutas, un 98.1% se cancelan, y un 1.9% se
convierten en deudas malas.

Si el almacén tiene $50 millones este mes en cuentas insolutas y $10 millones
en cuentas vencidas, la cantidad de dinero que recuperará el almacén, y la
cantidad que se considerará como perdido se obtiene de la siguiente manera:
Sea C = ($10, $50) millones un vector (fila) que representa las cuentas
vencidas e insolutas, respectivamente, entonces a largo plazo se cancelarán o
se perderán las siguientes cantidades:

Es decir, de los $50 millones que tiene el almacén en cuentas insolutas y de los
$10 millones en cuentas vencidas, se recuperarán $57.694 millones y se
perderán $2.306 millones. el almacén, y la cantidad que se considerará como
perdido.

Resuelva este problema usando el sistema de ecuaciones visto antes

2.8.4. El problema del jugador. Otra visión.

Considere de nuevo el problema del jugador: Un jugador A apuesta contra otro

jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede
perderlo con probabilidad q = 1-p. Sea i el capital inicial del jugador A, y sea M
el capital de ambos jugadores. Estamos interesados en calcular la probabilidad
de que el jugador A sea arruinado si empieza jugando con i pesos.

Si denotamos por Xn el capital del jugador A después de n jugadas, vimos que

Xn es una cadena de Markov, con las siguientes probabilidades de transición.

Además ya que si no se tiene capital (jugador arruinado) no se puede

apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna
apuesta.

Estamos interesados en fi0, la probabilidad de absorción por el estado 0, si

empezamos con un capital de i. Por simplicidad denotaremos por la
probabilidad de que el jugador A se arruine si empieza con un capital de i.

Aplicando las ecuaciones para calcular las probabilidades de absorción:

se tiene la siguiente ecuación:

 = p +1 + q -1 , para i = 1, 2, 3, …, M-1
=1
=0

La ecuación para nos dice que para arruinarse empezando con un capital
inicial de i, se puede ganar la primera apuesta con probabilidad p, y luego
arruinarse con un capital de i + 1, o se puede perder la primera apuesta con
una probabilidad de q y luego arruinarse teniendo un capital de i – 1.

Como p + q = 1, se puede multiplicar por (p + q) y no pasa nada. Por lo

tanto, la ecuación queda como:
(p + q) = p +1 + q -1
p + q = p +1 + q -1

q - q -1 = p +1 – p
+1 - = ( - -1 ) (q/p) , para i = 1, 2, 3, …, M-1

Aplicando la ecuación anterior para diferentes valores de i tenemos las

siguientes ecuaciones:

Para i = 1

(1)

Para i = 2

(2)

Para i = 3

(3)

La expresión general sería:

(i)

Ahora, considere la siguiente identidad:

- = - (0)

Si sumamos las ecuaciones (0), (1), (2), ...,(i) tenemos lo siguiente:

Nota: La serie geométrica, dada por la expresión toma los siguientes
valores dependiendo de si la constante es uno o diferente de 1.

Sabemos que: = 1, = 0, reemplazando i = M se tiene:

Reemplazando –1y = 1 se obtienen las siguientes expresiones para :

Análisis de las probabilidades de arruinarse

Se analizará la probabilidad de ruina para el caso en que se esté jugando contra

un oponente sumamente rico (M )).

Caso en que = (q/p) < 1

Cuando la probabilidad de ganar es mayor que la probabilidad de perder, se

tiene que
Es decir, cuando la probabilidad de ganar es mayor que la de perder, la
probabilidad de arruinarse es menor de 1, es decir, no hay certeza de ser
arruinado empezando con un capital i.

Caso en que = (q/p) = 1

Cuando la probabilidad de ganar es igual a la probabilidad de perder, se tiene

que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está

jugando contra un oponente sumamente rico, hay certeza de arruinarse, es
decir, tarde o temprano el jugador A será arruinado.

Caso en que = (q/p) > 1

Cuando la probabilidad de ganar es menor que la probabilidad de perder, se

tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está

jugando contra un oponente sumamente rico, hay certeza de arruinarse, es
decir, tarde o temprano el jugador A será arruinado.

2.9. Problemas

1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector
de probabilidades iniciales = (1/4, 1/2, 1/4) y matriz de transición P dada
por :

a) Calcule p(0, 1, 1) = Pr(X0 = 0, X1 = 1, X2 = 0)

b) Demuestre que Pr(X1 = 1, X2 = 1/ X0 = 0) = p01 p11
c) Calcule
d) Calcule
e) Demuestre que la cadena es Irreducible.
f) Encuentre el valor de las probabilidades estacionarias.

2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego

recibe $2 y si pierde paga $1. La probabilidad de que A gane un juego es 1/3 y
que pierda es 2/3. El dinero total disponible es $N. Si el capital de cualquiera de
los dos jugadores cae por debajo del punto donde pueda pagar exactamente si
pierde el próximo juego, entonces el juego termina. Sea {Xn} el capital del
jugador A después de n jugadas.

a) Encuentre la matriz de transición para esta cadena de Markov.

b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos
llega a ser $1, realizarán la próxima jugada de $1 con igual probabilidad de
ganar o perder. Encuentre la matriz de transición para este caso.

3. Una represa se utiliza para generar energía eléctrica y para el control del
flujo de aguas. La capacidad de la represa es 3 unidades. La función de
probabilidad de la cantidad de agua que fluye a la represa -W- en el mes la
siguiente:

Si el agua en la represa excede la capacidad máxima, el agua sobrante se bota

a través del vertedero, que es de flujo libre. Para generar energía se requieren
mensualmente dos unidades que se sueltan al final de cada mes. Si hay menos
de dos unidades en la represa, se genera energía con el agua disponible, es
decir, se suelta toda el agua.

Sea Xn la cantidad de agua en la represa en el mes n, después de que se suelta

el agua. Suponga que inicialmente la represa está vacía.

a) Es { Xn } una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.

4. El propietario de una barbería local que solamente posee una silla para
prestarle el servicio a sus clientes piensa agrandar su negocio pues le parece
que siempre hay mucha gente esperando ser atendidos. Las observaciones
indican que en el tiempo requerido para motilar una persona pueden llegar 0,
1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente.
La barbería tiene una capacidad fija de 6 asientos, incluyendo aquel en que se
sienta el que está siendo atendido. Sea Xn el número de personas en la
barbería cuando se completa el servicio al n-ésimo cliente.

a) Demuestre que { Xn } es una cadena de markov.

b) Encuentre la matriz de transición.
c) Determine la proporción de tiempo, a largo plazo, que en la barbería hay seis
personas, o que hay 4 personas.

5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento

de destreza manual y encuentra que la siguiente matriz de probabilidad
describe el curso de respuestas “correctas” e “incorrectas”.
a) Qué proporción de respuestas correctas se podría esperar de una persona
completamente entrenada ?
b) Qué proporción de respuestas correctas se podría esperar de una persona
después de repetir cinco veces el procedimiento, si la respuesta inicial tiene
igual probabilidad de se correcta o incorrecta ?
c) Cual es la probabilidad de que una respuesta correcta se obtenga por
primera vez, exactamente después de cuatro ensayos con respuesta
incorrecta ?

6. Suponga que la línea de ensamblaje de SOFASA tiene las siguientes reglas:

• Un Renault X no puede seguir a otro Renault X porque el contenido de

trabajo desbalancearía la línea.

• Un Renault Y debe ser seguido por un Renault Z para balancear la línea.

• Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no

por otro Renault Z.
a) Encuentre una matriz de transición para este proceso. Use las letras a, b,
c,..., cuando los valores de las probabilidades de transición no estén
numéricamente definidas.
b) Es esta cadenas irreducible ?
c) Cual es la probabilidad de que después de un Renault X el siguiente Renault
X ocurra en la línea después de otro vehículo ?
d) Si P es una matriz de transición, que interpretación daría Usted al elemento
para n grande?
7. Una partícula se mueve en un círculo en el sentido de las manecillas del
reloj, a través de cinco puntos marcados con los números 0, 1, 2, 3 y 4. En
cada etapa la partícula tiene una probabilidad de dar un paso en el sentido de
las manecillas del reloj y 1 - de moverse en sentido contrario. Sea Xn la
posición de la partícula en el círculo después de dar n pasos.

a) Es { Xn , n 0} una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.
c) Calcule las probabilidades límites. Cómo se interpretan ?
8. Una fábrica tiene dos máquinas y una cuadrilla de reparación. Suponga que
la probabilidad de que una máquina se dañe en un día cualquiera es .
Suponga, además, que si la cuadrilla de reparación está trabajando en una de
las máquinas, la probabilidad de que termine la reparación en un día mas es .
Sea Xn el número de máquinas en operación al final del n-ésimo día. Asuma
que el comportamiento de { Xn } puede modelarse mediante una cadena de
Markov. (Qué simplificaciones deben hacerse para que esta suposición sea
completamente válida?).

a) Encuentre la matriz de transición.

b) Si ambas máquinas están funcionando cuando el sistema se inicia, cual es la
probabilidad de que ambas estén trabajando dos días después ?
9. Una moneda “honesta” se lanza al aire sucesivamente hasta que ocurran
tres caras seguidas. Sea { Xn } la longitud de la secuencia de caras que
terminan en el n-ésimo lanzamiento. Cual es la probabilidad de que haya al
menos 8 lanzamientos sucesivos de la moneda ?.

10. Considere el experimento de lanzar un dado de manera repetida. Sea Xn el

máximo de los números que ocurren en los primeros n lanzamientos. Si { Xn }
es una cadena de marco:

a) Encuentre la matriz de transición.

b) Encuentre y

11. Tres niños A, B y C juegan con una pelota de la siguiente manera: Si A

tiene la pelota siempre se la pasa a B, y B siempre se la pasa a C, pero este se
la pasa a A o a B indistintamente. Sea Xn la n-ésima persona en recibir la
pelota. Es { Xn } una cadena de Markov?. Si es así,

a) Encuentre la matriz de transición.

b) Calcule sabiendo que inicialmente C tiene la pelota.
c) Calcule las probabilidades límites.

12. Se tienen 6 bolas, tres blancas y tres negras, las cuales se distribuyen al
azar en dos urnas, de tal forma que cada una contenga tres. En cada etapa se
retiran, simultaneamente, una bola de cada urna, y se deposita en la urna
contraria. Sea Xn el número de bolas blancas en cada urna después de n
intercambios.

a) Explique por qué { Xn } es suna cadena de markov.

b) Encuentre la matriz de transición.
c) Cual es la probabilidad de que haya tres bolas blancas en la primera urna
después de n intercambios.
d) Cual es la probabilidad, a largo plazo, de que haya dos bolas blancas en la
primera urna?

13. Suponga que el estado del tiempo en un día cualquiera depende de las
condiciones del tiempo en los dos días anteriores. Así, si llovió hoy y también
ayer, la probabilidad de que llueva mañana es 0.7. S hoy llovió pero no ayer,
lloverá mañana con una probabilidad de 0.5. Si no llovió hoy paro sí ayer, la
probabilidad de que llueva mañana es 0.4. Si en los dos últimos días no ha
llovido, la probabilidad de que llueva mañana es 0.2.

a) Defina el proceso como una cadena de Markov. Defina apropiadamente los

estados.
b) Encuentre la matriz de transición.
c) Si el lunes y martes de esta semana llovió, cual es la probabilidad de que
llueva el jueves?
d) Cual es la probabilidad de que llueva en los próximos cuatro días si hoy está
lloviendo ?
e) Es esta una matriz irreducible ?

14. Considere el siguiente problema de inventarios: Un almacén de artículos

fotográficos almacena un tipo particular de cámara que puede ordenarse
semanalmente. Sea D1 , D2 , ... la demanda de este tipo de cámara durante la
primera, segunda semana,...,Se asume que las Di son variables aleatorias
independientes e idénticamente distribuidas con función de probabilidad
conocida. Sea Xn el número de cámaras disponibles (en inventario) al final de
la n-ésima semana. El almacén tiene inicialmente tres cámaras. Los sábados en
la tarde el almacén coloca una orden que es entregada al lunes siguiente, antes
de que el almacén abra sus puertas al público. El almacén usa la siguiente
política de reabastecimiento (s, S): Si el número de cámaras en inventario al
final de la semana es menor que s = 1 (no hay inventario), el almacén ordena
S = 3 cámaras. En caso contrario, el almacén no hace ningún pedido. Se
supone que las ventas se pierden cuando la demanda excede al inventario. Si la
demanda semanal sigue una distribución de Poisson con una media de 1.5
artículos por semana,

a) Es { Xn } una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.
c) Encuentre la proporción de tiempo que hay i cámaras en inventario al final
de la semana ?
d) Suponga que se incurre en un costo C(Xn ) cuando el inventario al final de la
semana es Xn . Cual es el costo esperado por semana ?. Suponga

15. Una matriz de transición P se dice que es doblemente estocástica si la

suma de los elementos de cada columna es igual a la unidad. Si tal cadena es
aperiódica e irreducible, con espacio de estados (0, 1, 2,...,M), demuestre que
las probabilidades límites están dadas por:

= 1/(M + 1), j = 0, 1,..., M

16. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2, 3, 4) y

matriz de transición P. Para cada uno de los casos siguientes determine las
clases cerradas comunicadas y los estados absorbentes. Analice, además, el
comportamiento probabilístico cuando n .
17. Comprobar la periodicidad de las siguientes matrices de transición y su
período. Determine, además, los estados periódicos:

18. Comprobar si las siguientes matrices de transición son periódicas y

oscilantes

19. Considere una cadena de markov con espacio de estados 0, 1,...,5 y

definida por la siguiente matriz de transición. Determine cuales estados son
recurrentes y cuales son transitorios.

20. Considere una cadena de Markov con espacio de estados (0, 1, 2, 3, 4 ) y

matriz de transición dada por:

a) Determine las clases comunicadas cerradas y los estados transitorios

b) Para cada clase comunicada cerrada, encuentre las probabilidades ti de que
el sistema entre a la clase i dado que inicialmente estaba en el estado
transitorio i

21. Suponga que en una estación de trabajo las partes a ser procesadas llegan
en una caja a través de una banda transportadora, y la caja sólo trae una pieza
para ser procesada. Suponga, además, que en el tiempo que transcurre entre
la llegada de dos cajas sucesivas, la estación de trabajo puede completar 0, 1 ó
2 partes con probabilidades de 3/8, ½ y 1/8 respectivamente. Suponga además
que la estación puede acumular (en un almacenamiento temporal) máximo una
pieza, además de la que está procesando. Si la banda transportadora llega con
la caja, y la estación está inactiva o tiene una parte en operación entonces la
pieza es descargada y se coloca a un lado para ser procesada cuando haya la
oportunidad. Si la estación ya tiene una parte en operación y otra en
almacenamiento temporal, entonces la pieza que llega pasa de largo y se
pierde.

Sean los estados del proceso 0, 1, 2 que representan una estación vacía, una
estación con una parte en proceso y una estación con una parte almacenada, El
proceso se observa justo antes de la llegada de la banda transportada con la
parte.

a) Encuentre la matriz de transición en una etapa.

b) Encuentre la proporción de tiempo que el proceso pasa en cada estado en el
largo plazo
c) Si la estación empieza el día vacía, cual es la probabilidad de que la tercera
caja que llegue no pueda ser descargada?

22. En cierta ciudad hay dos supermercados: y . Los clientes visitan los
supermercados una vez a la semana pero unas veces van al supermercado y
otras al aunque algunos clientes siempre van al mismo.

Una encuesta sobre preferencias indica que hay una probabilidad de 0.15 de
que un cliente que fue al supermercado una semana vaya la próxima a y una
probabilidad de 0.10 de que un cliente de una semana vaya la próxima a
Inicialmente el 60% de los clientes compran en y el 40% en .

a) Cuál será la distribución de clientes cinco semanas después?

b) Cuáles serán los porcentajes de participación a largo plazo?

23. El mercado de exportación de un país, bajo condiciones político-económicas

estables, puede ser modelado por una cadena de Markov en tres estados:
0 Incremento en más del 5% con respecto al año anterior.
1 Fluctuación menor del 5%
2 Disminución en más del 5% con respecto al año anterior.
La matriz de transición es:

Qué información puede extraerse de estos datos?

24. En una investigación de mercados se comprobó que el 90% de las personas
que compraban la marca de cierto producto volvían a comprar la misma marca
en la próxima ocasión, mientras que el 20% de los que no la habían comprado
lo hacían en la próxima oportunidad.

Cuál será el porcentaje real de consumidores de la marca a largo plazo?

25. En la fabricación en serie de un producto este debe pasar por tres

departamentos y al final de cada uno se realiza una inspección y dependiendo
de la calidad, el artículo se rechaza, se acepta y pasa al proceso siguiente o se
devuelve para reprocesarlo en el departamento en el que fue detectada la falla.
Si las probabilidades son respectivamente 0.1, 0.7 y 0.2 defina esta situación
como una cadena de Markov y diga cuál es el porcentaje de artículos que salen
dentro de las especificaciones de calidad de la totalidad que empiezan el
proceso durante la jornada.

26. Dada la matriz de transición

Calcular limite y diga cuál es la probabilidad de que el proceso pueda estar

en el estado 1.

27. Dada la siguiente matriz de transición

Encontrar los valores de para que el número esperado de pasos hacia la

absorción sea de 4 y la probabilidad de ser absorbido por el estado 2 sea el
triple de probabilidad de ser absorbida por el estado 3.

28. El propietario de una peluquería esta pensando en ampliarla pues le parece

que su clientela tiene que esperar demasiado tiempo para ser atendida.
Observaciones indican que durante el tiempo requerido para realizar un corte
de cabello pueden llegar 0,1,2, ó 3 clientes adicionales con probabilidad 0.3,
0.4, 0.2 y 0.1 respectivamente.

La peluquería tiene una capacidad máxima de seis clientes incluyendo el que

esta recibiendo el servicio, sea Xn el número de clientes en la peluquería al
finalizar el n-simo servicio.

a) Demuestre que es una cadena de Markov.

b) Encuentre la matriz de probabilidades de transición.
c) Determine el porcentaje de tiempo que a largo plazo se mantendrá a su
máxima capacidad.
29. Dada la cadena de Markov representada por la matriz.

con 0 < p < 1 y 0 < q < 1. Calcule y las probabilidades limites por medio de:

Sugerencia: utilice el proceso de diagonalización o representación expectral.

30. Dada la matriz de transición

representativa de una cadena de Markov. Diga cuál es la probabilidad de que el

proceso se encuentre en el estado 1 después de 5 etapas, si la cadena al
principio se encuentra en cualquiera de los estados con igual probabilidad.

31. Dada la cadena de Markov definida por la matriz.

Calcule el número esperado de pasos antes de alcanzar por primera vez el

estado 2.

32. Un taller de reparaciones atiende camiones a medida que llegan. Solo hay
espacio para estacionar dos camiones antes del servicio. Se han acumulado los
siguientes datos:

La probabilidad de completar un servicio en un periodo de una hora es de 0.7

siempre que haya una unidad para ser atendida, la probabilidad de tener más
de un servicio es, pues cero.

a) Formular esta situación como una cadena de Markov.

b) El número esperado de unidades en el sistema (1.14 camiones).
c) El número esperado de unidades en la cola (0.47 camiones).
33. Un estudio muestra que el número de clientes que están en el momento
ocupando la estación afecta la probabilidad de una nueva llegada. Si se supone
que la probabilidad de servicio es 0.5, formular esta situación como una cadena
de Markov, determinar el número esperado en el sistema y la utilización del
sistema, dada la siguiente tabla:

34. Encontrar la matriz estocástica que describe la siguiente cadena: El control

de calidad en cierta empresa se realiza de acuerdo a la política de inspeccionar
artículo por articulo y rechazar el lote de producción si se encuentra una unidad
defectuosa o aceptarlo si se encuentran tres unidades seguidas que cumplen las
especificaciones. Si sabe que el 85% de la producción sale con las
especificaciones deseadas.

35. Por el método de diagonalización de matrices, encuentre:

a)
b) El porcentaje del tiempo que el proceso permanece en el estado 2.

si la cadena está representada por la matriz

36. Una máquina funciona durante un determinado período de tiempo con una
probabilidad de falla de 0.3. El 60% de las veces la falla puede repararse
exactamente en el período, y en los demás casos se requieren exactamente dos
periodos para la reparación. Se puede suponer que las fallas se presentan al
final de un período. El costo por tiempo perdido es de $50.00 por período.

a) Formular esta situación como una cadena de Markov, describir los estados y
las suposiciones, y desarrollar una matriz de transición.
b) Es posible contratar un ayudante adicional, con un costo de $20 por período
de tiempo, con el objeto de que la falla siempre sea reparada dentro del mismo
período. Es conveniente hacer esto?

37. En un determinado proceso de producción, cada artículo pasa por dos

etapas de fabricación. El final de cada etapa, los artículos se desechan
(probabilidad de 0.2) se regresan para rehacerlos (probabilidad de 0.3) o pasan
a la etapa siguiente (probabilidad de 0.5).

a) Describir esta situación como una cadena de Markov y establecer la matriz

de transición.
b) Cuál es el número esperado de pasos hacia la absorción? (2.45 si empieza
en E1, 1.43 si empieza en E2).
c) Si en un lote se comienzan 100 partes, cuál es el número esperado de partes
buenas que pueden completar? (Solución: 51 partes).

38. Uno de los aficionados a la cacería de patos solamente le dispara a un pato

en cada ocasión independientemente de cuantos vuelen juntos.

La probabilidad de un acierto es 0.2. El máximo número de patos cazados en

un día es dos. Describir esta situación como una cadena de Markov absorbente.
Hallar el número esperado de disparos que debe hacer el cazador antes de
lograr su limite.

39. En un proceso de producción se realiza inspección secuencial y el lote se

acepta si salen dos artículos seguidos dentro de los estándares de calidad, de lo
contrario se rechaza. Si la probabilidad de que un artículo salga dentro de las
normas de calidad es del 90%, se pregunta:

a) La probabilidad de aceptar la producción. (Solución: 0.81)

b) Número esperado de pasos entes de que el proceso sea absorbido, para cada
uno de los estados absorbentes.

40. Se efectúa una encuesta de mercadeo de tres marcas de alimentos , y de la

que se ha extraído la siguiente información relativa a las preferencias de los
consumidores por las distintas marcas. Se pregunta:
a) El comportamiento de estos productos en el mercado de futuros.
b) El número esperado de pasos para que un cliente que posee ahora la marca
X compre por primera vez la marca Y

41. Una compañía distribuidora de artículos para oficina vende además de otros
artículos, dos tipos de calculadora A y B, las cuales han de importarse.

Todo pedido grande que reciba la distribuidora ha de ser pasado a la matriz en

el extranjero, demorándose dos meses en la recepción del mismo si la
calculadora es de tipo A y solo un mes si la calculadora es de tipo B. Para hacer
un nuevo pedido es necesario que se haya recibido el anterior, por lo cual, si se
hace un pedido de calculadora A, habrá que esperar dos meses para hacer un
nuevo pedido, ya sea de A o de B.

Los clientes de la distribuidora no aceptan que sus pedidos se encuentren en

línea de espera, optando en este caso por comprar otro tipo de calculadora a
otra compañía diferente, temiéndose entonces que si se presentan
simultáneamente pedidos de A y B habrá que elegir uno y rechazar otro.

Si la probabilidad de que se presente un pedido de A es 1/6 y la de un pedido

de B es de 1/4, qué pedido se debe elegir en caso de ser simultáneos?.
Considérese que un pedido de la A arroja una utilidad de $50.000, mientras la
utilidad para un pedido de B es de $30.000.

42. Mediante el calculo de encuentre el vector de probabilidades limites en la

cadena definida por la matriz:

43. Dada la cadena definida por la matriz:

Diga cuál es el número esperado de pasos para que la cadena entre en el

estado 1, sabiendo que se encuentra ahora en el estado 3.
44. En una oficina de representaciones hay tres agentes viajeros para visitar a
los clientes. Las correrías empiezan los lunes pero antes deben sostener una
reunión conjunta. Solo pueden salir de viaje dos de los agentes, pues siempre
debe permanecer uno en la oficina. Cuando un agente sale de correría, puede
demorarse en ella exactamente una o máximo dos semanas con probabilidad
2/3 y 1/3 respectivamente. Al iniciar una correría siempre salen los dos agentes
disponibles. Formule esta situación como una cadena de Markov, encontrando
la matriz de probabilidades de transición en una etapa.

45. La tierra Oz de es en muchos aspectos una tierra bendita, pero no en lo

que respecta al tiempo. Sus habitantes nunca gozan de dos días buenos
seguidos. Si tienen un buen día, es tan probable que caiga nieve como que
llueva al día siguiente. Si nieva (o llueve) hay igual probabilidad de que se
mantenga el tiempo así al día siguiente. Si se produce algún cambio en días de
nieve o lluvia, solo la mitad de las veces el cambio da origen a un tiempo
bueno. Hoy es un buen día en la tierra Oz . Formular la presenta situación como
una cadena de Markov.

46. En una investigación de mercados se realizó una encuesta sobre cuatro

marcas de detergentes: Axión, Ajax, Inextra, Fab. Se han encuestado 1000
consumidores, los cuales cambian de marca según la publicidad, promoción,
precios o siguen fieles a la misma.

Los resultados obtenidos se observan en la siguiente tabla:

• Los ceros de la diagonal principal indican la capacidad que tiene cada

marca para retener sus propios clientes.

• Las filas de la matriz nos representan las pérdidas.

• Las columnas representan las ganancias.

a) Hallar la matriz de transición, teniendo en cuenta que la probabilidad de que
una marca retenga clientes es igual a número de clientes retenidos al fin del
periodo dividido por el número de clientes al iniciar el período y la probabilidad
de que una marca pierda clientes es igual al número de clientes cedidos al
finalizar el período dividido por el número de clientes al iniciar el período.
b) Hallar la participación de las marcas en el mercado cuando n = 0, n = 1, n =
2.
c) Hallar la participación de las marcas en le estado estacionario, es decir en el
mercado de futuros.
47. El 2 de Febrero de 1983 la Empresa Pepa, controlaba el 30% del mercado
total, Fabri el 40% y Teji el 30%; de un estudio sobre mercadeo se obtuvieron
los siguientes datos:
Pepa retiene el 90% de sus clientes y gana el 5% de los clientes de Fabri y el
10% de los de Teji; Fabri retiene el 85% de sus clientes y gana el 5% de los de
Pepa y el 7% de los de Teji; Teji retiene el 83% de sus clientes y gana el 5%
de los de Pepa y el 10% de los de Fabri. Cuál es la participación de cada
Empresa en el mercado al 2 de Febrero de 1986 (n = 2); y la participación de
cada Empresa en el estado de equilibrio.
48. Una máquina incorporada al proceso productivo del articulo X, se
descompone muy periódicamente debido a lo delicado y excesivo del trabajo
que le toca realizar. Al clasificar el estado en el que queda la máquina al
finalizar la semana en cuatro posibilidades a saber:
Estado 1: En perfectas condiciones de funcionamiento.
Estado 2: Operable, pero produce artículos con ligeras fallas que se pueden
enmendar a un costo relativamente bajo.
Estado 3: Operable, pero produce muchos artículos desechables.
Estado 4: Definitivamente mala, es decir, ya no se puede poner a operar.
De datos históricos se ha obtenido la siguiente información:
Si la máquina comienza la semana en el estado 1 existe una probabilidad de
14/16 de que termine en el estado 2; 1/16 de que termine la semana en el
estado 3 y 1/16 de que termine en el estado 4.
Si la máquina comienza la semana en el estado 2 existe una probabilidad de
6/8 de que termine la semana en ese mismo estado 2; 1/8 de que termine en
el estado 3 y 1/8 de que termine en el estado 4.
Por ultimo, si la máquina comienza la semana en el estado 3 existe igual
probabilidad de que termine en ese mismo estado o en el estado 4.
La empresa incurre en los siguientes costos de operación de la máquina:
Costos de
Estado
operación
0 $0
1 $1000/semana
2 $3000/semana
Además la empresa incurre en unos costos adicionales de $2000 por la
producción que se deja de obtener y de $4000 en gastos de instalación cada
vez que se decida cambiar la máquina actual por una nueva.
Bajo las anteriores consideraciones, y entre las siguientes alternativas: Cuál es
la mejor política de reemplazo para la empresa?
a) Remplazarla cada que la máquina entre al estado 2.
b) Remplazarla cuando entre al estado 3.
c) Remplazarla únicamente cuando entre al estado 4.
Solución: La b); $1.727/semana
49. Una aerolínea, con vuelo diario a las 7 a.m. entre las ciudades A y B, no
desea que éste salga retrasado dos días consecutivos; de modo que si el vuelo
sale retrasado un día cualquiera la aerolínea realiza esfuerzos especiales para
que el vuelo salga a tiempo al día siguiente y logra este objetivo el 90% de las
veces. Si el vuelo no sale con retraso, la aerolínea no hace ningún arreglo
especial y al día siguiente el vuelo sale cumpliendo itinerario, de acuerdo con lo
programado, el 60% de las veces. Qué porcentaje de vuelos salen con retraso?
(Solución: 30.77%)
50. El programa de entretenimiento para supervisor de producción de cierta
compañía tiene dos fases:
La fase 1 consta de 3 semanas de estudio teórico en el aula y la fase 2 consta
también de 3 semanas de práctica bajo la dirección de supervisores veteranos.
De experiencias anteriores se espera que el 60% de los que inician el estudio
teórico pasen a la fase de práctica y el 40% restante abandona el programa. De
los que ya se encuentran en la fase de práctica el 70% logra graduarse, 10%
debe repetir esta fase y el 20% restante abandona el programa. Cuántos
nuevos supervisores graduados espera tener la compañía del actual programa
de entrenamiento si hay 45 aspirantes en la fase teórica y 21 ya se encuentran
en la fase práctica? (Solución: aproximadamente 37 nuevos supervisores).

51. Una costurera trabaja exclusivamente en una fase del proceso de

producción de una prenda de vestir. Demora exactamente ½ hora para ejecutar
su labor en una prenda. Cada ½ hora pasa un mensajero para recoger las
prendas que ya están listas y dejarle, de paso, nuevas prendas para que la
costurera les haga su labor. Las nuevas prendas por coser que el mensajero
lleva en cada visita es aleatorio así: el 30% no lleva ninguna; el 50% de las
veces lleva 1 y el 20% de las veces lleva 2 prendas. El mensajero tiene
instrucciones de nunca dejar mas de tres prendas por coser a la costurera.

Calcular el porcentaje de tiempo que esta costurera permanece ociosa

(Solución: 14.21%)

52. Una empresa dedicada a la administración de “Unidades Residenciales”

cuenta con el siguiente historial: Al clasificar las urbanizaciones administradas
por esta compañía en solo tres estados “Buena Condición”, “Condición
Promedia” y “Mala Condición”. Se dispone de las siguientes estadísticas: el 50%
de las “Unidades Residenciales” que empiezan al año en “Buena Condición”
terminan el año también en “Buena Condición”; el otro 50% se deteriora a una
“Condición Promedio”; de todas las “urbanizaciones” ó “Unidades Residenciales”
que empiezan el año en “Condición Promedio” el 30% permanecen en este
mismo estado y el otro 70% mejoran a “Buena Condición”; y finalmente, de
todas las Urbanizaciones administradas por esta empresa, y que empiezan el
año en “Mala Condición” el 90% permanecen en este estado y el 10% mejoran
a “Buena Condición”. Si estas tendencias y circunstancias se mantuvieran hacia
el futuro,
a) determine la condición esperada, a largo plazo de la “Unidades
Residenciales” administradas por esta empresa. (Solución: El 58.33% terminan
en Buena Condición, el 41.67% terminan en Condición Promedio, ninguna
terminan en Mala Condición,
b) Entonces es recomendable contratar los servicios de esta empresa?

53. Una empresa especializada en la producción de jabones de tocador clasifica

sus ventas en dos niveles: “alto” y “bajo”. Las ventas dependen de varios
factores, entre los principales están:
? Si se hace o no publicidad
? Si los competidores desarrollan y comercializan un nuevo producto.

Este segundo factor está, obviamente, fuera de control de la compañía, pero,

de todas maneras, la empresa está interesada en estableces la mejor política
publicitaria.

Se tienen los siguientes datos estadísticos y contables: La campaña publicitaria

cuesta US $1.000.000; las utilidades, en promedio, han sido de US $4 millones
si las ventas durante el trimestre han sido “altas” y de US $2 millones si son
“bajas”, estas utilidades no incluyen los costos de la campaña publicitaria; los
datos históricos indican que si se hace publicidad y las ventas durante un
trimestre han sido “altas” al semestre siguiente también son “altas” con
probabilidad ¾ y si fueron “bajas” al trimestre siguiente serán “altas” con
probabilidad ½ .
Estas probabilidades se han disminuido a ½ y a ¼ si no se hace publicidad.

El gerente de Mercadeo ha recomendado que se haga publicidad si las ventas

durante el presente trimestre son “bajas” y que no se haga publicidad si las
ventas durante el presente trimestre, han sido “altas”.

Cuál es la mejor estrategia publicitaria si estos datos se conservaran en el

futuro? (Solución: No hacer publicidad ($ 2.333; 2.667.2) US millones. Seria
interesante analizar la respuesta).

54. En la oficina de Admisiones y Registro de cierta universidad se ha obtenido

la información necesaria para las siguientes estadísticas sobre un programa de
Magíster que dura tres niveles: el 70% de los estudiantes que ingresan al
primer nivel pasan con éxito al segundo nivel, el 10% lo tiene que repetir y el
20% restante se retira por diferentes motivos; de todos los estudiantes que
pasan al segundo nivel, el 80% accede al tercer nivel, el 8% repite y el 12%
restante sale del programa por bajo nivel académico o por otras razones; de
todos los estudiantes que ingresan al tercer nivel el 90% se ha graduado, el 6%
lo tiene que repetir, y el 4% restante no puede optar al titulo y los retiran por
no cumplir las normas estipuladas.
a) Cuántos alumnos lograran el titulo de Magíster de un grupo de 100
aspirantes que se matricularon en el primer nivel?
b) Si cada nivel dura un semestre, durante cuando años se deberá ofrecer este
“Magíster” si la región y el país necesitan, aproximadamente 500 especialistas
en esta área, sabiendo que esta universidad sólo está en capacidad de recibir,
como máximo, 50 alumnos nuevos cada semestre? (Solución: 65 alumnos,
aproximadamente 8 años).

Es conveniente analizar los resultados, desde el punto de vista académico-

administrativo.

55. Un almacén de artículos electrodomésticos puede colocar pedidos de

refrigeradores al inicio de cada mes y de entrega inmediata. Se tienen los
siguientes datos contables: El hacer un pedido le cuesta al almacén US $100; el
costo de almacenamiento mensual es de US $5 y se incurre, además, en unos
costos de penalización por agotamiento de existencias de US $150 por
refrigerador y por mes si se presenta la demanda y no hay existencias para
satisfacerla.

De datos históricos se ha podido concluir que la demanda mensual de este

producto es aleatoria y se comporta de acuerdo con la siguiente distribución de
probabilidades:

La política del almacén ha sido la de no mantener más de dos refrigeradores en

existencia durante cualquier mes.
Establecer la mejor política de pedidos. (Soluciones: , si el inventario final
del mes es de 0 unidades, [US $207.80; US $ 150.90])

56. Considere un sistema de comunicaciones que transmite los dígitos 0 y 1.

Cada dígito transmitido debe pasar a través de varias etapas en cada una de
las cuales hay una probabilidad p de que el dígito que entra no sea cambiado
cuando sale.
Sea Xn el dígito que entra a la primera etapa del sistema, y para n 1 sea Xn el
dígito que sale en la n-ésima etapa del sistema de comunicación. Se pide:
a) Calcular la matriz de transición
b) Calcular la matriz de transición en n etapas.
c) Demostrar que la probabilidad de que un dígito transmitido como 1
efectivamente haya entrado como un 1 al sistema está dada por:

donde = Pr(X0 = 1) y = Pr(X0= 1) = 1 -

57. Una recepcionista puede encontrarse en uno de dos estados : Ociosa,

limpiándose las uñas, o trabajando. Se supone que sus hábitos de trabajo
pueden modelarse mediante una cadena de Markov de dos estados, y se han
hecho observaciones cada cinco minutos para estimar las probabilidades de
transición. A continuación se dan los datos de las primeras observaciones.

a) Encuentre los estimativos máximo verosímiles para los elementos de la

matriz de transición.
b) Puede suponerse que el proceso observado es una realización de una cadena
de Markov con la siguiente matriz de transición ?