PROCESOS ESTOCÁSTICOS

(MPES)
Licenciatura en Matemáticas

Unidad 2 Evidencia de Aprendizaje

Jesús Abraham Rojas Úrzulo
jesus_rojas_urzulo@nube.unadmexico.mx
Matricula: ES1821013126
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

Evidencia de aprendizaje. Análisis y predicción.

Instrucciones: Resuelve los problemas que se presentan, tomando en cuenta los conocimientos
adquiridos en la unidad.
1. Se lanza sucesivamente un dado bien equilibrado. Sea Xn el número de lanzamientos ocurridos
desde la última vez que apareció el número 6, observado éste después del n-ésimo lanzamiento.
Por ejemplo, si los resultados de los primeros 8 lanzamientos son:
1, 6, 5, 4, 4, 3, 6 y 2
Las primeras 8 variables aleatorias del proceso toman los valores:
X1 =1, X2 = 0, X3 = 1, X4 = 2, X5 = 3, X6 = 4, X7 = 0 y X8 = 1.
Demuestra que {Xn} es una cadena de Markov.

Considera un proceso estocástico {𝑋𝑛 } con las siguientes características.

1.- Es discreto y a tiempo discreto.
2.- Cumple con la propiedad de Markov, es decir:
𝑃(𝑋𝑛 = 𝑗|𝑋0 = 𝑥0 , 𝑋1 = 𝑥1 , … , 𝑋𝑛−2 = 𝑥𝑛−2 , 𝑋𝑛−1 = 𝑖) = 𝑃(𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑖)
Es decir, la probabilidad de un estado solo depende del inmediato anterior.

Claramente el proceso es discreto ya que el espacio de estados es S={0,1,2,3,…}, además es a tiempo

discreto, ya que la observación se realiza después del lanzamiento, cumpliendo la primera
característica.
Se tiene una probabilidad de avanzar del estado i al estado i+1 de 5/6, ya que se avanza siempre que
no caiga el número 6, además cada estado tiene probabilidad 1/6 de regresar a cero si sale un 6, por
lo tanto, el cambio de estado solo depende el estado actual y del resultado del lanzamiento, por lo
cual, cumple con la propiedad de Markov.
Ya que se cumplen ambas propiedades es una cadena de Markov.

La matriz de transición se define a continuación:

1/6 5/6 0 …
1/6 0 5/6 …
𝑃=[ ]
1/6 0 0 …
⋮ ⋮ ⋮ ⋱
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

2. Sea {Xn} una cadena de Markov con espacio de estados S = {1,2,3,4} y matriz de transición:

 0 1/ 4 0 3 / 4 
 
 1/ 3 0 0 2 / 3
P=
1/ 2 0 0 1/ 2 
 
1/ 2 0 1/ 2 0 

Determina las clases de comunicación, la recurrencia o transitoriedad y el periodo de cada clase.

Ya que se puede llegar a cualquier estado partiendo de cualquier otro estado, entonces todos
pertenecen a la misma clase, es decir, {1,2,3,4}.
Los estados son recurrentes ya que la cadena es irreducible (todos los estados pertenecen a la
misma clase) y se tiene espacio de estados finito.
Se calcula el periodo del estado 1,
Se puede regresar en dos pasos con 1->2->1, en tres pasos con 1->2->4->1, en cuatro pasos con 1-
>2->4->3->1. Por lo tanto, G1={2,3,4},el máximo común divisor es 1. Por lo tanto, el periodo es 1, o
sea es aperiódica.
Debido a la proposición 3, ya que 1<->2 y 1<->4, entonces 2 y 4 tienen periodo 1.
Para el estado 3, G3 = {3,4,5,6,7,8,9,10,..}, por lo tanto, también es aperiódico.
3. Demuestra o da un contraejemplo:
a) Si j es accesible desde i, pero i no es accesible desde j, entonces i es transitorio.

Falso, contraejemplo, ya que la cadena es irreducible finita, todos son estados son recurrentes
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

b) Si i es transitorio, entonces para todo estado j accesible desde i, i no es accesible desde j.

Verdadero, se tiene que j es accesible desde i, es decir, i->j.

Si i fuera accesible desde j, j->i, entonces se tendría i<->j, por lo cual forman una clase irreducible finita, es
decir, ambos estados serían recurrentes.

c) Si i es transitorio e i es accesible desde j, entonces j es transitorio.

Verdadero, por hipótesis sabemos que i es accesible desde j, por la ecuación de Chapman-
Kologorov

𝑝𝑛+𝑚 (𝑗, 𝑖) = ∑ 𝑝𝑛 (𝑗, 𝑠)𝑝𝑚 (𝑠, 𝑖) ≥ 𝑝𝑛 (𝑗, 𝑖)𝑝𝑚 (𝑖, 𝑖) > 0 ∴ 𝑗 → 𝑖

Por lo tanto, j es transitoria.

4. Demuestra que la siguiente cadena de Markov tiene una infinidad de distribuciones invariantes e identifica
la hipótesis del Teorema fundamental de convergencia que no satisface.
 1/ 2 0 1/ 2 0 
 
0 2 / 3 0 1/ 3 
P=
 1/ 3 0 2/3 0 
 
 0 1/ 2 0 1/ 2 

1/2 0 1/2 0
0 2/3 0 1/3
[𝑣(1) 𝑣(2) 𝑣(3) 𝑣(4)] = [𝑣(1) 𝑣(2) 𝑣(3) 𝑣(4)] [ ]
1/3 0 2/3 0
0 1/2 0 1/2
1 1
𝑣(1) = 𝑣(1) + 𝑣(3)
2 3
2 1
𝑣(2) = 𝑣(2) + 𝑣(4)
3 2
1 2
𝑣(3) = 𝑣(1) + 𝑣(3)
2 3
1 1
𝑣(4) = 𝑣(2) + 𝑣(4)
3 2
𝑣(1) + 𝑣(2) + 𝑣(3) + 𝑣(4) = 1

Analizando las ecuaciones por separado se tiene que

Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

1 1
𝑣(1) = 𝑣(1) + 𝑣(3)
2 3
1 2
𝑣(3) = 𝑣(1) + 𝑣(3)
2 3
Por lo tanto
1 2 1 2
𝑣(1) − 𝑣(3) = 𝑣(3) − 𝑣(3) = − 𝑣(3) → 𝑣(1) = 𝑣(3)
3 3 3 3
Analizando el otro par de ecuaciones
2 1
𝑣(2) = 𝑣(2) + 𝑣(4)
3 2
1 1
𝑣(4) = 𝑣(2) + 𝑣(4)
3 2
2 1 1 2
𝑣(2) − 𝑣(4) = 𝑣(2) − 𝑣(2) = 𝑣(2) → 𝑣(4) = 𝑣(2)
3 3 3 3
Finalmente, la última ecuación se cumple cuando
2 2 5 3
𝑣(3) + 𝑣(2) + 𝑣(3) + 𝑣(2) = (𝑣(2) + 𝑣(3)) = 1 → 𝑣(2) + 𝑣(3) =
3 3 3 5
3
Por lo tanto, cualquier par que cumpla 𝑣(2) + 𝑣(3) = 5, se puede usar para general el invariante

2 2
[𝑣(1) 𝑣(2) 𝑣(3) 𝑣(4)] = [ 𝑣(3) 𝑣(2) 𝑣(3) 𝑣(2)]
3 3
Por lo tanto, existen infinitos invariantes.
La condición que no cumple es que la matriz debe ser irreducible, sin embargo, se observa fácilmente
que los estados 1 y 3, 2 y 4 pertenecen a clases diferentes, completamente aisladas, por lo cual, la
matriz se puede reducir.
5. Cada mañana un estudiante toma uno de los tres libros que tiene en una repisa. La probabilidad de que elija
el i-ésimo libro es αi, 0< αi<1, y la elección de cada día es independiente de las anteriores. En la noche
coloca el libro seleccionado siempre en el extremo izquierdo de la repisa. Si pn denota la probabilidad de
que el n-ésimo día el estudiante encuentre los libros en el orden 1-2-3 de izquierda a derecha, demuestra
que pn converge cuando n→ ∞ independientemente del arreglo inicial de los libros, y determina el límite.

Cada estado es una única posición de los libros. Al ser libros pueden acomodarse en posiciones
diferentes. Respectivamente para cada uno de los estados las posiciones de los libros en el estante
son:
1-2-3, 2-1-3, 3-2-1, 2-3-1, 3-1-2, 1-3-2.
Luego, la matriz de transición es:
Jesús Abraham Rojas Úrzulo Licenciatura en Matemáticas
Matricula: ES1821013126 Procesos Estocásticos (MPES)

𝑎1 𝑎2 0 0 𝑎3 0
𝑎1 𝑎2 𝑎3 0 0 0
0 0 𝑎3 𝑎2 0 𝑎1
𝑃= 𝑎3 𝑎2
𝑎1 0 0 0
0 0 0 𝑎2 𝑎3 𝑎1
[0 𝑎2 0 0 𝑎2 𝑎1 ]
Podemos concluir que es aperiódica, irreducible y recurrente, pues solo se necesita un paso para
volver a un mismo estado, todos forman parte de una misma clase. Dadas estas características la
matriz de transición cumple con el Teorema Fundamental de Convergencia que asegura la
convergencia de cada una de las probabilidades de la matriz para 𝑛 → ∞ para este tipo de procesos.
Es decir, existen
lim 𝑝𝑛 (𝑗, 𝑗), lim 𝑝𝑛 (𝑖, 𝑗)
𝑛→∞ 𝑛→∞

Si el vector que representa los estados de convergencia es 𝑣 = [𝑣(1), 𝑣(2), 𝑣(3), 𝑣(4), 𝑣(5), 𝑣(6)],
entonces la solución del sistema 𝑣 = 𝑣𝑃 junto a la condición 𝑣(1) + 𝑣(2) + 𝑣(3) + 𝑣(4) + 𝑣(5) + 𝑣(6) =
1, nos da la convergencia para el estado 1 en 𝑣(1), que será la probabilidad a la larga que el estudiante
encuentre los libros en el orden 1-2-3 por la mañana:
𝑎22 − 𝑎2 + 𝑎2 𝑎3
𝑣(1) = , 0 < 𝑎𝑖 < 1
𝑎2 + 𝑎3
La existencia de este límite es porque converge, luego, queda demostrada la convergencia.

Bibliografía
México, U. A. (2021). Procesos Estocásticos . Ciudad de México.