Scribd Logo
Cargar

¡Te damos la bienvenida a Scribd!

  • 109 vistas

    Mpes U2 A1 Elvc

    Cargado por

    jose calderon
    Este documento presenta conceptos básicos sobre cadenas de Markov en tiempo discreto. Incluye un ejemplo de cadena de Markov que modela un juego de azar con dos jugadores y monedas. También incluye ejemplos de estados absorbentes y explica cómo modelar una cadena de Markov estacionaria usando el caso de un individuo con paraguas.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd

    Mpes U2 A1 Elvc

    Cargado por

    jose calderon
    109 vistas9 páginas
    Este documento presenta conceptos básicos sobre cadenas de Markov en tiempo discreto. Incluye un ejemplo de cadena de Markov que modela un juego de azar con dos jugadores y monedas. También incluye ejemplos de estados absorbentes y explica cómo modelar una cadena de Markov estacionaria usando el caso de un individuo con paraguas.

    Título original

    MPES_U2_A1_ELVC

    Derechos de autor

    © © All Rights Reserved

    Formatos disponibles

    PDF, TXT o lea en línea desde Scribd

    ¿Le pareció útil este documento?

    ¿Este contenido es inapropiado?

    Este documento presenta conceptos básicos sobre cadenas de Markov en tiempo discreto. Incluye un ejemplo de cadena de Markov que modela un juego de azar con dos jugadores y monedas. También incluye ejemplos de estados absorbentes y explica cómo modelar una cadena de Markov estacionaria usando el caso de un individuo con paraguas.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    109 vistas9 páginas

    Mpes U2 A1 Elvc

    Cargado por

    jose calderon
    Este documento presenta conceptos básicos sobre cadenas de Markov en tiempo discreto. Incluye un ejemplo de cadena de Markov que modela un juego de azar con dos jugadores y monedas. También incluye ejemplos de estados absorbentes y explica cómo modelar una cadena de Markov estacionaria usando el caso de un individuo con paraguas.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    Está en la página 1de 9

    Procesos Estocásticos

    Unidad 2. Cadenas de Markov a tiempo discreto

    Licenciatura en Matemáticas

    Asignatura: Procesos Estocásticos

    Unidad 2.- Cadenas de Markov a tiempo discreto

    Actividad 1.- Conceptos Básicos

    Alumna: Elda Josefina Vázquez Calderón

    Grupo: MT-MPES-2201-B2-000

    Docente: Alejandro Salazar Guerrero


    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto
    Actividad 2. Elementos de una cadena de Markov

    1. Elabora un ejemplo de cadena de Markov a tiempo discreto indicando las 2 o


    3 propiedades que debe cumplir.
    Un proceso estocástico en tiempo discreto es una Cadena de Markov en la medida
    que se verifiquen las siguientes propiedades:

    Propiedad Markoviana:

    Donde i0, i1, ..., in-1, i, j son posibles “ estados” o valores que puede tomar el
    proceso estocástico en las distintas etapas. Esto consiste básicamente en afirmar
    que el futuro (t=n+1) es independiente del pasado dado el presente (t=n).

    Propiedad Estacionaria: La probabilidad

    No depende de la etapa n. Por ejemplo, la probabilidad de pasar del estado i al


    estado j será siempre la misma no importando el número de la etapa.

    Si consideramos que la variable aleatoria asociado a este proceso markoviano


    toma un número finito de estados (digamos M) las probabilidades de transición de
    un estado a otro se pueden resumir en una matriz P denominada matriz de
    transición de probabilidades en una etapa. Adicionalmente si conocemos la
    distribución de probabilidad para la etapa inicial (que denotamos por f0) estamos
    en condiciones de conocer el proceso estocástico, que consiste en determinar la
    distribución de probabilidad en cada etapa.
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto

    Ejemplo Cadena de Markov en Tiempo Discreto

    Suponga que en un juego existen 2 jugadores, cada uno de los cuales dispone
    inicialmente de 2 monedas. En cada jugada se gana una moneda con probabilidad
    ½ o se pierde una moneda con probabilidad ½. El juego termina cuando un
    jugador tiene 4 monedas o se queda con ninguna. Modele como una Cadena de
    Markov la situación descrita.

    Desarrollo: El primer caso consiste en identificar la variable aleatoria la cuál debe


    representar el problema planteado, en este caso la evolución del juego al cabo de
    cada etapa o jugada. Se define la variable aleatoria en tiempo discreto Xn :
    Cantidad de monedas que tiene uno de los jugadores (digamos el jugador A) al
    cabo de la enésima jugada.

    Luego se debe identificar los posibles valores o estados que puede tomar esta
    variable aleatoria para una etapa n cualquiera. Sabemos que el jugador A
    comienza el juego con 2 monedas y el juego termina cuando pierde todo (y por
    tanto el jugador B gana) o cuando gana todo (y por tanto el jugador B pierde). En
    consecuencia, los valores posibles para Xn son {0,1,2,3,4}.
    A continuación se debe determinar las probabilidades de transición (en una etapa).
    Por ejemplo, si actualmente el jugador A tiene 2 monedas, la probabilidad que
    tenga 3 monedas al cabo de una jugada es ½ (probabilidad de ganar) y la
    probabilidad de que tenga 1 moneda es ½ (probabilidad de perder). De esta forma
    se identifican las distintas combinaciones o probabilidades de que comenzando en
    un estado "i" se pueda pasar a un estado "j" al cabo de una etapa. Notar que si el
    jugador A tiene 0 monedas la probabilidad que continúe en ese estado es 1 (o
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto
    100%) dado que no tiene monedas para seguir jugando. De la misma forma si el
    jugador A tiene 4 monedas el jugador B tiene 0 y por tanto la probabilidad de que
    el jugador A se mantenga en ese estado es de 1 (o 100%).

    Las probabilidades de transición en una etapa se pueden representar haciendo


    uso de un grafo o en forma resumida a través de la matriz de transición de
    probabilidades.

    Cabe destacar que la suma de las probabilidades para cada fila en la matriz de
    transición P es de un 100%.

    Podemos responder preguntas adicionales cómo por ejemplo ¿Cuál es la


    probabilidad de que el jugador A tenga 2 monedas al cabo de 2 jugadas?

    Haciendo uso del grafo y dado que actualmente el jugador A tiene 2 monedas, se
    busca identificar las combinaciones que permitan a este jugador mantener esta
    cantidad de monedas al cabo de 2 etapas. Esto se logra ganando la próxima
    jugada (con probabilidad ½) y perdiendo la jugada que sigue (con probabilidad ½).
    También se llega al mismo resultado perdiendo la próxima jugada pero luego
    ganando en la jugada que sigue. Por tanto la probabilidad de tener 2 monedas al
    cabo de 2 etapas es P(X2=2/X0=2) = ½*½ + ½*½ = ½.
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto
    2. Elabora un ejemplo de estado absorbente
    Ejemplo.
    Modelo de enfermedad. Este modelo se puede representar por 4 estados: E1
    donde las personas no tienen enfermedad, E2 donde las personas tienen la
    enfermedad, E3 estado muerte como consecuencia de la enfermedad y E4 estado
    muerte por otras causas
    Supongamos la siguiente matriz de transición

    el correspondiente diagrama de transición es

    Se tienen dos estados absorbentes E3 y E4, y la interpretación que de las


    probabilidades individuales son las siguientes: p11 = 1/2 significa que una persona
    dado que no está enferma en un periodo tiene una probabilidad de 1/2 de no
    estarlo en el siguiente periodo, p24 = 1/8 significa que una persona dado que no
    está enferma en un periodo tiene una probabilidad de 1/8 de morir en el siguiente
    periodo por otras causas y así sucesivamente.
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto
    3. Elabora un caso de cadena de Markov estacionaria a tiempo discreto
    explicando tu respuesta
    ¿Qué es una cadena de Markov discreta?
    En teoría de la probabilidad, una cadena de Markov en tiempo discreto (CMTD) es
    un tipo especial de proceso estocástico discreto en el que la probabilidad de que
    ocurra un suceso depende solamente del suceso inmediatamente anterior.
    una Cadena de Markov en tiempo discreto, para la cual identificaremos la variable
    aleatoria que resulta de interés su análisis, los posibles estados que puede
    adoptar dicha variable en un periodo cualquiera y las probabilidades de transición
    en una etapa que se puede resumir en una matriz de transición de probabilidades
    conocida como matriz P. En dicho contexto consideremos el siguiente
    Ejemplo:
    Un individuo posee 2 paraguas los cuales emplea para ir de su casa al trabajo y
    viceversa (llevando uno a la vez). Si está en casa (oficina) al comienzo (final) del
    día y está lloviendo toma un paraguas, si lo hay para ir de su casa a la oficina y
    viceversa. Asuma que independiente del pasado llueve al comienzo (final) del día
    con probabilidad p (0<p<1). Se desea modelar el número de paraguas en su casa
    al inicio del día n, suponiendo que inicialmente ambos paraguas están en su casa.
    El problema sugiere como variable aleatoria el modelamiento del número de
    paraguas que tiene el individuo en su casa al inicio del día n:

    Los posibles estados o valores que puede adoptar la variable aleatoria en una
    etapa n cualquiera son 0, 1 o 2. Es decir, el individuo podrá tener en su casa al
    inicio de un día en particular 0, 1 o 2 paraguas.

    A continuación corresponde identificar las probabilidades de transición en una


    etapa, lo cual depende de la dinámica de la situación planteada:
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto

    Por ejemplo P(0,0) representa la probabilidad de que un día el individuo no tenga


    paraguas en su casa (por tanto los 2 paraguas están en la oficina) y que al inicio
    del día siguiente siga en la misma situación (es decir, sin paraguas en la casa).
    Los escenarios que permiten esta situación son que llueva en la mañana (con
    probabilidad p) y que no llueva en la tarde (con probabilidad 1-p). Adicionalmente
    si no llueve en la mañana (con probabilidad 1-p) y no llueve en la tarde (con
    probabilidad 1-p) el individuo al inicio del día siguiente no tendrá paraguas en la
    casa. En consecuencia se puede notar que para este caso lo relevante es que no
    llueva en la tarde (sin importar si llueve o no en la mañana) para que de esta forma
    el individuo no se lleve un paragua desde la oficina a la casa.

    Otra combinación interesante es P(2,2) que considera la probabilidad de tener los


    2 paraguas en la casa al inicio de un día (y por tanto ninguno en la oficina) y al
    inicio del día siguiente también tener 2 paraguas en la casa. Para ello se debe
    cumplir alguno de los siguientes escenarios: que llueva en la mañana y en la tarde,
    que no llueva ni en la mañana ni en la tarde o que no llueva en la mañana pero si
    llueva en la tarde.

    Una vez identificadas todas las probabilidades de transición en una etapa entre
    estados, éstas se pueden resumen en la matriz de probabilidades de transición
    (conocida también como matriz P). Notar que la suma de las probabilidades de
    cada una de las filas de la matriz es (y debe ser) un 100%.
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto

    Alternativamente la información anterior se puede representar a través de un grafo


    donde cada nodo representa un estado y las flechas muestran si es posible pasar
    de un estado a otro al cabo de una etapa (y cuál es la probabilidad asociada en
    dicho caso):

    Adicionalmente se puede identificar (si se cuenta con dicha información) la


    distribución inicial de estados que permite identificar cuál es la probabilidad que al
    inicio de la planificación el proceso se encuentre en alguno de los n estados
    posibles. En este ejemplo sabemos que se comienza con 2 paraguas en la casa:

    4. Elabora un ejemplo de matriz estocástica


    Las matrices estocásticas o matrices de probabilidad, son aquellas matrices
    cuadradas que cumplen con la condición de que cada una de sus filas es un vector
    de probabilidad.
    En matemáticas, una matriz estocástica (también denominada matriz de
    probabilidad, matriz de transición, matriz de sustitución o matriz de Markov) es una
    matriz utilizada para describir las transiciones en una cadena de Markov. Ha
    encontrado uso en la teoría de la probabilidad, en estadística y en álgebra lineal,
    así como en informática.
    Procesos Estocásticos
    Unidad 2. Cadenas de Markov a tiempo discreto
    En general, una matriz estocástica se define como sigue
    Decimos que una matriz cuadrada 𝐴 ∈ ℝ𝑛𝑥𝑛 dada por:

    Es estocástica si cumple con las 2 condiciones

    El ejemplo más sencillo de una matriz estocástica es la matriz identidad de tamaño


    nxn

    Pues satisface las dos condiciones.

    Referencias.

    UnADM Matemáticas Procesos Estocásticos/Contenido Nuclear Unidad 2


    Cadenas de Markov a tiempo Discreto/México, D.F. Diciembre 2015.

    Basu A. K. Introduction to stochastic processes. Alpha Science International


    Ltd., 2003.

    Caballero M. E. et al. Cadenas de Markov: un enfoque elemental. Aportaciones


    Matemáticas, Serie Textos, 29. Sociedad Matemática Mexicana, 2004.

    Tudor C. Procesos estocásticos. Aportaciones Matemáticas, Serie Textos 2,


    Sociedad Matemática Mexicana, 1994.

    También podría gustarte