Procesos Estocásticos

Meitner Cadena Cepeda

Quito – Ecuador
Marzo del 2009
Meitner Cadena Cepeda1,2
Consultor Actuario – Financiero

Para cualquier información por favor dirígase a:

Briceño 641, Dpto. 12, entre Guayaquil y Vargas

Quito, Ecuador
Teléfono: (593–2) 2905 923
Celular: 09 8435 256
Correo electrónico: Meitner.Cadena@gmail.com

1
Matemático, MSc. en Informática y MSc. en Ciencias Actuariales
2
Programador a nivel avanzado certificado por SAS
CONTENIDO I

Contenido

1 Espacios de Probabilidad y Variables Aleatorias 1

2 Procesos Estocásticos 14

3 Cadenas de Markov 19

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 1

1 Espacios de Probabilidad y Variables Aleatorias

Un espacio de probabilidad es (Ω, F, P ) donde:

1. Ω es un conjunto (de todos los eventos posibles considerados).

2. F es la familia de subconjuntos de Ω la cual tiene la estructura de una σ-álgebra, es

decir verifica:

(a) ∅ ∈ F
(b) Si A ∈ F, entonces Ac ∈ F (el complemento de A)
(c) Si A1 , A2 , . . . ∈ F, entonces ∪∞
i=1 Ai ∈ F

3. P : F → R es una función, con las siguientes propiedades, sea A ∈ F:

(a) 0 ≤ P (A) ≤ 1
(b) P (Ω) = 1
(c) Para la sucesión A1 , A2 , . . . de disjuntos de F, es decir Ai ∩ Aj = ∅ si i 6= j,
P∞
entonces P (∪∞
i=1 Ai ) = i=1 P (Ai )

Los elementos de F se denominan eventos y P se dice medida de probabilidad

P (A) se interpreta como la probabilidad de que el evento A ocurra
El conjunto ∅ tiene la propiedad P (∅) = 0
P (Ac ) = 1 − P (A)
Si A ⊂ B, entonces P (A) ≤ P (B)
EJEMPLO
En el experimento del lanzamiento de una moneda:
Ω = {C, S} (los resultados posibles son cara, C, o sello , S)
F = {∅, {C}, {S}, Ω}
P ({C}) = P ({S}) = 1/2
EJEMPLO
En el experimento de contar el número de accidentes de tránsito en una intersección dada
durante un intervalo de tiempo definido:
Ω = {0, 1, 2, . . .}
F = P{Ω} (el conjunto de partes de Ω)

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 2

k
P ({k}) = e−λ λk! (probabilidad de Poisson con parámetro λ > 0)
Si U es una familia de subconjuntos de Ω, entonces la σ-álgebra más pequeña conteniendo
U es, por definición,

σ(U) = ∩{G|G es una σ-álgebra tal que U ⊂ G}

La σ-álgebra σ(U) es llamada la σ-álgebra generada por U

La σ-álgebra generada por los subconjuntos abiertos (o rectángulos) de R n es llamada la
σ-álgebra de Borel de Rn y será denotada por BRn
EJEMPLO
Considere una partición finita P = {A1 , A2 , . . . , An } de Ω. La σ-álgebra generada por P
es formada por las uniones Ai1 ∪ . . . ∪ Aik donde {i1 , . . . , ik } ⊂ {1, 2, . . . , n}. Por eso σ(P)
tiene 2n elementos
EJEMPLO
Considere el intervalo Ω = [a, b]. Sea F la σ-álgebra de Borel de [a, b]. La probabilidad de
[x, y] ⊂ [a, b] es

y−x
P ([x, y]) =
b−a
EJEMPLO
Sea el experimento de medir el tiempo de vida de un foco. Entonces Ω = [0, ∞). F = B [0,∞) .
La probabilidad de que el foco tenga un tiempo de vida superior a t ≥ 0 es

P ([t, ∞)) = e−λt

Una variable aleatoria X es una función ω → R dada por ω → X(ω), la cual es F-medible,
es decir X −1 (B) ∈ F para cualquier conjunto de Borel en R
La condición de medibilidad significa que dados los números reales a ≤ b, entonces {ω ∈
Ω|a ≤ X(ω) ≤ b} ∈ F, es decir este subconjunto es un evento y será denotado, brevemente,
{a ≤ X ≤ b}

• Una variable aleatoria define una σ-álgebra {X −1 (B)|B ∈ BR } ⊂ F llamada la σ-

álgebra generada por X

• Una variable aleatoria define una medida de probabilidad sobre la σ-álgebra de Borel
de BR por PX = P ◦ X −1 , esto es,

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 3

PX (B) = P (X −1 (B)) = P ({ω|X(ω) ∈ B})

La medida de probabilidad PX es la llamada la ley o distribución de X

Se dice que una variable aleatoria X tiene una densidad de probabilidad fX si fX es una
función no negativa sobre R, medible con respecto a la σ-álgebra de Borel y tal que

Z b
P (a < X < b) = fX (x)dx,
a
R +∞
para todo a < b. Nótese que −∞ fX (x)dx = 1. Las variables aleatorias admitiendo una
densidad de probabilidad se dicen continuas.
Se dice que una variable aleatoria X es discreta si toma un número finito o contable de
valores diferentes xk . Las variables aleatorias discretas no tienen densidades y su ley es
caracterizada por una función de probabilidad :

pk = P (X = xk )

EJEMPLO En el experimento de la moneda, la variable aleatoria es dada por

X(C) = −1, X(S) = 1

Esta variable es discreta con función de probabilidad

1
P (X = 1) = P (X = −1) =
2
EJEMPLO Si A es un evento en un espacio de probabilidad, la variable aleatoria

(
1 si ω ∈ A
1A (ω) =
0 si ω 6∈ A

es llamada la función indicatriz de A. Su ley de probabilidad es denominada la distribución

Bernoulli con parámetro p = P (A)
EJEMPLO Se dice que una variable aleatoria X tiene la ley normal N (µ, σ 2 ) si

b (x−µ)2
1
Z
P (a < X < b) = √ e− 2σ 2 dx
2πσ 2 a

para a < b

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 4

EJEMPLO Se dice que una variable aleatoria X tiene la ley binomial Bin(n, p) si

 
n k
P (X = k) = p (1 − p)n−k
k

para k = 0, 1, . . . , n
La función FX : R → [0, 1] definida por

FX (x) = P (X ≤ x) = PX ((−∞, x])

es llamada función de distribución de la variable aleatoria X

• La función de distribución FX es no decreciente, continua a la derecha y con

lim FX (x) = 0
x→−∞
lim FX (x) = 1
x→+∞

• Si la variable aleatoria X es continua con densidad fX , entonces

Z x
FX (x) = fX (y)dy
−∞

y si, además, la densidad es continua, entonces FX0 (x) = fX (x)

La esperanza matemática o valor esperado de una variable aleatoria X es definido como la

integral de X con respecto a la medida de probabilidad P

Z
E(X) = XdP
Ω

En particular, si X es una variable discreta que toma los valores α 1 , α2 , . . . , sobre A1 , A2 ,

. . . , respectivamente, entonces su esperanza es

E(X) = α1 P (A1 ) + α2 P (A2 ) + · · ·

Note que

E(1A ) = P (A)

por lo que la noción de esperanza es una extensión de la noción de probabilidad

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 5

Si X es una variable aleatoria y X1 , X2 , . . . son variables aleatorias discretas tales que

X1 (ω) ≤ X2 (ω) ≤ · · ·

lim Xn (ω) = X(ω)

n→∞

para todo ω. Entonces

E(X) = lim E(Xn ) ≤ +∞

n→∞

Si X es una variable aleatoria cualquiera, entonces

E(X) = E(X + ) − E(X − )

donde X + = max(X, 0) y X − = − min(X, 0), siempre que E(X + ) y E(X − ) son finitos.
Esto último significa que

E(|X|) < ∞

y en este caso se dice que X es integrable

Nótese que para una variable aleatoria X no negativa

Z
E(X) = XdP
Ω
Z Z +∞
= 1{t<X} dtdP
Ω 0
Z +∞ Z
= 1{t<X} dP dt
0 Ω
Z +∞
= P (t < X)dt
0

La esperanza de una variable aleatoria X puede ser calculado integrando la función x con
respecto a la ley de probabilidad de X

Z Z +∞
E(X) = X(ω)dP (ω) = xdPX (x)
Ω −∞

Más generalmente, si g : R → R es una función medible de Borel y E(g(X)) < ∞, entonces

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 6

Z Z +∞
E(g(X)) = g(X(ω))dP (ω) = g(x)dPX (x)
Ω −∞

EJEMPLO Si X es una variable aleatoria con ley normal N (µ, σ 2 ) y λ es un número real,
entonces

Z +∞
λX
E(e ) = eλx dPX (x)
−∞
+∞ (x−µ)2
1
Z
= √ eλx e− 2σ 2 dx
2πσ 2 −∞
−µ 2 /2σ 2 Z +∞
e x2 −2x(λσ 2 +µ)
= √ e− 2σ 2 dx
2πσ 2
−∞
2 2 2 2 +∞
e((λσ +µ) −µ )/2σ (x−(λσ 2 +µ))2
Z
= √ e− 2σ 2 dx
2πσ 2 −∞
2 +2µ)/2
= eλ(λσ

EJEMPLO Si X es una variable aleatoria con distribución de Poisson de parámetro λ > 0,

entonces

∞
X e−λ λn
E(X) = n
n!
n=0
∞
−λ
X λn
= e
(n − 1)!
n=1
∞
−λ
X λn−1
= λe
(n − 1)!
n=1
= λ

La varianza de una variable aleatoria X es definida por

2
σX = Var(X)
= E((X − E(X))2 )
= E(X 2 − 2XE(X) + E(X)2 )
= E(X 2 ) − 2E(X)2 + E(X)2
= E(X 2 ) − E(X)2

siempre que E(X 2 ) < ∞

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 7

Si X e Y son variables aleatorias tales que E(X 2 ) < ∞ y E(Y 2 ) < ∞, entonces su covarianza
es definida por

Cov(X, Y ) = E((X − E(X))(Y − E(Y )))

= E(XY − Y E(X) − XE(Y ) + E(X)E(Y ))
= E(XY ) − 2E(X)E(Y ) + E(X)E(Y )
= E(XY ) − E(X)E(Y )

Se dice que una variable aleatoria X tiene un momento finito de orden p ≥ 1, probado que
E(|X|p ) < ∞, el cual se define por

mp = E(X p )

El conjunto de variables aleatorias con momento finito p-ésimo se denota por L p (Ω, F, P )
La función característica de una variable aleatoria X se define por

ϕX (t) = E(eitX )

Nótese que

1 (n) 1
ϕ (t) = E(in X n eitX )
in X t=0 in t=0

= E(X n eitX ) t=0

= E(X n )
= mn

para n = 1, 2, . . . . Esto es, a partir de la función característica se pueden estimar los

momentos de X
Se dice que X = (X1 , . . . , Xn ) es un vector aleatorio de n dimensiones si sus componentes
son variables aleatorias. Esto es equivalente a decir que X es una variable aleatoria con
valores en Rn
La esperanza matemática de un vector aleatorio de n dimensiones es

E(X) = (E(X1 ), . . . , E(Xn ))

La matriz de covarianza de un vector aleatorio de n dimensiones es, por definición, la matriz

ΓX = (cov(Xi , Xj ))1≤i,j≤n

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 8

Esta matriz es simétrica puesto que cov(Xi , Xj ) = cov(Xj , Xi )

Además, esta matriz es definida no negativa, lo que significa que,

n
X
t
(A1 , . . . , An )ΓX (A1 , . . . , An ) = ΓX (i, j)ai aj ≥ 0
i,j=1

para cualquier vector (A1 , . . . , An ) de números reales. Efectivamente,

n
X n
X
ΓX (i, j)ai aj = cov(Xi , Xj )ai aj
i,j=1 i,j=1
n
!
X
= Var a i Xi
i=1
≥ 0

Como en el caso de las variables aleatorias a valores reales, se introduce la ley o distribución
de un vector aleatorio X de n dimensiones como la medida de probabilidad definida sobre
la σ-álgebra de Borel de Rn por

PX (B) = P (X −1 (B))
= P (X ∈ B)

Decimos que un vector aleatorio X tiene una densidad de probabilidad fX si fX (x) es una
función no negativa sobre Rn , medible con respecto a la σ-álgebra de Borel de Rn y tal que

Z bn Z b1
P (ai < Xi < bi , i = 1, . . . , n) = ··· fX (x1 , . . . , xn )dx1 · · · dxn
an a1

para todo ai < bi . Nótese que

Z +∞ Z +∞
··· fX (x1 , . . . , xn )dx1 · · · dxn = 1
−∞ −∞

Se dice que un vector aleatorio X de n dimensiones tiene una ley normal multidimensional
N (m, Γ) donde m ∈ Rn y Γ es una matriz simétrica definida positiva, si X tiene la función
de densidad

1 − 12 n
P
i,j=1 (xi −mi )(xj −mj )Γij
−1
fX (x1 , . . . , xn ) = n/2
e
(2π|Γ|)

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 9

En este caso tenemos m = E(X) y Γ = ΓX

Si la matriz Γ es diagonal,

 
σ2 · · · 0
 .1 . .. 
Γ= . ..
 . . 

0 ··· σn2

Entonces la densidad de X es el producto de n densidades normales de 1 dimensión:

n (x−mi )2
Y 1 −
2σ 2
fX (x1 , . . . , xn ) = q e i

i=1 2πσi2

Si X es un vector normal de n dimensiones con ley N (m, Γ) y A es una matriz de orden

m × n, entonces AX es un vector normal de m dimensiones con ley normal de parámetros

E(AX) = AE(X)
= Am

ΓAX = (cov((AX)i , (AX)j ))1≤i,j≤m

n
X n
X
= (cov( Aik Xk , Ajl Xl ))1≤i,j≤m
k=1 l=1
n X
X n
= ( Aik cov(Xk , Xl )Ajl )1≤i,j≤m
k=1 l=1
Xn X n
= ( Aik cov(Xk , Xl )Atlj )1≤i,j≤m
k=1 l=1
= AΓX At

Algunas desigualdades básicas de teoría de probabilidades,

• Desigualdad de Markov
Si X es una variable aleatoria no negativa y v > 0, entonces

vP (X ≥ v) ≤ E(X)

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 10

Efectivamente,

Z
E(X) = XdP
Ω
Z +∞
= xdPX (x)
0
Z +∞ Z v
= xdPX (x) + xdPX (x)
v 0
Z +∞
≥ xdPX (x)
v
Z +∞
≥ vdPX (x)
v
≥ vP (X ≥ v)

• Desigualdad de Chebyshev
Si λ > 0,

1
P (|X| > λ) ≤ E(|X|p )
λp
Basta tomar Y = |X|p ≥ 0, por la desigualdad de Markov se tiene

E(|X|p ) = E(Y )
≥ λp P (Y ≥ λp )
= λp P (|X|p ≥ λp )
= λp P (|X| ≥ λ)

• Desigualdad de Schwartz

p
E(XY ) ≤ E(X 2 )E(Y 2 )

Este es un caso de la desigualdad de Hölder

• Desigualdad de Hölder

E(XY ) ≤ (E(|X|p ))1/p (E(|X|q ))1/q

1 1
donde p, q > 1 tales que p + q =1
Consideremos la desigualdad ...

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 11

• Desigualdad de Jensen
Si ϕ : R → R es una función convexa tal que las funciones X y ϕ(X) tienen esperanza
finita, entonces

ϕ(E(X)) ≤ E(ϕ(X))

En particular, si ϕ(x) = |x|p con p ≥ 1, obtenemos

|E(X)|p ≤ E(|X|p )

Tipos de convergencia para una sucesión de variables aleatorias X n , n = 1, 2, . . .

• Convergencia casi segura:

Xn →c.s. X si

lim Xn (ω) = X(ω)

n→∞

para todo ω 6∈ N tal que P (N ) = 0

• Convergencia en probabilidad
Xn →P X si

lim P (|Xn − X| > ) = 0

n→∞

para todo  > 0

• Convergencia en media del orden p ≥ 1

p
Xn →L X si

lim E(|Xn − X|p ) = 0

n→∞

• Convergencia en ley
Xn →L X si

lim FXn (x) = FX (x)

n→∞

para cualquier x donde la función de distribución FX es continua

Se obtienen los resultados siguientes:

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 12

• La convergencia en media de orden p implica la convergencia en probabilidad. En

verdad, por la desigualdad de Chebyshev,

1
P (|Xn − X| > ) ≤ E(|Xn − X|p )
p
• La convergencia casi segura implica la convergencia en probabilidad. Recíprocamente,
la convergencia en probabilidad implica la existencia de una subsucesión que converge
casi seguramente

• La convergencia casi segura implica la convergencia en media de orden p ≥ 1, si

las variables aleatorias Xn son acotadas en valor absolutopor una variable aleatoria
no negativa Y fija poseyendo el momento finito p-ésimo (teorema de convergencia
dominada)

• La convergencia en probabilidad implica la convergencia en ley, el recíproco es verdad

cuando el límite es constante

Dos eventos A, B ∈ F se dicen independientes si

P (A ∩ B) = P (A)P (B)

Una colección de variables aleatorias {Xi }i∈I es independiente si la colección de σ-álgebras

{Xi−1 (BRn )}i∈I es independiente. Esto significa que

P (Xi1 ∈ Bi1 , . . . , Xik ∈ Bik ) = P (Xi1 ∈ Bi1 ) · · · P (Xik ∈ Bik )

para cada conjunto finito de índices {i1 , . . . , ik } ⊂ I, y para todos los conjuntos de Borel
Bj
Suponga que las variables aleatorias X e Y son independientes con esperanza finita. En-
tonces XY tiene esperanza

E(XY ) = E(X)E(Y )

Más generalmente, si X1 , . . . , Xn son variables aleatorias independientes,

E(g1 (X1 ) · · · gn (Xn )) = E(g1 (X1 )) · · · E(gn (Xn ))

donde gi son funciones medibles tales que E(|gi (Xi )|) < ∞

Meitner Cadena Cepeda Procesos Estocásticos

1 Espacios de Probabilidad y Variables Aleatorias 13

Los componentes de un vector aleatorio son independientes si y solo si la densidad o la

función de probabilidad del vector aleatorio es igual al producto de las densidades marginales
o funciones de probabilidad
La probabilidad condicional de un evento A dado otro evento B tal que P (B) > 0 es definido
por

P (A ∩ B)
P (A|B) =
P (B)

Por ello, A es independiente de B si

P (A|B) = P (A)

Z
E(X|B) = XdP (·|B)
Ω
1
Z
= X1B dP
P (B) Ω
1
= E(X1B )
P (B)

LEY DE LOS GRANDES NUMEROS

Sea {Xn }n≥1 una sucesión de variables aleatorias independientes e idénticamente distribuidas,
tales que E(|X1 |) < ∞. Entonces

X1 + · · · + Xn a.s.
→ m
n
donde m = E(X1 )
TEOREMA DE LIMITE CENTRAL
Sea {Xn }n≥1 una sucesión de variables aleatorias independientes e idénticamente distribuidas,
tales que E(X12 ) < ∞. Sea m = E(X1 ) y Var(X1 ) = σ 2 . Entonces

X1 + · · · + Xn − nm L
√ → N (0, 1)
σ n

Meitner Cadena Cepeda Procesos Estocásticos

2 Procesos Estocásticos 14

2 Procesos Estocásticos

Un proceso estocástico es una colección de variables aleatorias {Xt |t ∈ T } definido sobre el

mismo espacio de probabilidad (Ω, F, P ). El conjunto T es llamado conjunto parámetro.
Si T = N = {0, 1, 2, . . .}, el proceso se dice proceso de parámetro discreto. Si T no es
contable, el proceso se dice proceso de parámetro continuo.
El conjunto de los valores que toma Xt se denomina espacio de estados, S.
El índice t representa el tiempo, y entoncesse piensa de Xt como el “estado” o la “posición”
del proceso en el tiempo t.
Para cada ω ∈ Ω, la función

t 7→ Xt (ω)

definida sobre el conjunto de parámetro T se denomina trayectoria.

Sea {Xt |t ∈ T } un proceso estocástico a valores reales y {t1 < · · · < tn } ⊂ T , entonces la
distribución de probabilidad Pt1 ,...,tn = P ◦ (Xt1 , . . . , Xtn )−1 del vector aleatorio

(Xt1 , . . . , Xtn ) : Ω → Rn

es llamada una distribución marginal de dimensión finita del proceso {Xt |t ∈ T }.

Un proceso estocástico a valores reales {Xt |t ≥ 0} es llamado un proceso de segundo orden
si E(|Xt2 |) < +∞ para todo t ∈ T . La media y la covarianza de un proceso de segundo
orden {Xt |t ≥ 0} son definidas por

mX (t) = E(Xt )
ΓX (s, t) = Cov(Xs , Xt )
= E((Xs − mX (s))(Xt − mX (t)))

La varianza del proceso {Xt |t ≥ 0} es definida por

Var(Xt ) = ΓX (t, t)
2
= σX (t)

EJEMPLO
Considere el proceso estocástico

Meitner Cadena Cepeda Procesos Estocásticos

2 Procesos Estocásticos 15

Xt = A cos(ϕ + λt)

donde A y ϕ son variables aleatorias independientes tales que E(A) = 0, E(A 2 ) < +∞ y ϕ
es uniformemente distribuida sobre [0, 2π]. Entonces, este es un proceso de segundo orden
con

mX (t) = 0
1
ΓX (s, t) = E(A2 ) cos(λ(t − s))
2

EJEMPLO
Proceso de llegadas: considere el proceso de llegadas de clientes a un almacén y suponga
que el experimento es establecido para medir el tiempo entre llegadas.
Suponga que el tiempo entre llegadas son variables aleatorias positivas X 1 , X2 , . . . , lo que
significa que dos o más clientes no pueden llegar a la vez.
Entonces, para cada t ∈ [0, +∞), ponemos Nt = k si y solamente si el entero k es tal que

X1 + · · · + Xk ≤ t < X1 + · · · + Xk+1

y ponemos Nt = 0 si t < X1 . Entonces, Nt es el número de llegadas en el intervalo [0, t].

Nótese que para cada t ≥ 0, Nt es una variable aleatoria que toma los valores en S = N, por
eso {Nt |t ≥ 0} es un proceso de tiempo continuo que toma valores en el espacio de estados
N. Las trayectorias de este proceso son funciones no decrecientes, continuas a la derecha y
ellas incrementan en saltos de tamaño 1 en los puntos X1 + · · · + Xk .
De otro lado, Nt < +∞ para todo t ≥ 0, si y solamente si +∞
P
k=1 Xk = +∞.

PROCESOS DE POISSON
Una variable aleatoria T : Ω → (0, ∞) tiene distribución exponencial de parámetro λ > 0 si

P (T > t) = e−λt

para todo t ≥ 0. Entonces T tiene la función de densidad

fT (t) = λe−λt 1(0,∞) (t)

La media de T es E(T ) = 1/λ y la varianza es Var(T ) = 1/λ2

PROPIEDAD DE PERDIDA DE MEMORIA

Meitner Cadena Cepeda Procesos Estocásticos

2 Procesos Estocásticos 16

Una variable aleatoria T : Ω → (0, ∞) tiene una distribución exponencial si y solamente si

tiene la propiedad de pérdida de memoria

P (T > s + t|T > s) = P (T > t)

para todo s, t ≥ 0
Si T tiene la propiedad de pérdida de memoria, entonces

P (T > s + t ∩ T > s)
P (T > s + t|T > s) =
P (T > s)
P (T > s + t)
=
P (T > s)
e−λ(s+t)
=
e−λs
−λs
= e
= P (T > s)

El recíproco se verifica por el hecho que la función g(t) = P (T > t) satisface

g(s + t) = g(s)g(t)

para todo s, t ≥ 0 y g(0) = 1

Un proceso estocástico {Nt |t ≥ 0} definido sobre un espacio de probabilidad (Ω, F, P ) se
dice proceso de Poisson de tasa λ si se verifica las propiedades siguientes:

1. N0 = 0

2. Para cualquier n ≥ 1 y para cualquier 0 ≤ t1 < · · · < tn los incrementos Ntn − Ntn−1 ,
. . . , Nt2 − Nt1 son variables aleatorias independientes

3. Para cualquier 0 ≤ s < t, los incrementos Nt − Ns tiene la distribución de Poisson

con parámetro λ(t − s), esto es,

(λ(t − s))k
P (Nt − Ns = k) = e−λ(t−s)
k!
para k = 0, 1, . . . donde λ > 0 es una constante fija

Una construcción de un proceso de Poisson puede ser realizado de la siguiente manera: con-
sidere una sucesión {Xn |n ≥ 1} de variables aleatorias independientes con ley exponencial

Meitner Cadena Cepeda Procesos Estocásticos

2 Procesos Estocásticos 17

de parámetro λ. Sea T0 = 0 para n ≥ 1, y TN = X1 + · · · + Xn . Sea {Nt |t ≥ 0} el proceso

de llegadas asociado con los tiempos entrellegadas Xn . Esto es

∞
X
Nt = n1{Tn ≤t≤Tn+1 } (1)
n=1

El proceso estocástico {Nt |t ≥ 0} definido en (1) es un proceso de Poisson con parámetro

λ>0
Primeramente,

∞
X
N0 = n1{Tn ≤0≤Tn+1 }
n=1
X∞
= n0
n=1
= 0

Segundo,

P (Nt = n) = P (Tn ≤ t < Tn+1 )

= P (Tn ≤ t < Tn + Xn+1 )
Z
= fTn (x)fXn+1 (y)dydx
{x≤t<x+y}

EJEMPLO
Un artículo tiene un tiempo de vida aleatorio cuya distribución es exponencial con parámetro
λ = 0.0002 (el tiempo de vida es medido en horas). Cuando el artículo falla, este es
inmediatamente reemplazado por un articulo idéntico, y así sucesivamente. Si N t es el
número de fallas en [0, t], entonces concluimos que el proceso de fallas {N t |t ≥ 0} es un
proceso de Poisson con tasa λ > 0.
Suponga que el costo de un reemplazo es β dólares, y suponga que la tasa de descuento
continua del dinero es α > 0, entonces se tiene que el valor presente de todos los costos de
los reemplazos futuros es

∞
X
C= βe−αTn
n=1

Luego, el costo esperado es

Meitner Cadena Cepeda Procesos Estocásticos

2 Procesos Estocásticos 18

∞
X
βλ
E(C) = βE e−αTn =
α
n=1

PROCESOS DE POISSON COMPUESTOS

Sea N = {Nt |t ≥ 0} un proceso de Poisson con tasa λ. Considere una sucesión {Y n |n ≥ 1}
de variables aleatorias independientes e idénticamente distribuidas, las cuales también son
independientes de N . Sea Sn = Y1 + · · · + Yn . Entonces el proceso

Zt = Y1 + · · · + YNt (= SNt )

con Zt = 0 si Nt = 0, es llamado proceso de Poisson compuesto.

EJEMPLO
Las llegas de clientes a un almacén forman un proceso de Poisson N . La cantidad de dinero
gastada por el n-ésimo cliente es una variable aleatoria Yn la cual es independiente de todos
los tiempos de llegadas y todas las cantidades gastadas por otros clientes. La cantidad total
gastada por los primeros n clientes es Sn = Y1 + · · · + Yn si n ≥ 1, y establecemos S0 = 0.
Puesto que el número total de clientes llegando en (0, t] es Nt , las ventas de los clientes
llegando en (0, t] es Zt = SNt .
PROPOSICION
El proceso compuesto tiene incrementos independientes y la ley de un incremento Z t − Zs
tiene función característica

e(ϕY1 (x)−1)λ(t−s)

donde ϕY1 (x) denota la función característica de Y1 .

Efectivamente, sea 0 ≤ s < t, considere el incremento Zt − Zs = SNt − SNs , entonces

Meitner Cadena Cepeda Procesos Estocásticos

3 Cadenas de Markov 19

X
E(eix(Zt −Zs ) ) = E(eix(Zt −Zs ) 1{Ns =m,Nt −Ns =k} )
m,k=0
X
= E(eix(Sm+k −Sm ) 1{Ns =m,Nt −Ns =k} )
m,k=0
X
= E(eixSk )P (Ns = m, Nt − Ns = k)
m,k=0
X
= E(eixSk )P (Nt − Ns = k)
k=0
X (λ(t − s))k
= (E(eixY1 ))k e−λ(t−s)
k!
k=0
X (ϕY (x)λ(t − s))k
= e−λ(t−s) 1

k!
k=0
−λ(t−s) ϕY1 (x)λ(t−s)
= e e
−λ(t−s)(1−ϕY1 (x))
= e

En particular, si E(Y1 ) = µ, entonces E(Zt ) = µλt

3 Cadenas de Markov

Sea I un conjunto contable, el cual establecerá el espacio de estados del presente proceso
estocástico.
Una distribución de probabilidad π sobre I está formada por los números 0 ≤ π i ≤ 1 talaes
P
que i∈I πi = 1. Si I es finito, entonces π es un vector de N dimensiones.
P
Decimos que una matriz P = (pij )i,j∈I es estocástica si 0 ≤ pij ≤ 1 y j∈I pij = 1
Una cadena de Markov será un proceso estocástico de tiempo discreto con espacio de estados
I. Los elementos pij representarán la probabilidad que Xn+1 = j condicional a Xn = i
Un ejemplo de matriz estocástica es

!
1−α α
β 1−β

donde 0 < α, β < 1

DEFINICION
Decimos que un proceso estocástico {Xn |n ≥ 0} es una cadena de Markov con distribución
inicial π y matriz de transición P , si para cada n ≥ 0, e i0 , i1 , . . . , in+1 ∈ I, se tiene

Meitner Cadena Cepeda Procesos Estocásticos

3 Cadenas de Markov 20

1. P (X0 = i0 ) = πi0

2. P (Xn+1 = in+1 |X0 = i0 , . . . , Xn = in ) = pin in+1

Nótese que

P (X0 = i0 , X1 = i1 , . . . , Xn = in )
P (X0 = i0 , X1 = i1 ) P (X0 = i0 , X1 = i1 , . . . , Xn = in )
= P (X0 = i0 ) ···
P (X0 = i0 ) P (X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 )
= πi0 P (X1 = i1 |X0 = i0 ) · · · P (Xn = in |X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 )
= πi0 pi0 i1 · · · pin−1 in

De otra parte, (P 2 )ij = pik pkj , por lo que P n es una matriz estocástica, denotando
P
k∈I
P 0 = I.
Entonces, primeramente, tenemos que

P (Xn = j) = (πP n )j

Efectivamente,

X X
P (Xn = j) = ··· P (X0 = i0 , . . . , Xn = j)
i0 ∈I in−1 ∈I
X X
= ··· πi0 pi0 i1 · · · pin−1 j
i0 ∈I in−1 ∈I
= (πP n )j

y, también,

(n)
P (Xn+m = j|Xm = i) = pij

Efectivamente, asumiendo P (Xm = i) > 0,

P (Xn+m = j, Xm = i)
P (Xn+m = j|Xm = i) =
P (Xm = i)
P P
i0 ∈I · · · in+m−1 ∈I πi0 pi0 i1 · · · pim−1 i piim+1 · · · pin+m−1 j
=
(πP m )i
X X
= ··· piim+1 · · · pin+m−1 j
im+1 ∈I in+m−1 ∈I
(n)
= pij

Meitner Cadena Cepeda Procesos Estocásticos

3 Cadenas de Markov 21

EJEMPLO
Considere una cadena de Markov de 2 estados con la matriz de transición

!
1−α α
P =
β 1−β

Puesto que P n+1 = P n P , tenemos

(n+1) (n) (n)

p11 = p11 (1 − α) + p12 β

(n) (n)
Puesto que se conoce que p11 + p12 = 1, tenemos

(n+1) (n)
p11 = β + p11 (1 − α − β)

(0)
con la condición p11 = 1. La solución de esta recurrencia es,

(
β α
(n) α+β + α+β (1 − α − β)n si α + β 6= 0
p11 =
1 + nβ si α + β = 0

PRIMERA ECUACION DE CHAPMAN-KOLMOGOROV

Nótese que

(n+m)
X X
pij = ··· pii1 · · · pin+m−1 j
i1 ∈I in+m−1 ∈I
X X X X
= ··· ··· pii1 · · · pin+m−1 j
i1 ∈I in ∈I in+1 ∈I in+m−1 ∈I
(m)
X X
= ··· pii1 · · · pin−1 in pin j
i1 ∈I in ∈I
(n) (m)
X
= piin pin j
in ∈I
n+m n m
P = P P

SEGUNDA ECUACION DE CHAPMAN-KOLMOGOROV

Sea fij (n) la probabilidad de transición por primera vez de i en j en n pasos.
Entonces,

(1)
fij (1) = pij = pij

Meitner Cadena Cepeda Procesos Estocásticos

3 Cadenas de Markov 22

y, para n > 1,

n−1
(n) (n−k)
X
fij (n) = pij − fij (k)pjj
k=1

RESULTADOS
PROBABILIDAD DE LA TRANSICION DE i A j

X
Fij = fij (n)
n

Note que si Fij = 1, entonces la transición de i a j se produce con seguridad y, además, los
fij (n) conforman una distribución de probabilidad de la variable número de pasos para ir
de i a j por primera vez, por lo que la media de esta variable es,

X
µij = nfij (n)
n

Este resultado representa el tiempo esperado de visita de i a j por primera vez.

PRIMERA RECURRENCIA
Si i = j, entonces fii (n) es la probabilidad de primera recurrencia del estado i.
Nótese que,

n
(n) (n−k)
X
pii = fii (k)pii
k=1

o, también,

n−1
(n) (n−k)
X
fii (n) = pii − fii (k)pii
k=1

También, Fii es la probabilidad de retorno eventual a i

Si Fii < 1 entonces el estado i se dice transitorio
Si Fii = 1 entonces el estado i se dice recurrente
EJEMPLO
Calcule fij (n), fij (n), Fij y Fii

 
0 1/2 1/2
 1/2 0 1/2 
 

1/2 1/2 0

Meitner Cadena Cepeda Procesos Estocásticos

3 Cadenas de Markov 23

y para

!
1/4 3/4
1 0

PROBABILIDADES DE EQUILIBRIO
La relación

πin+1 = πin P

alcanza el equilibrio cuando, al tenerse n → ∞, π = πP , lo que significa que las iteraciones

futuras de la cadena de Markov no modifican la probabilidad π. π se dice probabilidad
estacionaria.
De otra parte,

π = πP
= lim πin P
n→∞
= lim πi0 P n
n→∞
= πi0 lim P n
n→∞
= π i0 P ∞

donde πi0 es cualquiera.

Tomando πi0 como los vectores canónicos (πi0 = (0, . . . , 1, . . . , 0)), se encuentra que

πi = (P ∞ )ii

Meitner Cadena Cepeda Procesos Estocásticos