Page 56 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 48 — #54
✐ ✐

48 3. Cadenas de Markov

Definici´on 3.5 Sea A un subconjunto del espacio de estados de una cadena
de Markov X n : n 0 .El tiempo de primera visita al conjunto A es la
variable aleatoria
m´ın n 1: X n A si X n A para alg´un n 1,
τ A
otro caso.
Es decir, τ A es el primer momento positivo en el cual la cadena toma un valor
dentro de la colecci´on de estados A,siello eventualmente sucede.Estaremos
interesados principalmente en el caso cuando el conjunto A consta de un solo
estado j,y si suponemos que la cadena inicia en i,entonces el tiempo de
primera visita al estado j se escribe τ ij .Cuando los estados i y j coinciden
se escribe simplemente τ i .En generalno es f´acil encontrar la distribuci´on de
probabilidad de la variable aleatoria τ ij .Definiremos a continuaci´on como
f ij n alaprobabilidadde que τ ij tome el valor n.

Definici´on 3.6 Para cada n 1,el n´umero f ij n denota la probabilidad
de que una cadena que inicia en el estado i,llegue al estado j por primera
vez en exactamente n pasos, es decir,

f ij n P X n j, X n 1 j, . . . , X 1 j X 0 i .
Adicionalmente se define f ij 0 0,incluyendo el caso i j.

Es decir, f ij n P τ ij n .En particular,observe que f ii n es la proba-
bilidad de regresar por primera vez al mismo estado i en el n-´esimo paso, y
que f ii 1 es simplemente p ii 1 .Eluso de la letra f para esta probabilidad
proviene del t´ermino en ingl´es first para indicar que es la probabilidad de
primera visita; saber esto ayuda a recordar su significado.

Ejemplo 3.5 Considere la cadena de Markov de dos estados. Teniendo en
cuenta la Figura 3.2 de la p´agina 32, es inmediato comprobar que

a) f 01 n 1 a n 1 a, para n 1.
b) f 10 n 1 b n 1 b, para n 1.

c) f 00 n a 1 b n 2 b, para n 2.

d) f 11 n b 1 a n 2 a, para n 2.

✐ ✐

✐ ✐