Page 64 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 56 — #62
✐ ✐

56 3. Cadenas de Markov

En consecuencia, toda cadena finita e irreducible es recurrente. M´as adelante
demostraremos que en tal caso, con probabilidad uno la cadenavisita cada
uno de sus estados una infinidad de veces.

3.8. Tiempo medio de recurrencia

Hemos visto que si una cadena de Markov inicia en un estado recurrente,
entonces regresa a ´el una infinidad de veces con probabilidaduno. Y hemos
definido el tiempo de primera visita a un estado j,a partir de cualquier

estado i,como la variable aleatoria discreta τ ij m´ın n 1: X n
j X 0 i ,con la posibilidad de que tome elvalor infinito.Vamos a definir
el tiempo medio de recurrencia como la esperanza de esta variable aleatoria
en el caso cuando el estado a visitar es recurrente.

Definici´on 3.9 El tiempo medio de recurrencia de un estado recurrente j,
apartir del estado i,sedefine como la esperanza de τ ij ,y se denota por µ ij ,
es decir,

µ ij E τ ij nf ij n .
n 1

Recordemos que cuando el tiempo de primera visita se refiere almismo
estado de inicio y de llegada j,se escribe τ j en lugar de τ jj .En este caso el
tiempo medio de recurrencia se escribe simplemente como µ j .Esta esperanza
puede ser finita o infinita, y representa el n´umero de pasos promedio que a
la cadena le toma regresar al estado recurrente j.

Ejemplo 3.10 La cadena de Markov de dos estados es irreducible y recu-
rrente cuando a, b 0, 1 .Vamos a calcular los tiempos medios de recurren-
cia de estos dos estados. Tenemos que f 00 1 1 a,y f 00 n a 1 b n 2 b
para n 2.Por lo tanto,

µ 0 nf 00 n 1 a ab n 1 b n 2
n 1 n 2
b 1
1 a ab
b 2
a b
.
b

✐ ✐

✐ ✐