Page 70 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 62 — #68
✐ ✐

62 3. Cadenas de Markov

Ejemplo 3.12 La cadena de racha de ´exitos es irreducible y recurrente. Por
lo tanto con probabilidad uno visita cada uno de sus estados una infinidad
de veces.

Propiedad fuerte de Markov
Para justificar adecuadamente las siguientes aplicaciones yresultados para
cadenas de Markov vamos a extender la propiedad de Markov al caso de
tiempos aleatorios. Supongamos que X 0 ,X 1 ,... es un proceso estoc´astico a
tiempo discreto y que τ es un tiempo aleatorio que indica el momento en el
que ocurre alg´un evento de inter´es del proceso. Por ejemplo, el momento en
el que el proceso llega por primera vez a un cierto estado o a un conjunto
de estados. As´ı, τ es un tiempo aleatorio con posibles valores 0, 1,...
.Se incluye elvalor infinito pues elevento a observar podr´ıanunca
ocurrir. A estos tiempos aleatorios los llamaremos tiempos de paro y les
pediremos que cumplan con cierta condici´on t´ecnica. M´as espec´ıficamente,
se dice que una variable aleatoria τ : Ω 0, 1,... , es un tiempo de paro
respecto del proceso estoc´astico indicado si para cada entero n 0, el evento
τ n depende ´unicamente de las variables X 0 ,X 1 ,... ,X n .Intuitivamente
esto significa que la ocurrencia o no ocurrencia del evento τ n puede
verificarse a partir de la informaci´on o historia del procesohasta el tiempo n.
En el cap´ıtulo sobre martingalas estudiaremos con m´as detalle a los tiempos
de paro, lo que necesitamos saber por el momento es que la propiedad de
Markov que hemos mencionado para cadenas puede extenderse alcaso de
tiempos de paro de la siguiente forma:

Proposici´on 3.14 (Propiedad fuerte de Markov) Sea X n : n 0
una cadena de Markov y sea τ un tiempo de paro respecto de este proceso.
Condicionado al evento τ ,el proceso X τ n : n 0 es una cadena
de Markov, es decir, la probabilidad

P X τ n 1 j X 0 x 0 ,... ,X τ n 1 x n 1 ,X τ n i (3.3)

es igual a P X τ n 1 j X τ n i .

La demostraci´on de la propiedad fuerte de Markov consiste encondicionar
sobre el valor del tiempo de paro τ ydesarrollar ambas probabilidades. Vea
el ejercicio 78 en la p´agina 107 para los detalles.

✐ ✐

✐ ✐