Page 38 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 30 — #36
✐ ✐

30 3. Cadenas de Markov

1 P X 1 j X 0 i P X 1 j X 0 i p ij .
j j j
!

Esto ´ultimo significa que a partir de cualquier estado i con probabilidad uno
la cadena pasa necesariamente a alg´un elemento del espacio de estados al
siguiente momento. En general toda matriz cuadrada que cumpla estas dos
propiedades se dice que es una matriz estoc´astica. Debido a la propiedad
de Markov, esta matriz captura la esencia del proceso y determina el com-
portamiento de la cadena en cualquier tiempo futuro. Si adem´as la matriz
satisface la condici´on i ij 1, es decir, cuando la suma por columnas
p
tambi´en es uno, entonces se dice que es doblemente estoc´astica.

Distribuci´on de probabilidad inicial
En general puede considerarse que una cadena de Markov iniciasuevoluci´on
partiendo de un estado i cualquiera, o m´as generalmente considerando una
distribuci´on de probabilidad inicial sobre el espacio de estados. Una distribu-
ci´on inicial para una cadena de Markov con espacio de estados 0, 1, 2,... es
simplemente una distribuci´on de probabilidad sobre este conjunto, es decir,
es una colecci´on de n´umeros p 0 ,p 1 ,p 2 ... que son no negativos y que suman
uno. El n´umero p i corresponde a la probabilidad de que la cadena inicie en
el estado i.En general,la distribuci´on inicialjuega un papel secundario en
el estudio de las cadenas de Markov.

Existencia
Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la
p x n x n 1 .Esta identidad
igualdad p x 0 ,x 1 ,... ,x n p x 0 p x 1 x 0
establece que las distribuciones conjuntas p x 0 ,x 1 ,... ,x n se encuentran
completamente especificadas por la matriz de probabilidadesde transici´on
ypor una distribuci´on inicial. En el texto de Chung [5] puedeencontrarse
una demostraci´on del hecho de que dada una matriz estoc´astica y una dis-
tribuci´on de probabilidad inicial, existe un espacio de probabilidad y una
cadena de Markov con matriz de probabilidades de transici´ony distribuci´on
inicial las especificadas. Es por ello que a la matriz misma se le llama a veces
cadena de Markov.

✐ ✐

✐ ✐