Page 36 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 28 — #34
✐ ✐

28 3. Cadenas de Markov

condicional p x n 1 x n es an´alogo. Hacemos ´enfasis en que esta notaci´on
ayuda a escribir la propiedad de Markov y sus equivalencias deuna manera
simple y clara. M´as adelante retomaremos la notaci´on que seusa demanera
est´andar para estas probabilidades.

Definici´on 3.1 Una cadena de Markov es un proceso estoc´astico a tiempo
discreto X n : n 0, 1,... ,con espacio deestados discreto, y quesatis-
face la propiedad de Markov, esto es, para cualquier entero n 0,y para
cualesquiera estados x 0 ,... ,x n 1 ,se cumple

p x n 1 x 0 ,... ,x n p x n 1 x n . (3.1)

Si al tiempo n 1se le considera como untiempo futuro, al tiempo n
como el presente y a los tiempos 0, 1,... ,n 1comoel pasado, entonces la
condici´on (3.1) establece que la distribuci´on de probabilidad del estado del
proceso al tiempo futuro n 1depende ´unicamente del estado del procesoal
tiempo n,y no depende de los estados en los tiempos pasados 0, 1,... ,n 1.
Existen otras formas equivalentes de expresar esta propiedad, algunas de
ellas se encuentran enunciadas en la secci´on de ejercicios.Por ejemplo, es
posible demostrar que la condici´on (3.1) es equivalente a poder calcular la
distribuci´on conjunta de las variables X 0 ,X 1 ,... ,X n de la siguiente forma:

p x 0 ,x 1 ,... ,x n p x 0 p x 1 x 0 p x n x n 1 .

Sin p´erdida de generalidad tomaremos como espacio de estados de una ca-
dena de Markov al conjunto discreto 0, 1, 2,... ,o cualquier subconjunto
finito que conste de los primeros elementos de este conjunto. Cuando el es-
pacio de estados de una cadena de Markov es un conjunto finito sediceque
la cadena es finita.

Probabilidades de transici´on
Sean i y j dos estados de una cadena de Markov. A la probabilidad

P X n 1 j X n i

se le denota por p ij n, n 1 ,y representa la probabilidad de transici´on del
estado i en el tiempo n,alestado j en el tiempo n 1. Estas probabilidades
se conocen como las probabilidades de transici´on en un paso.Cuando los

✐ ✐

✐ ✐