Cadena de Markov

 CADENA DE MARKOV

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad,…

•          Una Cadena de Markov (CM) es:

•          Un proceso estocástico

•          Con un número finito de estados (M)

•          Con probabilidades de transición estacionarias

•          Que tiene la propiedad markoviana

•           

PROCESO ESTOCASTICO

• Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de probabilidad.

• Normalmente el índice t representa un tiempo y X(t) el estado del proceso estocástico en el instante t.

• El proceso puede ser de tiempo discreto o continuo si G es

discreto o continuo.

• Si el proceso es de tiempo discreto, usamos enteros para

representar el índice: {X1, X2, ...}

ELEMENTOS DE UNA CADENA DE MARKOV

o   Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad)

o   Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar  las transiciones entre estados (ejemplo, un mes)

o   Probabilidades de transición entre estados, en un ciclo (matriz P)

o   Distribución  inicial del sistema entre los M estados posibles

PROPIEDAD MARKOVIANA

Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada)

P⁽ⁿ⁾ es la matriz de transición en n pasos, de orden (M+1)x(M+1)