CADENA DE MARKOV
Las
cadenas de markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Ejemplos:
reparto del mercado entre marcas; dinámica de las averías de máquinas para
decidir política de mantenimiento; evolución de una enfermedad,…
•
Una
Cadena de Markov (CM) es:
•
Un
proceso estocástico
•
Con
un número finito de estados (M)
•
Con
probabilidades de transición estacionarias
•
Que
tiene la propiedad markoviana
•
PROCESO ESTOCASTICO
• Es un
conjunto o sucesión de variables aleatorias: {X(t)CG } definidas
en un mismo espacio de probabilidad.
•
Normalmente el índice t representa un tiempo y X(t) el
estado del proceso estocástico en el instante t.
• El
proceso puede ser de tiempo discreto o continuo si G es
discreto
o continuo.
• Si el
proceso es de tiempo discreto, usamos enteros para
representar
el índice: {X1, X2, ...}
ELEMENTOS DE UNA CADENA DE MARKOV
o
Un conjunto finito de M estados, exhaustivos y
mutuamente excluyentes (ejemplo: estados de la enfermedad)
o
Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para
examinar las transiciones entre estados
(ejemplo, un mes)
o
Probabilidades de transición entre estados, en un ciclo (matriz P)
o
Distribución inicial del sistema entre los M estados
posibles
PROPIEDAD MARKOVIANA
Un
proceso estocástico tiene la propiedad markoviana si las probabilidades de
transición en un paso sólo dependen del estado del sistema en el período
anterior (memoria limitada)
P(n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)