1

Cadenas de Markov

TRABAJO DE INVESTIGACIÓN UNIDAD 4 QUE PRESENTA:

Nombre del Alumno

Pedro Zepeda Sánchez

Nombre del Maestro

JESÚS FRANCISCO TEJEDA CASTREJÓN

Nombre de la Carrera
Ingeniería Industrial

Villa de Álvarez, Col., a 24 de noviembre de 2021

 2

Índice

Introducción ............................................................................................................. 3
4.1. Introducción a las cadenas de Markov. ............................................................ 5
4.2. Probabilidad de transiciones estacionarias de n pasos. ................................... 7
4.3. Estado estable. ................................................................................................. 9
4.4. Casos especiales (cadenas absorbentes, cadenas cíclicas). ......................... 13
4.5. Uso de software. ............................................................................................ 15
Conclusión............................................................................................................. 17
Fuentes bibliográficas. .......................................................................................... 19
 3

Introducción

Las cadenas de Markov son un tipo de proceso estocástico introducido en 1906 por
el matemático Andréu Markov, de quien reciben su nombre. Específicamente, una
cadena de Markov es un proceso estocástico de espacio de estados discreto en el
que la evolución futura del proceso solo depende de su estado presente y es
independiente de la evolución pasada del proceso. Es decir, es un proceso que
cumple con la propiedad de no memoria. A continuación presentamos la
caracterización de las cadenas de Markov de acuerdo a la temporalidad del
proceso estocástico.

La explicación de estas cadenas la desarrolló el matemático de origen ruso Andréu

Márkov en 1907. Así, a lo largo del siglo XX, se ha podido emplear dicha
metodología en numerosos casos prácticos de la vida cotidiana.
Según señaló Markov, en sistemas o procesos estocásticos (es decir, aleatorios)
que presentan un estado presente es posible conocer sus antecedentes o desarrollo
histórico. Por lo tanto, es factible establecer una descripción de la probabilidad futura
de los mismos.

Más formalmente, la definición supone que en

procesos estocásticos la probabilidad de que algo
suceda solamente depende del pasado histórico de la
realidad que estamos estudiando. Por este motivo, a
menudo se dice que estas cadenas cuentan con
memoria.

La base de las cadenas es la conocida como

propiedad de Markov, la cual resume lo dicho
anteriormente en la siguiente regla: lo que la cadena
experimente en un momento t + 1 solamente depende
de lo acontecido en el momento t (el inmediatamente
anterior).

Dada esta sencilla explicación de la teoría, puede

observarse que es posible a través de la misma
conocer la probabilidad de que un estado ocurra en el
largo plazo. Esto ayuda indudablemente a la
predicción y estimación en largos periodos de tiempo.
 4

Las cadenas de Markov han experimentado una importante aplicación real en el

ámbito de los negocios y las finanzas. Esto, al permitir, como se ha señalado,
analizar y estimar futuros patrones de conducta de los individuos atendiendo a la
experiencia y los resultados anteriores.

Lo anterior puede reflejarse en diferentes campos como la morosidad, el estudio de

las conductas de consumidores, la demanda estacional de mano de obra, entre
otros.

El sistema elaborado por Markov es bastante sencillo y cuenta, como hemos dicho,
con una aplicación práctica bastante fácil. Sin embargo, muchas voces críticas
señalan que un modelo tan simplificado no puede ser totalmente efectivo en
procesos complejos.

Con las Cadenas de Markov podremos hacer predicciones de comportamientos

futuros como las que se observaron en las situaciones anteriores. Así, si llamamos
estados a cada una de estas posibilidades que se pueden presentar en un
experimento o situación específica, entonces podemos visualizar en éstas una
herramienta que nos permitiría conocer a corto y largo plazo los estados en que se
encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o
favorecerán nuestros intereses.
Las cadenas de Markov son herramienta para analizar el comportamiento y el
gobierno de determinados tipos de procesos estocásticos (procesos no
determinísticos) a lo largo del tiempo en torno a un conjunto de estados.

Representa un sistema que varía su estado a lo largo del tiempo, siendo cada
cambio una transición del sistema. Estos cambios no están predeterminados,
aunque sí lo está la probabilidad del próximo estado en función de los anteriores,
siendo esta constante a lo largo del tiempo.
 5

Desarrollo

4.1. Introducción a las cadenas de Markov.

Con las Cadenas de Markov podremos hacer predicciones de comportamientos

futuros como las que se observaron en las situaciones anteriores. Así, si llamamos
estados a cada una de estas posibilidades que se pueden presentar en un
experimento o situación específica, entonces podemos visualizar en éstas una
herramienta que nos permitiría conocer a corto y largo plazo los estados en que se
encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o
favorecerán nuestros intereses.
Las cadenas de Markov son herramienta para analizar el comportamiento y el
gobierno de determinados tipos de procesos estocásticos (procesos no
determinísticos) a lo largo del tiempo en torno a un conjunto de estados.

Representa un sistema que varía su estado a lo largo del tiempo, siendo cada
cambio una transición del sistema. Estos cambios no están predeterminados,
aunque sí lo está la probabilidad del próximo estado en función de los anteriores,
siendo esta constante a lo largo del tiempo.
 6

Elementos clave de una cadena de Markov

 Estados: Un estado es una caracterización cualitativa o cuantitativa de una

situación en que se halla el sistema en un instante dado.

 Matriz de transición (T): Matriz cuadrada con tantas filas y columnas como
estados tiene el sistema. Sus elementos representan las probabilidades de
que un estado (fila) permanezca en el mismo o cambie a los siguientes
estados (columnas). La suma de las probabilidades por fila ha de ser igual a
1.

 Composición actual de los estados (Po): En ocasiones se dispondrá con la

composición actual de los estados, para hallar la composición de dichos
estados proyectada en un periodo n.

Los estados que pueden ocurrir, pueden ser de diferentes tipos, algunos son
los siguientes:

 Estado Absorbente: una vez el proceso entra en este estado, permanecerá

allí indefinidamente, es decir, la probabilidad de hacer una transición fuera
de ese estado es igual a 0 (cero).

 Estado de transición: es el que no llega a ser absorbente, o sea, sus

probabilidades cambian constantemente con respecto al periodo anterior.

 De una cadena de Markov que consta de estados transitorios y absorbentes

se dice que es una Cadena de Markov Absorbente. Por otro lado, si en una
cadena de Márkov existe alguna potencia positiva de la matriz de transición
cuyas entradas sean todas estrictamente mayores que cero, se dice que es
una cadena de Markov regular o primitiva.

 Estado recurrente: es en el que comenzando en él se tenga la certeza de

volver en algún momento del tiempo (una determinada cantidad de etapas)
sobre sí mismo. Si tenemos una Cadena de Markov que tiene una cantidad
finita de estados e identificamos un estado recurrente, este será recurrente
positivo. Si la cantidad de estados es infinito entonces un estado recurrente
será recurrente nulo.

 Para poder estudiar las cadenas de Markov absorbentes es preciso

reordenar la matriz de transición de forma que las filas correspondientes a
los estados absorbentes aparezcan en primer lugar. Así ordenada se dirá
que la matriz de transición está en la forma canónica.
 7

Para hallar las probabilidades de ocurrencia de los eventos en una cadena Markov
absorbente, se realizan las operaciones para resolver la siguiente ecuación:

En la cual:

Px. es la probabilidad de recurrencia de un estado.

I es la matriz identidad.
N es la matriz no absorbente.
A es la matriz absorbente.

4.2. Probabilidad de transiciones estacionarias de n pasos.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos

más generales que son las cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando con el
paso del tiempo. Las cadenas de Markov tienen la propiedad de que la probabilidad
de que Xn = j sólo depende del estado inmediatamente anterior del sistema: Xn−1.
Cuando en una cadena dichas probabilidades no dependen del tiempo en que se
considere, n,

Se denomina cadena homogénea, esto es, las probabilidades son las mismas en
cada paso.
 8

En una cadena homogénea finita con m posibles estados E1, E2,...,Em se puede
introducir la notación:

Donde i, j = 1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede comunicar

con Ej . La comunicación puede ser mutua si también pji > 0.

Para cada i fijo, la serie de valores {pij} es una distribución de probabilidad, ya que
en cualquier paso puede ocurrir alguno de los sucesos E1, E2,...,Em y son
mutuamente excluyentes.

Los valores pij se denominan probabilidades de transición que satisfacen la

condición:

Para cada i = 1, 2, . . . , m. Todos estos valores se combinan formando una matriz

de transición T de tamaño m × m, donde:

Se puede observar que cada fila de la matriz es una distribución de probabilidad, es

decir,
 9

4.3. Estado estable.

Estado estable: Se puede decir que el estado estable es la distribución de

probabilidades que en cierto punto quedará fija para el vector P y no presentará
cambios en periodos posteriores.
10
11
12
 13

4.4. Casos especiales (cadenas absorbentes, cadenas cíclicas).

Para describir procesos o sistemas que cesan (o vuelven a comenzar) después de

alcanzar determinadas condiciones se utiliza un caso especial de cadenas de
Markov. Por ejemplo, después de hallar un número predeterminado de partes
defectuosas o aceptables, se suspende una inspección; después de un tiempo una
cuenta se vuelve incobrable o pagada, etc. Esos procesos pueden modelarse como
una cadena de Markov absorbente. Un estado absorbente es aquel que tiene una
probabilidad de ser abandonado igual a cero, es decir que, una vez comenzado es
imposible salir de él, y el proceso o se detiene completamente o se detiene para
luego comenzar a partir de algún otro estado.

Una cadena de Markov es absorbente si:

1. Tiene por lo menos un estado absorbente.

2. Es posible ir desde cada estado no absorbente hasta por lo menos un estado

absorbente, no es necesario que esto se dé en un paso, ni es necesario que exista
la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.
 14

Esto puede observarse fácilmente en la matriz de transición, porque un estado

absorbente tiene una probabilidad de transición hacia sí mismo de uno y de cero
hacia todos los demás estados, es decir, pjj = [Link] estados, el S2 y el S4, son
absorbentes y ambos pueden alcanzarse desde cualquiera de los estados no
absorbentes. La probabilidad de terminar en S2 o enS4 depende del punto de
partida. Es obvio que, si el sistema comienza en un estado absorbente, nunca saldrá
de ahí. Entonces, sólo se tiene interés cuando se comienza en un estado que no es
absorbente. Se necesita otra relación. Esta es, sin demostración, para cada
combinación i, y, k:

Existen cuatro combinaciones de interés: de S1 a S2, de S1 a S4, de S3 a S2 y

deS3 a S4.

Cadenas Cíclicas:

Una cadena cíclica es aquella en la que el sistema entra en un ciclo entre ciertos
estados siguiendo un patrón fijo. Cuando esto sucede la cadena se convierte en
determinista en lugar de probabilística. Puede reconocerse una cadena cíclica en
una matriz de transición por la presencia de unos en dos o más renglones (un solo
renglón no la haría cíclica)

Un ciclo es un camino cerrado entre estados recurrentes. Para que una cadena sea
cíclica debe cumplirse que:

 Tenga por lo menos un ciclo

 Sea posible entrar en el ciclo
 No es ergódica: es reducible en (S2, S3) Y EN (S1):

Número de intentos promedio que se realizan para alcanzar el ciclo:

Se supone al ciclo como un estado absorbente

A largo plazo (régimen permanente):

 El sistema es cíclico
 El porcentaje del tiempo que pasa en cada estado se calcula con el
procedimiento visto para régimen permanente.
 15

4.5. Uso de software.

Se conoce como software, logicial o soporte lógico al sistema formal de un sistema

informático, que comprende el conjunto de los componentes lógicos necesarios que
hacen posible la realización de tareas específicas, en contraposición a los
componentes físicos que son llamados hardware.

Ejemplo de un software de Markov.

Sto tree permite formular un modelo de Markov es mediante el uso del software.
Una macro que se incrusta en Microsoft Excel, por lo que otras características de
Excel también están disponibles al mismo tiempo. Lo primero que se debe reseñar
es que Sto Tree no genera un diagrama de transición de Markov pero, en cambio,
utiliza un árbol de Markov similar al que utiliza TreeAge
 16

La construcción de un modelo de Markov en Sto Tree es de un estilo más libre. No

existe una formulación estándar en Sto Tree y los nodos y arcos se pueden arrastrar
a cualquier lugar de la hoja de cálculo. Es fácil construir un modelo de Markov en el
software, simplemente añadiendo nodos y arcos, no se necesita ningún trabajo de
codificación. Lo único que hay que tener en cuenta es que para Sto Tree hay dos
tipos de arcos: la flecha ondulada representa una transición con una determinada
velocidad; mientras la flecha recta muestra una transición instantánea.

El software está más adaptado a modelos de Markov continuos, y es algo menos

eficiente en modelos de Markov discretos, aunque cualquier probabilidad p se puede
convertir a una tasa r mediante el uso de la fórmula p= 1 – e-r∆s , donde ∆s es la
duración del ciclo. El software no considera a tiempo de duración para esas
transiciones con la flecha recta, ya que son vistas como algo que ocurre
instantáneamente. Siempre que haya una transición a los estados pre-existentes
anteriores, se tiene que seleccionar un nodo duplicado para representar dicha
transición. Por ejemplo, del estado “Complicaciones limitadas” (CL) se puede volver
al estado “Respuesta” (R), por lo que un nodo duplicado R (con el círculo punteado
en la figura 2) se crea después de CL.
 17

Conclusión

Para concluir podemos decir que las cadenas de Markov son una herramienta para
analizar el comportamiento y el gobierno de determinados tipos de procesos
estocásticos, esto es, procesos que evolucionan de forma no determinística a lo
largo del tiempo en torno a un conjunto de estados.

Que para su elaboración requieren del conocimiento de diversos elementos como

son el estado y la matriz de transición.

Dichos elementos fueron descubiertos por su creador Markov, el cual realizó una
secuencia de experimentos conectados en cadena y la necesidad de descubrir
matemáticamente los fenómenos físicos

Este método es muy importante, ya que ha comenzado a usarse en los últimos

años como instrumento de investigaciones de mercadotecnia, para examinar y
pronosticar el comportamiento de los clientes desde el punto de vista de su lealtad
a una marca y de sus formas de cambio a otras marcas, la aplicación de esta
técnica, ya no solo se limita a la mercadotecnia sino que su campo de acción se ha
podido aplicar en diversos campos.

Esperemos que este artículo sea de gran utilidad y que los conceptos contenidos
queden explicados de manera clara.

Con el presente trabajo me queda en claro que las cadenas de Márkov son una
herramienta para analizar el comportamiento y el gobierno de determinados tipos
de procesos estocásticos, esto es, procesos que evolucionan de forma no
determinística a lo largo del tiempo en torno a un conjunto de estados.

Una cadena de Márkov, por tanto, representa un sistema que varía un estado a lo
largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios
no están predeterminados, aunque sí lo está la probabilidad del próximo estado en
función de los estados anteriores, probabilidad que es constante a lo largo del
tiempo (sistema homogéneo en el tiempo). Eventualmente, es una transición, el
nuevo estado puede ser el mismo que el anterior y es posible que exista la
posibilidad de influir en las probabilidades de transición actuando adecuadamente
sobre el sistema (decisión).
 18

El enfoque estocástico se presenta muchas veces en los procesos administrativos,

ya que existen variables aleatorias, cuyos valores son estados característicos de los
mismos. Las Cadenas de Markov constituyen una herramienta eficiente para el
análisis a corto y a largo plazo de procesos que cambian de estado con el transcurso
del tiempo, en los que la probabilidad de estar en un estado determinado
depende del estado en el cual se encontraba el sistema.

El análisis de la ejecución de proyectos de investigación en Salud pudo considerarse

como una cadena de Markov, definiendo los diferentes estados por los que puede
pasar un proyecto y las probabilidades de que este se encuentre en un estado
determinado a partir del estado en que se encontraba.

En este caso investigamos la cadena de markov y se pudo determinar elementos o

variables que permiten la toma de decisiones a corto y a largo plazo, a partir de
datos históricos durante el trienio 2013 – 2015, relacionadas con el número de
transiciones, la probabilidades de terminar en un estado absorbente, partiendo de
un algún estado transigente, permitiendo de alguna forma pronosticar en términos
de probabilidades el estado de este subsistema en el futuro. Los resultados
obtenidos muestran un estado general favorable en cuanto a la ejecución de los
proyectos de investigación de la Facultad.

En este trabajo se asume que tanto los métodos cuantitativos como los cualitativos
son importantes, y la correcta administración de una organización implica la precisa
conjugación de todos ellos; pero no es menos cierto que los métodos cuantitativos,
han sido creados sobre una base científica mucho más sólida que los otros, donde
en los resultados de su aplicación están exentos de la fuerza imponente de quien
dirige. De esta forma se parte de un modelo cuantitativo que describa el evento o
fenómeno, el cual constituye un modelo matemático del sistema real bajo estudio.
 19

Fuentes bibliográficas.

 Universidad de los Andes Colombia. (2020). cadenas de markov . 2020, de

Modelos Probabilisticos (IIND2104) Sitio web:
[Link]
colombia/modelos-probabilisticos/3-introduccion-a-cadenas-de-

 Sebastián Muñoz. (2011). cadenas de Marcov . febrero 2011, de

investigación de operaciones II Sitio web: [Link]
[Link]/p/cadenas-de-markov_27.html

 ANDREI MARKOV. (2011). cadenas de markov . viernes, 3 de junio de 2011,

de investigación de operaciones II Sitio web:
[Link]
[Link]

 Briceño Valera, F. (15 de Julio de 2004). Redalyc Las Cadenas de

[Link] el 9 de Noviembre de 2021, de Las cadenas de Markov
en el análisis de cambios y asignación de usos de la tierra

 VEGA, R. K. (31 de Mayo de 2018). [Link] el 9 de Noviembre

de 2021, de DISEÑO DE UN MODELO MARKOVIANO CON ESTADOS
ABSORBENTES PARA EL COSTEO A PRIORI DE PROCESOS DE
PRODUCCIÓN EN SERIE Y SU EVALUACIÓN EN DIFERENTES
ESCENARIOS PARA MEJORAR LA TOMA DE DECISIONES.:

 Velásquez, L. F. (2010). Guía Para La Solución de [Link]ín

Colombia: Facultad de [Link] el 9 de Noviembre de 2021, de
Guía para la solución de problemas de cadenasde Markov, colas, inventarios
y análisis de decisiones:

 Pérez, J. (2011, 3 de Junio). Andrei Markov. Recuperado de

[Link]

 Morales, L. (2011, 2 de Junio). Cadenas de Markov. Recuperado de:

[Link]