4.2- Probabilidad de transiciones estacionarias de n pasos.
Ejemplo 1.
Consideremos que en un locutorio telefónico con 5 líneas de teléfono en un
instante de tiempo dado puede haber un número cualquiera de líneas
ocupadas. Durante un periodo de tiempo se observan las líneas telefónicas a
intervalos de 2 minutos y se anota el número de líneas ocupadas en cada
instante.
¥ Sea X1 la v.a. que representa el número de líneas ocupadas al principio del
periodo.
¥ Sea X2 la v.a. que representa el número de líneas ocupadas cuando se
observa en el segundo instante de tiempo, 2 minutos más tarde.
¥ En general, n =1 ,2,... Xn es una v.a. que representa el número de líneas
ocupadas cuando se observan en el instante de tiempo n−ésimo. ♣ El estado
del proceso en cualquier instante de tiempo es el número de líneas que están
siendo utilizadas en ese instante. ♣ Un proceso es tocástico como el que
acabamos de describirse llama proceso de parámetro discreto, ya que las
líneas se observan en puntos discretos a lo largo del tiempo.
Ejemplo 2.
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se
puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara
durante la primera, segunda, …, semana, respectivamente. Se supone que las
Di son variables aleatorias independientes e idénticamente distribuidas que
tienen una distribución de probabilidad conocida. Sea X0 el número de
cámaras que se tiene en el momento de iniciar el proceso, X1 el número de
cámaras que se tienen al final de la semana uno, X2 el número de cámaras al
final de la semana dos, etc. Suponga que X0 = 3. El sábado en la noche la
tienda hace un pedido que le entregan el lunes en el momento de abrir la
tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
política (s, S)1 para ordenar: si el número de cámaras en inventario al final de
la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta)
S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras
en el almacén, no se hace el pedido). Se supone que las ventas se pierden
cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. es un
proceso estocástico de la forma que se acaba de describir. Los estados
posibles del proceso son los enteros 0, 1, 2, 3 que representan el número
posible de cámaras en inventario al final de la semana.
Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final
de la semana t (antes de recibir el pedido), es una cadena de Markov. Se verá
ahora cómo obtener las probabilidades de transición (de un paso), es decir, los
elementos de la matriz de transición (de un paso).
Suponiendo que cada Dt tiene una distribución Poisson con parámetro.
Para obtener es necesario evaluar. Si, Entonces. Por lo tanto, significa que la
demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad
de que una variable aleatoria Poisson con parámetro tome el valor de 3 o más;
y se puede obtener de una manera parecida. Si, entonces. Para obtener, la
demanda durante la semana debe ser 1 o más. Por esto, Para encontrar,
observe que si . En consecuencia, si , entonces la demanda durante la semana
tiene que ser exactamente 1. por ende, . Los elementos restantes se obtienen
en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición (
de un paso):
Probabilidad de transición estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para
calcular estas probabilidades de transición de n pasos :
Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n
pasos, el proceso estará en algún estado k después de exactamente m (menor
que n) pasos. Así,
Es solo la probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k después de m pasos y después al estado j en n- m
pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n
pasos se pueden obtener a partir de las probabilidades de transición de un
paso de manera recursiva. Para n=2, estas expresiones se vuelven:
Note que las son los elementos de la matriz P(2) , pero también debe de
observarse que estos elementos, se obtienen multiplicando la matriz de
transición de un paso por sí misma; esto es , P(2) = P * P = P2 .
En términos más generales, se concluye que la matriz de probabilidades de
transición de n pasos se puede obtener de la expresión: P(n) = P * P …. P = Pn
= PPn−1 = Pn-1 P.
Entonces, la matriz de probabilidades de transición de n pasos se puede
obtener calculando la n-ésima potencia de la matriz de transición de un paso.
Para valores no muy grandes de n, la matriz de transición de n pasos se puede
calcular en la forma que se acaba de describir, pero cuando n es grande, tales
cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar
inexactitudes.
Ejemplo 3.
En el ejemplo del clima con matriz de transición: P = µ0.7 0.3 0.6 0.4¶ ¥
Suponemos que la probabilidad de que el miércoles haga sol es 0.2 y la
probabilidad de que esté nublado es 0.8. Calcular: 1. Probabilidad de que esté
nublado el jueves. 2. Probabilidad de que esté nublado el viernes. 3.
Probabilidad de que esté nublado el sábado.
Solución 1. Miércoles: v = (0.2, 0.8) =⇒ w = vP = (0.62, 0.38)
P [ esté nublado el jueves]=0.38
2. w = vP = (0.62, 0.38) =⇒ vP2 = vPP = wP = (0.662, 0.338)
P [ esté nublado el viernes]=0.338
3. vP2 = (0.662, 0.338) =⇒vP3 = vP2P = (0.6662, 0.3338)
P [ esté nublado el sábado]=0.3338
4.3 Estado estable.
Ejemplo1.
Una empresa está considerando utilizar Cadenas de Markov para analizar los
cambios en las preferencias de los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la siguiente estimación de la
matriz de probabilidades de cambiarse de una marca a otra cada mes:
Si en la actualidad la participación de mercado es de 45%, 25% y 30%,
respectivamente. ¿Cuáles serán las participaciones de mercado de cada marca
en dos meses más?
En primer lugar definimos la variable aleatoria que representa la marca que
adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede
adoptar los valores 1,2,3 en el mes n=0,1,2,3,..
Adicionalmente conocemos cuál es la distribución inicial y la matriz de
probabilidades de transición en una etapa tal como se observa a continuación:
Luego para conocer la distribución de las participaciones de mercado al cabo
de 2 meses (2 etapas) podemos utilizar la fórmula :
Se concluye que las cuotas de mercado (participaciones de mercado) en dos
meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un
30% a un 25.50%, para las marcas 1,2 y 3 respectivamente.
Ejercicio 2.
¿Cuál es la cuota de mercado en el largo plazo para cada una de las marcas
descritas en el Ejercicio N°1?
La Cadena de Markov del Ejercicio N°1 es irreducible (es decir todos los
estados se comunican entre sí) con estados recurrentes positivos y
aperiódicos. Lo anterior se concluye luego de la Clasificación de Estados de
una Cadena de Markov en Tiempo Discreto. Verificado lo anterior podemos
obtener la Distribución Límite de una Cadena de Markov en Tiempo Discreto a
través del siguiente sistema de ecuaciones:
La solución del sistema corresponde a: ,
y , que representan las cuotas de mercado en el largo plazo para
las marcas 1,2 y 3, respectivamente. Notar que las actuales participaciones de
mercado difieren significativamente de las cuotas obtenidas en el largo plazo lo
cual sugiere que de alguna manera deban ser corregidas las probabilidades de
transición.
Ejercicio 3.
En una Unidad de Cuidados Intensivos en un determinado hospital, cada
paciente es clasificado de acuerdo a un estado crítico, serio o estable. Estas
clasificaciones son actualizadas cada mañana por un médico internista, de
acuerdo a la evaluación experimentada por el paciente. Las probabilidades con
las cuales cada paciente se mueve de un estado a otro se resumen en la tabla
que sigue:
¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté
estable el día Sábado?
Sea la variable aleatoria que indica el estado que se encuentra un paciente
cualquiera en el hospital en el día n. Los valores posibles para dicha variable
son C, S y E, representando los estados crítico, serio y estable,
respectivamente. Un grafo que representa dicho proceso estocástico dada
tabla anterior es:
La probabilidad de que un paciente esté en estado crítico el día Jueves y que el
día Sábado esté estable, esta dado por: , es decir, la probabilidad de pasar
del estado crítico al estado estable al cabo de 2 etapas (días).
Notar que de forma equivalente se pueden utilizar las ecuaciones
matriciales :
Se comprueba que la probabilidad de pasar del estado crítico al estado estable
al cabo de 2 etapas es de un 17%.
¿Cuál es la probabilidad que un paciente que está en estado estable el lunes
experimente alguna complicación y no esté estable nuevamente el miércoles?
En este caso cambia la distribución inicial respecto al escenario anterior (ahora
el paciente está en estado estable), no obstante, también resulta de nuestro
interés analizar qué sucede al cabo de 2 etapas.
Con color verde se marca la probabilidad de que comenzando en un estado
estable al cabo de 2 días un paciente se encuentre en estado crítico o serio. La
suma de dichas probabilidades es un 66% que da respuesta a la interrogante
anterior.
¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y
equiparía para pacientes en estado crítico?
Naturalmente se desea estimar las probabilidades de estado en el largo plazo
independiente de la distribución inicial. La cadena es irreducible con estados
recurrentes positivos aperiódicos. Utilizando las ecuaciones de estado estable
presentadas en el Ejercicio N°2 se obtiene que ,
y , que representan la probabilidad de que un individuo se
encuentre en estado crítico, serio y estable, respectivamente.
4.4 casos especiales (cadenas absorbentes, cadenas cíclicas).
Ejemplo 1.
Un cliente puede comprar un auto de marca Renault, Chevrolet o Mazda. Se
supone que esta situación cubre todas las posibilidades. Su siguiente compra
eta controlada por el auto que posee actualmente. Cada vez que compra un
nuevo carro ocurre un paso. Hay m= 3 estados posibles.
Notación del estado Descripción
S1 El cliente compra un Renault
S2 El cliente compra un Chevrolet
S3 El cliente compra un Mazda
En el presente n= 0, S1,S2, o S3 representan el estado presente, es decir, la
clase de auto que posee actualmente el cliente. En n=1, en la
siguiente ocasión, S1,S2, o S3 representan todos los resultados posibles de su
siguiente compra.
Formulación de un proceso como una cadena de Markov de primer orden
Se tiene la siguiente información acerca de la compra de autos:
Compra actual (n=0) Sgte. compra (n=1)
% que compra % que compra % que compra
Renault Chevrolet Mazda
Renault 40 30 30
Chevrolet 20 50 30
Mazda 25 25 50
La tabla presenta la probabilidad de que un cliente que ahora posee un Renault
(S1) n=0, pueda comprar un Renault, Chevrolet, o Mazda en la
siguiente ocasión, n=1. Se tiene la información para todos los posibles estados.
Si indica que el proceso esté ahora en el i-ésimo estado y Sj indica que
en algún paso posterior (generalmente en la siguiente ocasión) el proceso
estará en el j-ésimo estado.
Cuando la información se escribe en forma de tabla de probabilidades, se
denomina matriz de transición y se designa como P.
Cada elemento de esta tabla representa la probabilidad de desplazarse desde
un estado hasta otro. Un elemento de una matriz de transición se designa por
pij, esta es la probabilidad condicional de que si el proceso está ahora en el
estado i, en el siguiente paso podrá estar en el estado j.
Ejercicio 2.
Si un cliente acaba de comprar un auto Renault, Si= S1 en n= 0, ¿Cuál es la
probabilidad de que él pueda comprar un Chevrolet en la siguiente ocasión, Sj=
S2 en n= 2?
La matriz de transición es:
Para el estado S1, V1= 0.4, 0.3, 0.3. Esto quiere decir que si el estado presente
es S1, la probabilidad de que el siguiente estado sea S1 es p11=0.4, S2 es
p12=0.3 y S3 es p13= 0.3, por tanto el vector da las probabilidades de los
sucesos para el siguiente paso, a partir de un estado presente. Sea Vi^n el
vector de probabilidades que describe las probabilidades de los posibles
sucesos en n pasos si el estado presente es Si. Para responder la pregunta
en consideración, se hace entonces V1^2. Esta expresión da las probabilidades
de todas las compras dos pasos a partir de ahora, ya que el cliente en el
presente posee un Renault, S1 en n=0. Esto se obtiene a partir del producto
de V1^2 y P.
Esto significa que si el estado presente es S1 en n=0, la probabilidad de estar
en el estado S1 dos pasos después (n=2) es p12= 0.295, en el estado S2 es
p12= 0.345, y en el estado S3 es p13=0.360.
Se ha demostrado entonces que:
Por lo tanto, las probabilidades de los sucesos después de n pasos a partir de
ahora pueden obtenerse utilizando el vector de probabilidad Vi y alguna
potencia de la matriz P.
Ejercicio 3.
La empresa jurídica Angie Montero, emplea 3 tipos de abogados: subalternos,
superiores y socios. Durante cierto año el 10% de los subalternos ascienden a
superiores y a un 10% se les pide que abandonen la empresa. Durante un año
cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide
la renuncia. Los abogados subalternos deben ascender a superiores antes de
llegar a socios. Los abogados que no se desempeñan adecuadamente, jamás
descienden de categoría.
a) Forme la matriz de transición T
b) Determine si T es regular, absorbente o ninguna de las 2.
c) Calcule la probabilidad de que un abogado subalterno llegue a socio
d) ¿Cuánto tiempo deberá permanecer en su categoría un abogado subalterno
recién contratado?
e) ¿Cuánto tiempo deberá permanecer en la empresa un abogado subalterno
recién contratado?
f) Calcule la probabilidad de que un abogado superior llegue a socio.
a) Se hace la matriz T y nos queda:
b) Nótese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto,
esta es la parte absorbente de la matriz. Por esta razón es una matriz
absorbente.
Ahora se procede a restar la matriz normal de la identidad y se halla la inversa
para ver los tiempos entre estados, para posteriormente esta última ser
multiplicada por la matriz absorbente y saber las probabilidades de cambios de
estado.
C) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha
probabilidad, esta es 0.14
d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en años
que debería permanecer normalmente un abogado subalterno en su compañía,
serían 5 años.
e) Cuando piden el tiempo que debería permanecer un abogado subalterno,
pero durante la empresa sería sumar el tiempo en que se queda como
subalterno con el tiempo en que permanece como superior: esto es, 5+2.77=
7.77 años.
f) Por último la probabilidad de que pase de subalterno a socio es mostrada en
la última matriz, sería 0,28.
