Proba
Cargado por
Santiago CibeiraProba
Cargado por
Santiago CibeiraProbabilidad y Estadística 93.
24 curso 2024
Probabilidad y Estadística (93.24)
Procesos Estocásticos:
Procesos de Poisson y Cadenas de
Markov
Índice
1. Repaso de algunos conceptos 2
2. Guía de ejercicios 10
3. Respuestas 19
4. Ejercicios resueltos 22
1
Probabilidad y Estadística 93.24 curso 2024
1. Repaso de algunos conceptos
Proceso estocástico
Un proceso estocástico es una familia de variables aleatorias {X(t)}t∈T , donde T es el
conjunto de índices o espacio de parámetro del proceso. El conjunto de valores tomados
por cada variable aleatoria X(t) se lo denomina espacio de estados E.
El espacio de parámetros puede ser continuo (por ej., T = (a, b) ⊂ R) o discreto (por ej.,
T = N). Por otra parte, el proceso se denomina discreto o continuo de acuerdo a si el
espacio de estados E es discreto o continuo.
Para poder describir de manera completa un proceso estocástico, es necesario dar las dis-
tribuciones de probabilidad conjuntas de las variables aleatorias {X(t1 ), X(t2 ), · · · , X(tn )}
para toda tupla {t1 , t2 , · · · , tn } ⊂ T y todo n ∈ N. En el caso de un proceso discreto, se
debe poder escribir
p(x1 , t1 , x2 , t2 , · · · , xn , tn ) = P (X(t1 ) = x1 , X(t2 ) = x2 , · · · , X(tn ) = xn ) .
En el caso de un proceso continuo, se debe dar la densidad de probabilidad conjunta, la
cual podemos escribir como
f (x1 , t1 , x2 , t2 , · · · , xn , tn ).
En general, no es sencilla la descripción completa de un proceso estocástico de esta ma-
nera. Por ello se utilizan ciertas simpli caciones que facilitan dicha descripción. Algunas
simpli caciones que vemos: procesos estacionarios; procesos con incrementos independien-
tes; procesos de Markov.
En todos los procesos estocásticos es válida la ecuación de Chapman-Kolmogorov:
p(x1 , t1 , · · · , xk−1 , tk−1 , xk+1 , tk+1 , · · · , xn , tn ) =
X
p(x1 , t1 , · · · , xk−1 , tk−1 , xk , tk , xk+1 , tk+1 , · · · , xn , tn )
xk ∈E
para procesos discretos, y
f (x1 , t1 , · · · , xk−1 , tk−1 , xk+1 , tk+1 , · · · , xn , tn ) =
+∞
Z
f (x1 , t1 , · · · , xk−1 , tk−1 , xk , tk , xk+1 , tk+1 , · · · , xn , tn ) dxk
−∞
para procesos continuos.
2
Probabilidad y Estadística 93.24 curso 2024
Proceso estacionario
Se dice que un proceso estocástico {X(t)}t es estacionario sii para todo n ∈ N, toda tupla
{t1 , t2 , · · · , tn } ⊂ T y todo ∆t {t1 + ∆t, t2 + ∆t, · · · , tn + ∆t} ⊂ T se tiene
tal que
f (x1 , t1 + ∆t, x2 , t2 + ∆t, · · · , xn , tn + ∆t) = f (x1 , t1 , x2 , t2 , · · · , xn , tn )
si el proceso es continuo, y
p(x1 , t1 + ∆t, x2 , t2 + ∆t, · · · , xn , tn + ∆t) = p(x1 , t1 , x2 , t2 , · · · , xn , tn )
si es discreto.
Básicamente: {X(t)}t es estacionario si no se lo puede distinguir del proceso {X(t + ∆t)}t .
Se dice que un proceso estocástico es estacionario en sentido amplio sii E [X(t)] y Var [X(t)]
son constantes.
Incrementos independientes
Se dice que un proceso estocástico {X(t)}t tiene incrementos independientes sii para
t1 , t2 , t3 , t4 ∈ T
[t1 , t2 ) ∩ [t3 , t4 ) = ∅ ⇒ (X(t2 ) − X(t1 )) y (X(t4 ) − X(t3 )) son v.a. independientes
Intuitivamente: los cambios del proceso estocástico en partes separadas del espacio de
índices T son independientes.
Se dice que un proceso estocástico {X(t)}t tiene incrementos estacionarios sii para todo
t1 , t2 ∈ T y para todo ∆t tal que t1 + ∆t, t2 + ∆t ∈ T, las variables aleatorias
(X(t2 ) − X(t1 )) y (X(t2 + ∆t) − X(t1 + ∆t))
tienen la misma distribución de probabilidades.
3
Probabilidad y Estadística 93.24 curso 2024
Procesos de Markov
Se dice que un proceso estocástico {X(t)}t∈T es un proceso de Markov sii para todo conjunto
de valores t1 ≤ t2 ≤ · · · ≤ tn−1 ≤ tn , ti ∈ T, y para todo x1 , x2 , · · · , xn ∈ E se cumple
f ( xn , tn | xn−1 , tn−1 , · · · , x2 , t2 , x1 , t1 ) = f ( xn , tn | xn−1 , tn−1 )
si el proceso es continuo, y
p ( xn , tn | xn−1 , tn−1 , · · · , x2 , t2 , x1 , t1 ) = p ( xn , tn | xn−1 , tn−1 )
si el proceso es discreto.
Intuitivamente: el proceso depende del estado más reciente y no de toda la historia.
En los procesos de Markov, la ecuación de Chapman-Kolmogorov tiene una forma muy
simple: si t1 ≤ t2 ≤ t3 ,
X
p( x3 , t3 | x1 , t1 ) = p( x3 , t3 | x2 , t2 )p( x2 , t2 | x1 , t1 )
x2 ∈E
para procesos discretos, y
+∞
Z
f ( x3 , t3 | x1 , t1 ) = f ( x3 , t3 | x2 , t2 )f ( x2 , t2 | x1 , t1 ) dx2
−∞
para procesos continuos.
Proceso de conteo
Considere un proceso estocástico {T (k)}k∈N0 con las siguientes características:
1. T0 = 0.
2. k ≤ m ⇒ Tk ≤ Tm .
Este tipo de proceso estocástico puede utilizarse para modelar los instantes de ocurrencia de
ciertos eventos, como ser, arribos de paquetes en una red informática, llegada de clientes en
una cola, emisión de una partícula, etc. El espacio de estadios puede ser discreto o continuo.
A cada proceso que marca los instantes de ocurrencia de eventos, se le puede asociar un
proceso de conteo {N (t)}t≥0 de nido como:
N (t) = máx {k : Tk ≤ t} .
Es decir: N (t) cuenta la cantidad de eventos hasta el instante t. Se puede observar que
N (t) tiene las siguientes características:
1. N (0) = 0.
2. N (t) ∈ N0 .
3. s ≤ t ⇒ N (s) ≤ N (t).
4. N (t) − N (s) es la cantidad de eventos en el intervalo (s, t].
4
Probabilidad y Estadística 93.24 curso 2024
Proceso de Poisson
Un proceso estocástico {N (t)}t∈R≥0 es un proceso de Poisson con tasa λ > 0 sii es un
proceso de conteo que satisface las siguientes condiciones:
1. Tiene incrementos independientes.
2. Los incrementos son estacionarios.
3. La probabilidad de que exactamente un evento ocurra en un intervalo de longitud ∆t
es λ∆t + o(∆t).
4. La probabilidad de que más de un evento ocurra en un intervalo de longitud ∆t es
o(∆t).
La condición 3 dice que λ es la tasa de generación de eventos. El proceso es el mismo se lo
mire en el intervalo en que se lo mire: esto está garantizado por la condición 2. La condición
1 impide que haya reglas para secuencias de rachas del estilo a muchos eventos en un
intervalo, siguen muchos eventos en el intervalo siguiente. Finalmente, la condición 4 nos
dice que no se dan dos eventos simultáneamente.
A partir de la de nición, se puede veri car que N (t) es un proceso de Markov. Más aún,
se puede demostrar que N (t) ∼ Poisson(λt), es decir,
(λt)k −λt
P (N (t) = k) = e k = 0, 1, 2, · · ·
k!
Sea {T (k)}k∈N0 el proceso estocástico que modela los instantes de ocurrencia de eventos
asociados al proceso de Poisson {N (t)}t∈R≥0 . También se puede demostrar que, para todo
k ∈ N0 , (T (k + 1) − T (k)) son variables aleatorias i.i.d. con distribución exponencial de
parámetro λ. Es decir, los tiempos entre eventos son variables exponenciales independientes.
5
Probabilidad y Estadística 93.24 curso 2024
Cadenas de Markov
Las cadenas de Markov son procesos de Markov en los cuales el espacio de estados es
discreto: E = {s1 , s2 , s3 , · · · }. Nosotros nos concentraremos en cadenas cuyo espacio de
parámetro o conjunto de índices es también discreto: T = N0 . Una cadena de Markov
{X(n)}n∈N0 queda completamente descripta por
1. La distribución de probabilidades del estado inicial:
pj (0) = P (X(0) = sj ) ∀sj ∈ E.
P
Es claro j pj (0) = 1.
2. Las probabilidades de transición entre cada par de estados en cada instante de tiempo:
pij (n) = P X(n + 1) = sj | X(n) = si ∀si , sj ∈ E.
Dado que la cadena de Markov debe pasar de un estado a otro en cada instante de
P
tiempo, j pij (n) = 1 para todo i.
A partir de estos datos y, utilizando la ecuación de Chapman-Kolomogorov, se puede en-
contrar la distribución de probabilidades de X(n) para todo n. En efecto, por la ecuación
de Chapman-Kolmogorov
X
pj (n + 1) = pij (n)pi (n).
i
Una forma compacta de escribir la ecuación de Chapman-Kolmogorov es introduciendo la
matriz de probabilidades de transición
p11 (n) p12 (n) · · ·
P(n) = p21 (n) p22 (n) · · ·
. . ..
. . .
. .
Las las de esta matriz suman 1. Si de nimos el vector de probabilidades de estado
p⃗(n) =
p1 (n) p2 (n) · · · (n), luego
n
Y
p⃗(n + 1) = p⃗(n)P(n) = p⃗(0) P(k),
k=0
donde hemos usado inducción en la última igualdad.
Se dice que la cadena de Markov es homogénea si pij (n) = pij (k) para todo k, n; es decir,
las probabilidades de transición no cambian con el tiempo. En este caso, P es constante y
p⃗(n + 1) = p⃗(0)Pn+1 .
6
Probabilidad y Estadística 93.24 curso 2024
Diagrama de estados de una cadena de Markov
Se trata de un grafo dirigido y con aristas etiquetadas. Cada nodo del grafo se corresponde
a un estado posible de la cadena de Markov. La etiqueta de cada arista dirigida indica la
probabilidad de transición de un estado hacia otro.
En el ejemplo de la gura siguiente, hay dos estados, a y b. Luego
P X(n + 1) = a| X(n) = a = p, P X(n + 1) = b| X(n) = a = 1 − p,
P X(n + 1) = b| X(n) = b = q, P X(n + 1) = a| X(n) = b = 1 − q.
Obsérvese que la suma de las etiquetas de todas las aristas ( echas) que salen de un nodo
debe ser 1.
1−p
p a b q
1−q
7
Probabilidad y Estadística 93.24 curso 2024
Tipos de estados (en cadenas homogéneas)
De niciones:
Accesibilidad y comunicabilidad: Decimos que el estado sj es accesible desde el estado
si sii pnij > 0 para algún n ∈ N0 . Dos estados si y sj se comunican entre sí cuando sj
es accesible desde si y si es accesible desde sj .
Cadena de Markov irreducible: Se dice que dos estados que se comunican entre sí
están en la misma clase. Si todos los estados de una cadena de Markov están en la
misma clase, se dice que la cadena es irreducible.
Estados transitorios y recurrentes: Llamemos ri a la probabilidad de que, partiendo
del estado si , el proceso de Markov va a volver al estado si . Decimos que si es:
un estado recurrente si ri = 1 (o sea, seguro que vuelve);
un estado transitorio si ri < 1.
Estados periódicos: Dado un si , podemos determinar mi , esto es, el entero más grande
tal que pnii = 0 cuando n no es divisible por mi . Si mi = 1, decimos que es un estado
aperiódico. Si mi > 1, decimos que si es un estado periódico con período mi .
Hecho: Sean si y sj dos estados en la misma clase. Entonces o los dos son transitorios o
los dos son recurrentes. Si son periódicos, ambos tienen el mismo período.
Condición su ciente para existencia de distribución estacionaria
Teorema: Considere una cadena de Markov nita. Si existe un n≥1 tal que todos los
elementos Pn son positivos, se dice que P es regular. En ese caso, la cadena es irreducible
con los todos sus estados recurrentes y aperiódica. Por tanto, existe
⃗π = lı́m p⃗(n),
n→∞
y ese límite es independiente de la distribución de probabilidades del estado original p⃗(0).
Dado que
⃗π = lı́m p⃗(n) = lı́m p⃗(n + 1) = lı́m p⃗(n)P = ⃗π P.
n→∞ n→∞ n→∞
Es decir, ⃗π puede encontrarse como el autovector a izquierda de la matriz P correspondiente
al autovalor 1.
8
Probabilidad y Estadística 93.24 curso 2024
Tiempo hasta absorción
Consideremos una cadena de Markov nita con E = {s1 , s2 , s3 , · · · , sm }. Supongamos que
los estados s1 , s2 , · · · , sk , k < m, son absorbentes. Luego, la matriz de transición se puede
escribir como:
Ik×k 0
P= ,
F Q
donde I es la matriz identidad de k × k , 0 ∈ Rk×(m−k) es una matriz de 0s, F ∈ R(m−k)×k ,
y Q ∈ R(m−k)×(m−k) .
Teorema: Considere la matriz
−1
M = I(m−k)×(m−k) − Q .
El elemento M(i, j) es el valor esperado del tiempo pasado en sk+j , dado que se comenzó
en sk+i , antes de alcanzar un estado absorbente. La probabilidad de alcanzar cada estado
absorbente, viene dada por
G = MF.
Es decir, G(i, j) es la probabilidad de ser absorbido por el estado j habiendo partido del
estado sk+i .
9
Probabilidad y Estadística 93.24 curso 2024
2. Guía de ejercicios
1. La caminata aleatoria (o random walk) simétrica Supongamos el siguiente juego: se
lanza una moneda en forma reiterada y el jugador gana 1 peso si sale cara y pierde 1 peso
si sale ceca.
a ) Se de ne el proceso estocástico Xn : n ∈ N donde Xn es el dinero que tiene el jugador
al cabo de n jugadas (se supone X0 = 0). De nir el recorrido de Xn y el espacio de
estados del proceso (válido para todo valor de n).
b ) Obtener la distribución de probabilidades de Xn .
c ) Expresar la variable Xn como una suma de variables aleatorias independientes e idén-
ticamente distribuidas y calcular E[Xn ] y Var(Xn ).
Nota: Se llama caminata aleatoria porque, en vez de un juego, se puede pensar en la caminata
de un individuo que se mueve un paso a la izquierda o a la derecha de acuerdo al resultado
de lanzar una moneda.
Resolución aquí.
El siguiente código de Octave simula el proceso (se muestran M realizaciones del proceso y
N instantes posteriores al inicial):
N = 100; M = 10;
for i=1:M
Z(1,i) = 0;
for k=1:N
r = rand;s = -(r<1/2)+(r>=1/2);
Z(k+1,i) = Z(k,i)+s;
end
end
plot(Z,'o-')
2. La caminata aleatoria (ó random walk) general Extienda el ejercicio anterior, pero
esta vez asumiendo que la moneda puede estar cargada, es decir, la probabilidad de que salga
cara es p ∈ (0, 1).
a ) Obtener la distribución de probabilidades de Xn .
b ) Calcular E[Xn ] y Var(Xn ).
3. Suponga un proceso estocástico en tiempo discreto con espacio de estados discreto de nido
de la siguiente manera:
Xn+1 = Xn + Zn
para n tomando los valores 0, 1, 2, . . . , (el tiempo discreto) y con X0 = 0. Las variables aleato-
riasZn se suponen independientes, e igualmente distribuidas con recorrido {−2 , −1 , 0 , 1 , 2}
con función de probabilidad pZ (z) =
probZ = z tal que pZ (−2) = pZ (2) = 0.1, pZ (−1) = pZ (1) = 0.25 y pZ (0) = 0.3.
a ) Obtener la distribución de probabilidades de Xn para n tomando los valores 1, 2 y 3.
b ) Calcular E[Xn ] y Var [Xn ].
El siguiente código de Octave simula el proceso (se muestran M realizaciones del proceso y
N instantes posteriores al inicial):
10
Probabilidad y Estadística 93.24 curso 2024
M=40; N=100;
X(1,1:M)=zeros(1,M);
S=[-2 -1 0 1 2];
P=[0.1 0.25 0.3 0.25.1];
Z=discrete_rnd (S,P,N,M);
for k=1:N
X(k+1,:)=X(k,:)+Z(k,:);
end
plot(X,'o-')
Resolución aquí. Video con el ejercicio explicado.
4. La caminata aleatoria (o random walk) Gaussiana Otra extensión de los ejercicios
anteriores es cuando la cantidad perdida o ganada en cada jugada es una variable aleatoria
continua. En particular, supongamos que la cantidad ganada en la jugada k -ésima es una
variable aleatoriaGk ∼ N (0, 1). Más aún, asuma que las Gk son variables i.i.d. Se de ne
el proceso estocástico Xn : n ∈ N donde Xn es el dinero que tiene el jugador al cabo de n
jugadas (se supone X0 = 0).
a ) De nir el recorrido de Xn y el espacio de estados del proceso (válido para todo valor
de n).
b ) Obtener la distribución de probabilidades de Xn .
c ) Calcular E[Xn ] y Var(Xn ).
Nota: En términos de una caminata, la longitud de los pasos dados varía en cada instante.
Una forma intuitiva de pensarlo es como una partícula liviana suspendida en un líquido.
Debido al movimiento de las moléculas del líquido, la partícula sufre continuos golpes o cho-
ques que cambian su trayectoria. Si discretizamos el tiempo (lo dividimos en una secuencia
de instantes equiespaciados), podemos pensar que los golpes llevan a la partícula a pegar
saltos de longitud variable. El resultado es algo parecido a lo que se conoce como movimiento
Browniano, un proceso estocástico que tiene aplicaciones muy importantes en varios campos
de la ciencia y de las nanzas.
El siguiente código de Octave simula el proceso (se muestran M realizaciones del proceso y
N instantes posteriores al inicial):
X(1,1:40)=zeros(1,40);
for k=1:100
X(k+1,:)=X(k,:)+randn(1,40);
end
plot(X,'-o')
5. Se sabe que durante ciertas horas del día las llamadas telefónicas a una central están dis-
tribuidas al azar según un proceso de Poisson con un promedio de 4 llamadas por minuto.
Calcular la probabilidad de que:
a ) transcurran dos minutos sin llamadas,
b ) en un minuto haya por lo menos dos llamadas,
11
Probabilidad y Estadística 93.24 curso 2024
c ) en tres minutos se produzcan exactamente 10 llamadas.
d ) en los próximos tres intervalos consecutivos de 3 minutos se produzcan 10 llamadas en
cada uno.
e ) el tiempo entre dos llamadas consecutivas supere 30 segundos.
f ) el tiempo que transcurre hasta que ocurran 3 llamadas sea inferior a 1 minuto. Tenga
en cuenta que para que el tiempo hasta que ocurran m eventos de un proceso de Poisson de
parámetro λ sea inferior a t es equivalente a que el número de eventos en un intervalo de
longitud t sea mayor o igual a m.
6. El número de partículas emitidas por una sustancia radiactiva en el tiempo obedece a un
proceso de Poisson. Supongamos que la emisión ocurre a razón de 75 partículas por minuto.
a ) Determinar la probabilidad de que durante 20 segundos sean emitidas exactamente 20
partículas.
b ) Representar grá camente la función de probabilidad de la variable aleatoria X : número
de partículas emitidas en 20 segundos.
c ) Si en dos minutos se registraron 100 partículas, ¾cuál es la probabilidad de que en los
próximos 45 segundos se registren 50 partículas más?
7. Se ha encontrado que el número de fallas de los subsistemas de un sistema dado puede
considerarse un proceso de Poisson con un promedio de una falla de un subsistema cada 100
horas.
a ) Se inicia cierto proceso que requerirá que el sistema opere durante 200 horas. Calcular
la probabilidad de que el proceso pueda ser completado con éxito si se supone que el
sistema está operante si como máximo fallan 4 subsistemas.
b ) Suponga que en una situación especial se requiere operar uno de estos subsistemas.
En cuanto falla se cambia por otro y asi cada vez que falla el que esta funcionando
se reemplaza por otro. Se supone despreciable el tiempo que demora sacar el fallado y
cambiarlo por el relevo. Se tienen 10 de estos subsistemas. ¾Cuál es la probabilidad de
que ese stock pueda servir para cubrir un tiempo de servicio total de al menos 1500
hs.?
8. Suponga que en cierto banco se atiende, en promedio durante una parte del día, a cuatro
clientes cada seis minutos según un proceso de Poisson. Calcular la probabilidad de que:
a ) puedan atenderse a seis o más clientes en seis minutos;
b ) se empleen más de tres minutos en atender a un cliente;
c ) el tiempo de atención a un cliente esté comprendido entre dos y cuatro minutos;
d ) el tiempo que insuma atender 10 clientes sea menor a 10 minutos.
Resolución aquí.
9. El tiempo entre arribos de clientes, durante la mañana de un día normal, a una estación de
servicio se puede considerar una variable aleatoria con distribución exponencial de media 5
minutos.
a ) Describir la distribución de probabilidades del número de clientes que llegan en una
hora.
b ) Calcular la probabilidad de que en 30 minutos lleguen mas de 5 clientes.
12
Probabilidad y Estadística 93.24 curso 2024
c ) Calcular la probabilidad de que el intervalo de tiempo entre las llegadas de los clientes
décimo y undécimo exceda 10 minutos.
d ) Calcular el valor esperado y la varianza del tiempo transcurrido hasta que llega el dé-
cimo cliente desde que comenzó el servicio.
(Nota: Si se supone que el tiempo transcurrido es una suma de variables aleatorias inde-
pendientes entonces se cumple que la varianza de esa suma es la suma de las varianzas
de los sumandos).
e ) Calcular la probabilidad de que el número de clientes atendidos en 6 horas exceda 90.
10. Los impulsos de ruido en una línea telefónica siguen un proceso de Poisson de parámetro λ
(en impulsos por segundo).
a ) Determinar la probabilidad de que no haya ruido durante t segundos.
b ) Supongamos que los mensajes se codi can de manera que los errores provocados por un
solo impulso de ruido se pueden corregir. Determinar la probabilidad de que un mensaje
que dura t segundos sea recibido sin errores.
c ) Se consideran 100 intervalos consecutivos de longitud 1 segundo. ¾cuál es la probabilidad
de que en mas de la mitad de ellos haya habido mas de un impulso ? Suponga que λ=2
impulsos por segundo.
11. Un negocio tiene dos líneas telefónicas. Suponga que en un instante n puede haber 0, 1 ó
2 líneas ocupadas. Se observan las líneas ocupadas a intervalos regulares de 5 minutos. Sea
Xn el número de líneas ocupadas en el instante n. Suponga que el proceso se puede describir
como una cadena de Markov con probabilidades de transición estacionarias. Los estados
posibles del proceso son 0, 1 y 2 y la matriz de transición de la cadena es:
0.5 0.3 0.2
P= 0.2 0.8 0.0 .
0.3 0.3 0.4
a ) Realice el diagrama de transición de estados del proceso.
b ) ¾Cuál es la probabilidad de que en el instante n = 1 haya dos líneas ocupadas si al
inicio del proceso había una línea ocupada?
c ) Cuál es la probabilidad de que en el instante n=4 haya una línea ocupada si en el
instante n=3 había dos líneas ocupadas?
d ) ¾Cuál es la probabilidad de que en el instante n=4 haya dos líneas ocupadas si en el
instante n=2 había dos líneas ocupadas?
e ) Si π(n) es la distribución de probabilidades de estados en el instante n, obtener π(1), π(2)
y π(3) si π(0) = (0.3 0.3 0.4)
f ) Encuentre, si existe, un vector de probabilidades estacionario (la distribución de pro-
babilidades de estados a largo plazo ).
Nota: Si 1 es autovalor simple de la matriz de transición P entonces la distribución de proba-
bilidades de estados a largo plazo es el autovector de la traspuesta de P cuyas componentes
tienen sus componentes positivas y de suma 1. Para este ejemplo puede probar el siguiente
código de Octave :
P = [0.5 0.3 0.2;0.2 0.8 0;0.3 0.3 0.4];
[a b] = eig(P');
a
b
pestac=a(:,1)/sum(a(:,1))
13
Probabilidad y Estadística 93.24 curso 2024
La matriz b que devuelve el procedimiento eig es diagonal y los elementos diagonales son los
autovalores de P. En la primera columna de a se encuentran las componentes de un autovector
de la traspuesta de P correspondiente al autovalor 1 de P . Dividiendo esas componentes por
su suma se obtiene la distribución de probabilidades de estados a largo plazo para esta cadena
de Markov.
12. Una empresa produce cierto artículo en cada período de ventas. Si logra un éxito de ventas
en un período entonces la probabilidad de tener éxito en el próximo período es 0.5. Si en
el período de ventas no tiene éxito entonces la probabilidad de tener éxito en el próximo
período es 0.25. Supongamos que se considere que en el presente período se ha obtenido
éxito.
a ) Describir el problema usando una cadena de Markov. Obtener la matriz P de transición
y hacer un diagrama de transición de estados de la cadena.
b ) Obtener la probabilidad de éxito luego de tres períodos de ventas.
c ) Determinar con que frecuencia se tiene éxito de ventas a tiempo grande.
13. Tres supermercados S 1 , S2 y S3 compiten por los clientes. Una investigación determina que
al comenzar el mes de agosto los tres supermercados tienen igual cantidad de clientes. Al
nalizar el mes se observa que:
a) S1 conserva el 80 % de sus clientes y gana el 10 % y el 2 % de los clientes de S2 y S3
respectivamente.
b) S2 conserva el 70 % de sus clientes y gana el 14 % y el 8 % de los clientes de S1 y S3
respectivamente.
c) S3 conserva el 90 % de sus clientes y gana el 6 % y el 20 % de los clientes de S1 y S2
respectivamente.
Sea P es la matriz cuadrada de elementos pij , donde pij es la probabilidad de que un cliente
del supermercado Si se pase al supermercado Sj al cabo de un mes.
a ) Construya la matriz de transición P, con los datos del problema.
(n)
b ) Si P es la matriz cuyo elemento de la posición i, j indica la proporción de clientes que
se pasaron del supermercado Si al Sj al cabo de n meses (bajo el supuesto de que estas
proporciones permanecen invariables mes a mes), determine qué porcentaje de clientes
se pasaron de S2 al S3 al cabo de 2 meses.
c ) Sea A = (1/3 1/3 1/3) el vector la cuyos elementos indican la proporción de clientes
que tenía inicialmente cada supermercado. El producto AP(n) indica la proporción de
clientes de cada supermercado al cabo de n meses. Calcule qué proporción de clientes
tiene cada supermercado al cabo de un año, dos años, tres años y cuatro años.
d ) ¾Qué puede concluir acerca de la proporción de clientes de cada supermercado a largo
plazo?
e ) Veri que que la respuesta del punto d) también puede obtenerse resolviendo el sistema
de ecuaciones xP = 1.x , donde x = (x1 x2 x3 ) y x1 + x2 + x3 = 1, es decir, x es un
autovector la a izquierda de la matriz P correspondiente al autovalor 1.
Resolución aquí.
14. Tres compañías, 1, 2 y 3, introducen al mercado simultáneamente marcas nuevas de pasta
dental. Al principio, las proporciones iniciales del mercado en cada marca son de 40, 20 y
40 % respectivamente. Durante el primer año, la compañía 1 mantuvo el 85 % de su clientela,
obtuvo el 15 % de la clientela de la compañía 2, y el 5 % de la compañía 3; la compañía
14
Probabilidad y Estadística 93.24 curso 2024
2 obtuvo el 5 % de la clientela de la compañía 1, retuvo el 75 % de su propia clientela, y
obtuvo el 5 % de la de la compañía 3; y la compañía 3 obtuvo el 10 % de la clientela de la
compañía 1, el 10 % de la compañía 2 y retuvo el 90 % de su propia clientela. Suponiendo
que el mercado total que se comparte en estas tres compañías no varía y que cada año se
intercambian entre ellas las mismas fracciones:
a ) Encuentre la matriz de transición P.
b ) Determine las proporciones del mercado en cada compañía después de: i) un año, ii) 2
años.
c ) Determine las proporciones del mercado en cada compañía a largo plazo.
15. El vendedor viajero La región de ventas de un vendedor la componen tres ciudades A, B y
C. Nunca vende en la misma ciudad en días seguidos. Si vende en la ciudad A, entonces al
día siguiente vende en la ciudad B. Sin embargo, si vende en una de las dos ciudades B ó
C, entonces al día siguiente la probabilidad de vender en A es el doble de la de vender en la
restante ciudad.
a ) Describir el problema usando una cadena de Markov. Obtener la matriz P de transición
y hacer un diagrama de transición de estados de la cadena.
b ) Veri car que existe una distribución de probabilidades de estados a tiempo grande.
c ) Determinar con que frecuencia vende en cada ciudad a tiempo grande.
16. El estado sj de una cadena de Markov {Xn } se denomina alcanzable desde el estado i si es
posible que se produzca una transición desde el estado i al estado sj en un número nito de
pasos. Para que esto ocurra se debe cumplir que el elemento i, j de la matriz de transición
de n pasos P(n) sea positivo para algún n > 0. Si todo estado es alcanzable desde cualquier
otro estado entonces se dice que la cadena es regular. ¾Es regular la cadena cuya matriz de
transición se muestra a continuación?
0 1 0
P= 0.3 0 0.7 .
1 0 0
17. Considere una cadena de Markov con espacio de estados E = {a, b, c} y matriz de transición
de probabilidades dada por
0.3 0.4 0.3
P= 1 0 0 .
0 0.3 0.7
a ) Calcular P X2 = a| X1 = b, X0 = c .
b) Calcular P X35 = a| X33 = a .
c) Estimar P X200 = a| X0 = b .
(Probar primero que se alcanza un estado estacionario).
Resolución aquí. Video con el ejercicio explicado: aquí y allá.
18. Una urna contiene 5 bolillas negras y 5 bolillas blancas. Consideremos el siguiente expe-
rimento,que se repite inde nidamente: se escoge aleatoriamente una bola de la urna; si es
blanca, se vuelve a poner en la urna; si es negra, se deja fuera. Sea Xn el número de bolas
negras en la urna después de n extracciones.
15
Probabilidad y Estadística 93.24 curso 2024
a ) Describir el experimento como una cadena de Markov.
b ) Determinar la matriz P de probabilidades de transición de estado.
(2)
c ) Calcular P54 (la probabilidad de que el proceso pase del valor 5 al valor 4 en dos etapas)
2
de dos formas: directamente y calculando la matriz P .
d ) Obtener la distribución de probabilidades de estados a largo plazo.
19. Jorge tiene 3 pesos. En cada jugada puede perder 1 peso con probabilidad 3/4 pero puede
ganar dos pesos con probabilidad 1/4. Deja de jugar si pierde sus tres pesos o si gana por lo
menos 3 pesos.
a ) Obtener la matriz de transición de la cadena de Markov.
Pista: Considere 8 estados donde cada uno corresponde a que el jugador tenga 0, 1,...,
7 pesos. La matriz de transición tendrá muchos ceros.
b ) ¾Cuál es la probabilidad de que haya por lo menos 4 jugadas en el juego?
20. Considere una cadena de Markov con espacio de estados E = {1, 2, 3} y matriz de transición
de probabilidades dada por
0 1 0
2 1
P= 0 3 3
.
1 1
2 2 0
a ) Usando solo el álgebra del cálculo de probabilidades y todas las posibles transiciones
generar tablas para la probabilidad de la transición i→j en n pasos para los siguientes
pares (i, j): (2, 1), (3, 3), (1, 1), y (2, 2) y para n tomando los valores 1 a 5.
b ) Probar que la cadena es regular y obtener la distribución de probabilidades de estados
a largo plazo.
21. La matriz de probabilidades de transición de un paso de una cadena de Markov es:
1 1 1
2 3 6
3 1
P= 4 0 4
.
0 1 0
a ) Demostrar que la cadena es regular.
b ) Si el proceso comienza en el estado 1 determinar la probabilidad de alcanzar el estado
3 en dos pasos.
c ) Obtener la distribución de probabilidades a largo plazo.
22. Considere una cadena de Markov con espacio de estados E = {0, 1, 2, 3, 4, 5, 6, } y matriz
de transición de probabilidades dada por
1 3 1
5 5 0 0 5 0 0
0 0 1 0 0 0 0
1 2
0 3 0 3 0 0 0
P=
0 1 0 0 0 0 0 .
0 0 0 0 0 1 0
0 0 0 0 0 0 1
0 0 0 0 1 0 0
a ) Represente el diagrama de transición de estados de la cadena.
16
Probabilidad y Estadística 93.24 curso 2024
b ) Por inspección del diagrama veri que que:
1) el conjunto de estados tiene tres subconjuntos disjuntos (se denominan clases ) que
corresponden a estados comunicados entre ellos.
2) Hay dos clases que son cerradas y recurrentes, una vez que uno de los estados de
la clase cerrada es alcanzado entonces todos los estados subsiguientes de la cadena
corresponden a esa clase.
3) La clase restante es transiente, el proceso puede terminar saliendo de ella.
4) Una de las clases cerradas es periódica de periodo 3, la otra no es periódica.
c ) Usando solo el álgebra del cálculo de probabilidades y la suma de alguna serie numérica
demuestre que si el proceso comienza en:
1) el estado 0 entonces la probabilidad de alcanzar el estado 6 es 14 .
2) el estado 1 entonces la probabilidad de alcanzar el estado 3 es 1.
3) el estado 1 entonces el numero promedio de pasos hasta llegar al estado 3 es 3.
4) el estado 1 entonces a largo plazo la probabilidad de que el proceso se encuentre
3
en el estado 2 es .
8
Son datos
∞
X 1
qk = |q| < 1
1−q
k=0
∞
X q
k qk = |q| < 1
(1 − q)2
k=1
Resolución aquí. Video con el ejercicio explicado.
23. Un a cionado utiliza un método bastante simple para pronosticar el tiempo atmosférico.
Clasi ca cada día como seco o húmedo, y supone que la probabilidad de que cualquier día
dado sea igual al precedente está dada por una constante p, (0 < p < 1). De acuerdo con
registros anteriores, se sabe que la probabilidad de que el primero de enero sea seco es
β (0 < β < 1).
a ) Si βn = P (el n-ésimo día del año sea seco), obtener una expresión para βn en función
de p y n, para n = 1, 2, 3.
b ) Si el tercer día del año fue seco, ¾cuál es la probabilidad de que el primero de enero
también haya sido seco?
c ) Analizar la situación como una cadena de Markov y obtener la distribución de proba-
bilidades estacionaria.
24. Suponga este proceso de dos estados: M, muerto y V, vivo. Estos son los estados de una
persona cuando comienza un año. Sea entonces el proceso estocástico donde Xn es el estado al
comienzo del año n y que en n = 0 el estado es V . Se considera que el proceso es de Markov
y
que las probabilidades de transición de un paso no nulas son: P Xn = V | Xn−1 = V = 1−p,
P Xn = M | Xn−1 = V = p y que P Xn = M | Xn−1 = M = 1 dado que el estado M es
claramente absorbente.
a ) Obtener Pn con P la matriz de probabilidades de transición de un paso. Interpretar
su valor límite. Para obtener Pn se sugiere calcular unas primeras potencias, luego
conjeturar la forma y demostrar usando inducción completa.
Tn
b ) Obtener una expresión para pn = P Xn+1 = M ∩ k=1 Xk = V | X0 = V .
p1 = P X2 = M ∩ X1 = V | X0 = V = P X2 = M | X1 = V P X1 = V | X0 =
Sugerencia:
V = (1 − p) p. Esta es la probabilidad de la persona se muera antes de cumplir 2 años.
17
Probabilidad y Estadística 93.24 curso 2024
c ) SeaN la variable aleatoria que cuenta los años de vida de una persona. Probar que
P (N = 0) = p, y que para k ∈ N se tiene P (N = k) = p (1 − p)k . Calcular el valor
esperado de N .
25. Cada materia que cursa un alumno en una universidad tiene tres oportunidades para dar el
examen nal. Suponga que la probabilidad de aprobar el examen nal es siempre p. Sea Xn la
variable aleatoria que da el número de oportunidades que tiene el alumno en el período n. El
recorrido de Xn es el conjunto {0, 1, 2, 3} siendo el valor cero el estado que se alcanza cuando
se aprueba el examen nal (claramente un estado absorbente). El estado 3 corresponde al que
se tiene una vez aprobada la cursada. Cuando no se aprueba en la última de las instancias
se produce una transición del estado 1 al 3 (la materia se recursa).
a ) Modelar la evolución de este proceso como una cadena de Markov obteniendo la matriz
de probabilidades de transición de un paso.
b ) Suponga que el estado inicial es el 3. En este caso la distribución de probabilidades es
(0 , 0 , 0 , 1). Obtener la distribución de probabilidades para los primeros tres períodos y
conjeturar sobre su forma para todo n. Analizar su valor límite.
Resolución aquí. Video con el ejercicio explicado.
18
Probabilidad y Estadística 93.24 curso 2024
3. Respuestas
1. a) El recorrido de Xn es el conjunto {−n, −n + 2, . . . , n − 2, n}. El espacio de estados
es E = Z.
n
b) La distribución de probabilidades de Xn viene dada por P (Xn = k) = (n+k)/2 ( 21 )n . Por
ejemplo si n=3 se tiene:
k P (X3 = k)
-3 0.125
-1 0.375
1 0.375
3 0.125
c) La variable aleatoria Xn es una suma de variables aleatorias independientes con idéntica distri-
bución, esto es:
n
X
Xn = Zk
k=1
si X0 = 0 y donde Zk es la variable aleatoria que toma los valores −1 y 1 ambos con probabilidad
1
2 , con valor esperado 0 y varianza 1. De esta manera el valor esperado de Xn es cero ∀ n , mientras
que la varianza es n.
2. n
(n+k)/2
a) En el caso general se tiene P (Xn = k) = (n+k)/2 p (1 − p)(n−k)/2 , para k ∈
{−n, −n + 2, . . . , n − 2, n}. b) E [Xn ] = n (2 p − 1) y Var [Xn ] = 4 n p (1 − p).
3. a) El par ( valor, probabilidad) para X0 es (0, 1), para X1 se tienen los pares (-2 , 0.1), ( -1,
0.25), ( 0, 0.3), (1, 0.25), y (2, 0.1). La distribución de probabilidades de X2 viene dada por los
pares (-4, 0.01), (-3, 0.05), (-2, 0.1225), (-1, 0.2), (0, 0.235), (1, 0.2), (2, 0.1225), (3, 0.05), y (4,
0.01). b) E [Xn ] = 0 y Var [Xn ] = 1.3 n.
4. a) Para n>0 el espacio de estados E es el conjunto de números reales que es el recorrido de
la variable aleatoria normal. b) La distribución de probabilidades de Xn es la de una suma de
n variables aleatorias normales estándar independientes y por consiguiente es normal con media 0
y varianza n.
5. a) 0.000335 b) 0.9084 c) 0.10484 d) 0.00115 e) 0.13534 f ) 0.7619.
6. a) 0.0519. c) 0.03926.
7. a) 0.9474. b) 0.0699 .
8. a) 0.2149 b) 0.1353 c) 0.1941 d) 0.1374.
9. a) Tiene distribución de Poisson con parámetro λ = 12 b) 0.5543 c) 0.1353 d) El valor
2
esperado es 50 min y la varianza 250 min e) 0.0172.
10. a) exp(−λ t) b) exp(−λ t) (1 + λ t) c) Usando la distribución binomial la probabilidad
pedida es 0.9642.
11. b) 0 c) 0.3. d) 0.22 e) π(1) = (0.33 0.45 0.22) f ) (0.3 0.6 0.1)
12. b)
11
32
c)
2 n 1
− 32 0.25n + 23
P =n 3 0.25 + 3
− 3 0.25 + 13
1 n 1 n
3 0.25 + 3
2
19
Probabilidad y Estadística 93.24 curso 2024
La matriz de transición de n pasos tiende a una matriz cuyas dos las son iguales al vector la de
1
la distribución estacionaria de probabilidades. La probabilidad de éxito a largo plazo es
3.
13. b) 0.326 . c) (0.191 0.243 0.567) ; (0.179 0.239 0.582);
(0.17774 0.23860 0.5837); (0.17767 0.23858 0.58375)
d) para 100 meses (0.1776 0.2386 0.5838)
e) (0.1776 0.2386 0.5838) con 4 decimales.
14. b1) (0.39 0.19 0.42) b2) 0.381 0.183 0.436)
1 1 1
c) luego de transcurrido mucho tiempo (
3 6 2 ).
15. c) El 40 % del tiempo en la ciudad A, 45 % del tiempo en B y el 15 % del tiempo en C.
16. Si.
17. a) 1 b) 0.49 c)
10
27 .
18. b)
1 0 0 0 0 0
1 5
6 6 0 0 0 0
2 5
0 0 0 0
P= 7 7 .
0 3 5
0 8 8 0 0
0 4 5
0 0 9 9 0
1 1
0 0 0 0 2 2
19
c)
36 . d) (1 0 0 0 0 0 ).
19. a)
1 0 0 0 0 0 0 0
3 1
4 0 0 4 0 0 0 0
3 1
0 4 0 0 4 0 0 0
3 1
0 0 4 0 0 4 0 0
P= 3 1
.
0 0 0 4 0 0 4 0
3 1
0 0 0 0 4 0 0 4
0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 1
27
b)
64 .
20. a)
(n) (n) (n) (n)
n p21 p33 p11 p22
2
1 0 0 0 3
1 1 33
2
6 6 0 54
1 15 1 37
3
9 54 6 54
11 23 1 217
4
108 108 9 324
37 35 11 161
5
324 162 108 243
b) Todos los estados resultan conectados en 3 o más pasos por lo tanto la cadena es regular.
1 6 2
La distribución de probabilidades para tiempo grande es el vector (
9 9 9 ).
20
Probabilidad y Estadística 93.24 curso 2024
21. a) Todos los estados resultan conectados en 3 o más pasos por lo tanto la cadena es regular.
1 1 1 1
b) c) La distribución de probabilidades para tiempo grande es el vector (
6 2 3 6 ).
23. a) βn = (2 p − 1)n β − 1
2 ((2 p − 1)n − 1) n : 0, 1, 2 . . . b)
β
1−(1−β)(1−2 p)2 .
24. a)
1 0
P= .
1 − (1 − p)n (1 − p)n
1−p
b) p0 = p , pn = p (1 − p)n n ∈ {1, 2, . . .} c) E [N ] = p .
25. a) (0, 0, 0, 1) → (p, 0, (1−p), 0) → (1−(1−p)2 , 0, (1−p)2 , 0) → . . . , (1−(1−p)n , 0, (1−p)n , 0) . . ..
La distribución de probabilidades de largo plazo ( n → ∞) es (1, 0, 0, 0).
21
Probabilidad y Estadística 93.24 curso 2024
4. Ejercicios resueltos
Ejercicio 1
La caminata aleatoria (random walk) simétrica Supongamos el siguiente juego: se
lanza una moneda en forma reiterada y el jugador gana 1 peso si sale cara y pierde 1 peso
si sale ceca.
1. Se de ne el proceso estocástico {Xn : n ∈ N0 } donde Xn es el dinero que tiene el
jugador al cabo de n jugadas (se supone X0 = 0). De nir el recorrido de Xn y el
espacio de estados del proceso (válido para todo valor de n).
2. Obtener la distribución de probabilidades de Xn .
3. Expresar la variable Xn como una suma de variables aleatorias independientes e
idénticamente distribuidas y calcular E [Xn ] y Var [Xn ].
Nota: Se llama caminata aleatoria porque, en vez de un juego, se puede pensar en la
caminata de un individuo que se mueve un paso a la izquierda o a la derecha de acuerdo
al resultado de lanzar una moneda.
El siguiente código de Octave simula el proceso (se muestran M realizaciones del proceso y
N instantes posteriores al inicial):
01 N = 100; M = 10;
02 for i=1:M
03 X(1,i) = 0;
04 for k=1:N
05 Rk = rand;
06 Yk = -(Rk<1/2)+(Rk>=1/2);
07 X(k+1,i) = X(k,i)+Yk;
08 end
09 end
10 plot(X,'o-')
Resolución
El proceso tiene las siguientes características:
Se trata de un proceso de Markov. En efecto, el dinero del jugador luego de n jugadas no
depende de toda la historia de apuestas, sino solamente del dinero que tiene luego de la
jugada n−1 y el que gane o pierda en la jugada n:
P Xn = xn | Xn−1 = xn−1 , Xn−2 = xn−2 , · · · , X1 = x1 = P Xn = xn | Xn−1 = xn−1 , (1)
donde asumido que los lanzamientos de monedas son experimentos independientes. Más aún,
(
1
2 si xn = xn−1 ± 1,
P Xn = xn | Xn−1 = xn−1 = (2)
0 para todo otro caso.
De namos el proceso estocástico {Yn }n∈N como
Yn = Xn − Xn−1 n ∈ N. (3)
22
Probabilidad y Estadística 93.24 curso 2024
Es decir, Yn es la cantidad ganada en la jugada n-ésima. Por lo tanto, Yn ∈ {−1, +1}. Es
fácil ver que
n
X
Xn = Yk . (4)
k=1
Dado que los lanzamientos de monedas son independientes e idénticos, las Yn son variables
aleatorias i.i.d. con
1
P (Yn = ±1) = , (5)
2
1 1
E [Yn ] = (−1) + (+1) = 0, (6)
2 2
2 1 1
= E Yn2 − (E [Yn ]) = E Yn2 = (−1)2 + (+1)2 = 1.
Var [Yn ] (7)
2 2
Luego,
" n
# n
X X
E [Xn ] = E Yk = E [Yk ] = 0, (8)
k=1 k=1
" n
# n n
X X X
Var [Xn ] = Var Yk = Var [Yk ] = Var [Y1 ] = n, (9)
k=1 k=1 k=1
donde en la última ecuación hemos usado el hecho que la varianza de una suma de variables
aleatorias independientes es igual a la suma de las varianzas de cada variable aleatoria.
El proceso Xn tiene incrementos independientes. En efecto, sean i ≤ j < m ≤ n ∈ N. Luego
j
X n
X
Xj − Xi = Yk , Xn − Xm = Yl . (10)
k=i+1 l=m+1
Dado que los lanzamientos de las monedas son independientes, {Ym+1 , Ym+2 , · · · , Yn } son
independientes entre sí y de {Yi+1 , Yi+2 , · · · , Yj }. Por lo tanto, (Xn − Xm ) es independiente
de (Xj − Xi ).
El proceso Xn tiene incrementos estacionarios. Sean i < j, m ∈ N. Luego
j
X j+m
X j
X
Xj − Xi = Yk , Xj+m − Xi+m = Yl = Yl+m . (11)
k=i+1 l=i+m+1 h=i+1
j
P j
P
Dado que las variables Yk son i.i.d., Yk tiene la misma distribución que Yl+m .
k=i+1 h=i+1
Llamemos {Gn }n∈N al proceso estocástico
(
1 si el jugador gana en la n-ésima jugada,
Gn = (12)
0 si el jugador pierde en la n-ésima jugada.
Dado que los lanzamientos de monedas son independientes e idénticos, las Gn son variables
aleatorias i.i.d. con Gn ∼ Bernoulli(1/2). Es fácil ver que
Yn = 2 Gn − 1. (13)
23
Probabilidad y Estadística 93.24 curso 2024
Por lo tanto,
n
X
Xn = 2 Gk − n. (14)
k=1
De namos
n
X
Hn = Gk . (15)
k=1
Sabemos que la suma de variables aleatorias i.i.d. Bernoulli es una variable aleatoria binomial,
es decir, Hn ∼ Binomial(n, 1/2). Por tanto,
n+x
P (Xn = x) = P (2Hn − n = x) = P Hn =
2
!
n
1 n
n+x
n+x 2 si
2 = 0, 1, · · · , n
= 2
(16)
0 en todo otro caso
!
n
1 n
si x = −n, −n + 2, · · · , n − 2, n
n+x 2
= 2
0 en todo otro caso.
Es decir que el recorrido de Xn es {−n, −n + 2, · · · , n − 2, n}.
A pesar que ya hemos demostrado que tiene incrementos independientes y estacionarios, el
proceso Xn no es estacionario. En efecto,
1
P (X2 = 1) = 0 ̸= = P (X1 = 1) , (17)
2
por lo que no se cumple que Xn+h y Xn tengan la misma distribución (n, h = 1 en el
ejemplo).
Finalmente, el código en Octave se entiende de la siguiente manera:
X será una matriz con N las y M columnas que se llenará gracias a los dos lazos for ...
end entre las líneas 04-08 y 02-09.
Cada columna de X tendrá una realización del proceso estocástico Xn , esto es, una posible
historia de juego.
n
07
P
Cada realización se simula recordando que Xn = Yk . La línea escribe exactamente
k=1
esta ecuación, donde X(k+1,i) es Xk en la i-ésima realización. La diferencia entre k y k+1
se debe a que Octave indexa los arreglos empezando de 1 (ver línea 03).
Las líneas 05-06 simulan la ganancia Yk (Yk) en la i-ésima realización. La función rand de
Octave simula un experimento en el que se obtiene un número con distribución U (0, 1). Si
Rk= Rk ∼ U (0, 1), entonces
1 1 1
P Rk < = P Rk ≥ = . (18)
2 2 2
Ahora bien:
(Rk<1/2) da 1 si se cumple la condición entre paréntesis y 0 en caso contrario;
(Rk>=1/2) da 1 si se cumple la condición entre paréntesis y 0 en caso contrario.
Por lo tanto, Yk será −1 con probabilidad 1/2 y +1 con igual probabilidad.
La línea 10 simplemente gra ca las realizaciones. Ver Fig. 1.
24
Probabilidad y Estadística 93.24 curso 2024
Figura 1: Diez realizaciones del proceso estocástico Xn en el ejercicio 1 de la guía 6. El eje de las
abscisas corresponde a n − 1, el índice. Las ordenadas corresponden a la cantidad ganada por el
jugador ($). Cada realización está gra cada con un color diferente.
25
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 3
Suponga un proceso estocástico en tiempo discreto con espacio de estados discreto de nido
de la siguiente manera:
Xn+1 = Xn + Zn (19)
para n tomando los valores 0, 1, 2, ... (el tiempo discreto) y con X0 = 0. Las variables aleato-
rias Zn se suponen independientes, e igualmente distribuidas con recorrido {−2, −1, 0, 1, 2}
con función de probabilidad
pZ (z) = P (Z = z) tal que pZ (−2) = pZ (2) = 0.1, pZ (−1) = pZ (1) = 0.25 y pZ (0) = 0.3.
a) Obtener la distribución de probabilidades de Xn para n tomando los valores 1, 2 y 3.
b) Calcular E [Xn ] y Var [Xn ].
Resolución
Ítem a
La primer consigna nos induce a utilizar una herramienta muy útil para un análisis inicial de
cualquier proceso estocástico: visualizar los primeros instantes de tiempo para detectar patrones
en el comportamiento.
Tenemos como dato que X0 = 0. En base a este valor inicial se desarrolla el proceso. A partir
de ese momento, se tiene:
Xn+1 = Xn + Zn , ∀n ≥ 0 (20)
Es decir, si n = 0:
X1 = X0 + Z0 ⇒ X1 = Z0 (21)
|{z}
0
Por lo tanto, al ser iguales como variables aleatorias, ambas son discretas y la distribución de
X1 es idéntica a la distribución de Z0 , es decir:
RX1 = RZ0 = 0.1 pX1 (0) = pZ0 (0) = 0.3
{−2, −1, 0, 1, 2}
pX1 (1) = pZ0 (1) = 0.25
pX1 (−1) = pZ0 (−1) =
pX1 (−2) = pZ0 (−2) = 0.25 pX1 (2) = pZ0 (2) = 0.1
Continuando con la ecuación que nos de ne el proceso, podemos determinar cómo se comporta
X2 :
X2 = X1 + Z1 ⇒ X2 = Z0 + Z1 (22)
|{z}
Z0
Es decir, podemos escribir a X2 como la suma de Z1 y Z0 . Por lo que su recorrido es:
RX2 = {−4, −3, −2, −1, 0, 1, 2, 3, 4} (23)
Vale aclarar que como Z1 y Z0 son independientes, al cumplirse Z0 = X1 , también son inde-
pendientes Z1 y X1 .
26
Probabilidad y Estadística 93.24 curso 2024
Calculamos estas probabilidades puntuales, utilizando probabilidad total y comenzando por
pX2 (−4):
2
X
pX2 (−4) = P (X2 = −4) = P (Z1 + X1 = −4) = P (Z1 + X1 = −4, X1 = i)
i=−2
2 2
=
X
P (Z1 = −4 − i, X1 = i) =
IND X P (Z = −4 − i) P (X = i) (24)
1 1
i=−2 i=−2
Notemos que de esta última suma, −4 − i < −2 si i ≥ −1. Es decir, P (Z1 = −4 − i) = 0 si
i ≥ −1. Por lo tanto,
2
X
pX2 (−4) = P (Z1 = −4 − i)P (X1 = i) + P (Z1 = −4 − (−2)) P (X1 = −2)
| {z } | {z }
i=−1
0 i=−2
2
= P (Z1 = −2) P (X1 = −2) = 0.1 = 0.01 (25)
Notemos que en este cálculo, muchos términos se anulan y sólo uno de ellos es de importancia.
Esto obedece a cierta intuición de que para que Z1 + X1 = −4, siguiendo sus recorridos se puede
dar únicamente en el caso en que Z1 = X1 = −2. El teorema de probabilidad total nos asiste en
el caso en que esta progresión de eventos no es tan trivial.
Equivalentemente, obviando las probabilidades nulas, podemos proceder con el resto de las
probabilidades puntuales:
pX2 (−3) :
2
X
pX2 (−3) = P (Z1 = −3 − i) P (X1 = i)
i=−2
= P (Z1 = −1)P (X1 = −2) + P (Z1 = −2)P (X1 = −1) = 2 · 0.25 · 0.1 = 0.05
| {z }| {z } | {z }| {z }
0.25 0.1 0.1 0.25
(26)
pX2 (−2) :
pX2 (−2) = P (Z1 = 0)P (X1 = −2) + P (Z1 = −1)P (X1 = −1) + P (Z1 = −2)P (X1 = 0)
| {z }| {z } | {z }| {z } | {z }| {z }
0.3 0.1 0.25 0.25 0.1 0.3
2
= 2 · 0.1 · 0.3 + 0.25 = 0.1225 (27)
pX2 (−1) :
pX2 (−1) = P (Z1 = 1)P (X1 = −2) + P (Z1 = 0)P (X1 = −1)+
| {z }| {z } | {z }| {z }
0.25 0.1 0.3 0.25
+ P (Z1 = −1)P (X1 = 0) + P (Z1 = −2)P (X1 = 1) = 0.2 (28)
| {z }| {z } | {z }| {z }
0.25 0.3 0.1 0.25
Para calcular pX2 (0), usaremos la simetría respecto del cero de la distribución pZ = pZ1 =
pX1 :
2
X 2
X 2
X
pX2 (0) = P (Z1 = 0 − i) P (X1 = i) = pZ (−i) · pZ (i) = p2Z (i) = 0.235 (29)
i=−2 i=−2 i=−2
27
Probabilidad y Estadística 93.24 curso 2024
pX2 (1) :
pX2 (1) = P (Z1 = 2)P (X1 = −1) + P (Z1 = 1)P (X1 = 0)+
| {z }| {z } | {z }| {z }
0.1 0.25 0.25 0.3
+ P (Z1 = 0)P (X1 = 1) + P (Z1 = −1)P (X1 = 2) = 0.2 (30)
| {z }| {z } | {z }| {z }
0.3 0.25 0.25 0.1
pX2 (2) :
pX2 (2) = P (Z1 = 2)P (X1 = 0) + P (Z1 = 1)P (X1 = 1) + P (Z1 = 0)P (X1 = 2)
| {z }| {z } | {z }| {z } | {z }| {z }
0.1 0.3 0.25 0.25 0.3 0.1
= 0.1225 (31)
pX2 (3) :
pX2 (3) = P (Z1 = 2)P (X1 = 1) + P (Z1 = 1)P (X1 = 2) = 0.05 (32)
| {z }| {z } | {z }| {z }
0.1 0.25 0.25 0.1
pX2 (4) :
pX2 (4) = P (Z1 = 2)P (X1 = 2) = 0.01 (33)
| {z }| {z }
0.1 0.1
Notar que la distribución de X2 también es simétrica respecto del cero. Es decir, pX2 (i) =
pX2 (−i) para todo i. Esto se debe a que se suman dos variables simétricas respecto del cero. Esto
se puede generalizar a cualquier suma nita de variables simétricas. Por lo tanto, como:
X3 = X2 + Z2 (34)
simétrica simétrica
|{z} |{z}
podemos concluir que X3 también será simétrica, y podemos reducir sus cálculos a los valores no
negativos y en base a ellos, deducir la parte negativa. Más aún, podemos restringirnos únicamente
a la parte positiva, por la siguiente propiedad:
P (X3 < 0) + P (X3 = 0) + P (X3 > 0) = 1 ⇒ P (X3 = 0) + 2 · P (X3 > 0) = 1
⇒ P (X3 = 0) = 1 − 2 · P (X3 > 0) (35)
Como X3 = X2 + Z2 , el recorrido será
RX3 = {−6, −5, −4, −3, −2, −1, 0, 1, 2, 3, 4, 5, 6} (36)
Por el razonamiento anterior, podemos calcular únicamente pX3 (k) con 1 ≤ k ≤ 6, haciendo
probabilidad total con los valores de X2 :
pX3 (6) :
4
X
pX3 (6) = P (Z2 = 6 − i) P (X2 = i) = P (Z2 = 2)P (X2 = 4) = 0.001 = pX3 (−6) (37)
| {z }| {z }
i=−4
0.1 0.01
28
Probabilidad y Estadística 93.24 curso 2024
pX3 (5) :
4
X
pX3 (5) = P (Z2 = 5 − i) P (X2 = i) = P (Z2 = 2)P (X2 = 3) + P (Z2 = 1)P (X2 = 4)
| {z }| {z } | {z }| {z }
i=−4
0.1 0.05 0.25 0.01
= 0.0075 = pX3 (−5) (38)
pX3 (4) :
pX3 (4) = P (Z2 = 2)P (X2 = 2) + P (Z2 = 1)P (X2 = 3) + P (Z2 = 0)P (X2 = 4)
| {z }| {z } | {z }| {z } | {z }| {z }
0.1 0.1225 0.25 0.05 0.3 0.01
= 0.02775 = pX3 (−4) (39)
pX3 (3) :
pX3 (3) = P (Z2 = 2)P (X2 = 1) + P (Z2 = 1)P (X2 = 2)+
| {z }| {z } | {z }| {z }
0.1 0.2 0.25 0.1225
+ P (Z2 = 0)P (X2 = 3) + P (Z2 = −1)P (X2 = 4)
| {z }| {z } | {z }| {z }
0.3 0.05 0.25 0.01
= 0.066625 = pX3 (−3) (40)
pX3 (2) :
pX3 (2) = P (Z2 = 2)P (X2 = 0) + P (Z2 = 1)P (X2 = 1) + P (Z2 = 0)P (X2 = 2)+
| {z }| {z } | {z }| {z } | {z }| {z }
0.1 0.235 0.25 0.2 0.3 0.1225
+ P (Z2 = −1)P (X2 = 3) + P (Z2 = −2)P (X2 = 4)
| {z }| {z } | {z }| {z }
0.25 0.05 0.1 0.01
= 0.12375 = pX3 (−2) (41)
pX3 (1) :
pX3 (1) = P (Z2 = 2)P (X2 = −1) + P (Z2 = 1)P (X2 = 0) + P (Z2 = 0)P (X2 = 1)+
| {z }| {z } | {z }| {z } | {z }| {z }
0.1 0.2 0.25 0.235 0.3 0.2
+ P (Z2 = −1)P (X2 = 2) + P (Z2 = −2)P (X2 = 3)
| {z }| {z } | {z }| {z }
0.25 0.1225 0.1 0.05
= 0.174375 = pX3 (−1) (42)
Por otro lado:
6
X
P (X3 = 0) = 1 − 2 · P (X3 > 0) = 1 − 2 P (X3 = i)
i=1
= 1 − 2(0.001 + 0.0075 + 0.02775 + 0.066625 + 0.12375 + 0.174375)
= 0.198 (43)
29
Probabilidad y Estadística 93.24 curso 2024
Comentario: Que X1 y Z0 sean iguales como variables aleatorias, es más fuerte que el hecho
de que tengan la misma distribución. X1 = Z0 implica que siempre que Z0 tome un valor k , X1
tomará también el valor k . Es decir, todos los eventos que involucren a X1 son iguales a los eventos
equivalentes de Z0 . Sin embargo, por ejemplo, X1 tiene la misma distribución que Z1 , pero no
son iguales como variables, lo que dice es que P (Z1 = k) = P (X1 = k), a pesar de que Z1 y X1
pueden tomar distintos valores.
Ítem b
En el último ítem se pedían las distribuciones de Xn para los primeros instantes de tiempo. En
este caso, nos piden menos datos sobre las distribuciones (valor esperado y varianza), pero para
todos los instantes de tiempo.
Para realizar este análisis, como en muchos procesos estocásticos, es de mucha utilidad expresar
el proceso como una suma de variables, que permita analizar lo que sucede en cada instante de
tiempo.
Para expresar el proceso Xn como una suma, volvamos a algunas ecuaciones obtenidas en el
ítem anterior:
X0 =0
X1 = X0 + Z0 ⇒ X1 = Z0
(44)
X2 = X1 + Z1 ⇒ X2 = Z0 + Z1
X3 = X2 + Z2 ⇒ X3 = Z0 + Z1 + Z2
Podemos inducir que cada variable del proceso {Xn }n∈N se puede escribir en términos del
proceso {Zn }n∈N0 . Más aún, hemos logrado expresarlo como suma de variables independientes,
del siguiente modo:
n−1
X
Xn = Zi , n∈N (45)
i=0
El hecho de que sea una suma nos facilita el cálculo del valor esperado, justamente por la
propiedad de linealidad:
"n−1 # n−1
X X
E [Xn ] = E Zi = E [Zi ] = 0 (46)
| {z }
i=0 i=0
0
Esto tiene sentido ya que habíamos deducido que las variables Xn debían ser simétricas res-
pecto del cero. Aunque esto no lo con rma (habría que calcular el coe ciente de simetría), le da
consistencia al resultado ya que si son simétricas respecto del cero, su valor esperado es nulo.
El hecho de que sean independientes nos simpli ca el cálculo de la varianza, ya que la covarianza
entre los pares de variables distintas da cero como resultado y se puede escribir la varianza de la
suma como la suma de las varianzas:
"n−1 # n−1
Var [Xn ] = Var
X
Zi
IND
=
X
Var [Z ] (47)
i
i=0 i=0
Como además las Zi son idénticamente distribuidas, la varianza coincide para todos los valores
de i ∈ N0 , es decir, podemos :
n−1
X n−1
X
Var [Xn ] = Var [Zi ] = Var [Z0 ] = n · Var [Z0 ] (48)
i=0 i=0
términos
| {z }
n
30
Probabilidad y Estadística 93.24 curso 2024
Por lo que sólo nos resta calcular Var [Z0 ]:
2
X
2
= E Z02 − E [Z0 ] = E Z02 = i2 P (Z0 = i)
Var [Z0 ]
| {z }
i=−2
0
= 4 · 0.1 + 1 · 0.25 + 0 · 0.3 + 1 · 0.25 + 4 · 0.1
= 1.3 (49)
Por lo tanto,
Var [Xn ] = 1.3 · n (50)
31
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 8
Suponga que en cierto banco se atiende, en promedio durante una parte del día, a cuatro
clientes cada seis minutos según un proceso de Poisson. Calcular la probabilidad de que:
1. puedan atenderse a seis o más clientes en seis minutos;
2. se empleen más de tres minutos en atender a un cliente;
3. el tiempo de atención a un cliente esté comprendido entre dos y cuatro minutos;
4. el tiempo que insuma atender 10 clientes sea menor a 10 minutos.
Resolución
Llamemos N (t) al proceso de Poisson que se corresponde con la cantidad de clientes atendida
a partir de cierto instante de tiempo que tomamos como punto de partida y llamamos t = 0. La
tasa del proceso de Poisson es
4 clientes 2
λ= = min−1 . (51)
6 minutos 3
Luego, N (6) ∼ Poisson(4) y la probabilidad de atender a seis o más clientes en seis minutos es
5
X 4k
P (N (6) ≥ 6) = 1 − P (N (6) ≤ 5) = 1 − e−4 ≈ 1 − 0.7851 = 0.2149. (52)
k!
k=0
De namos T como el tiempo de atención de un cliente. Recordando que el tiempo entre eventos
de un proceso Poisson tiene una distribución exponencial cuyo parámetro es igual a la tasa del
proceso, tenemos que T ∼ Expo(2/3), siendo T medido en minutos. Por lo tanto, para las preguntas
2 y 3 tenemos:
2
P (T > 3) = 1 − FT (3) = 1 − 1 − e− 3 ·3 = e−2 ≈ 0.1353, (53)
2
2
P (2 < T < 4) = P (2 < T ≤ 4) = FT (4) − FT (3) = 1 − e− 3 ·4 − 1 − e− 3 ·2
(54)
4 8
= e− 3 − e− 3 ≈ 0.1941.
Para la última pregunta, llamemos Tk al tiempo de atención de k clientes. Es fácil ver que
(mirar la de nición de proceso de conteo)
Tk < t ⇔ N (t) ≥ k. (55)
Por lo tanto,
9 20 k
− 20
X
3
P (T10 < 10) = P (N (10) ≥ 10) = 1 − P (N (10) ≤ 9) = 1 − e 3
k! (56)
k=0
≈ 1 − 0.8626 = 0.1373.
32
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 13
Tres supermercados S1 , S2 y S3 compiten por los clientes. Una investigación determina que
al comenzar el mes de agosto los tres supermercados tienen igual cantidad de clientes. Al
nalizar el mes se observa que:
1. S1 conserva el 80 % de sus clientes y gana el 10 % y el 2 % de los clientes de S2 y S3
respectivamente.
2. S2 conserva el 70 % de sus clientes y gana el 14 % y el 8 % de los clientes de S1 y S3
respectivamente.
3. S3 conserva el 90 % de sus clientes y gana el 6 % y el 20 % de los clientes de S1 y S2
respectivamente.
Sea P es la matriz cuadrada de elementos pij , donde pij es la probabilidad de que un cliente
del supermercado Si se pase al supermercado Sj al cabo de un mes.
1. Construya la matriz de transición P, con los datos del problema.
2. Si P(n) es la matriz cuyo elemento de la posición i, j indica la proporción de clientes
que se pasaron del supermercado Si al Sj al cabo de n meses (bajo el supuesto de
que estas proporciones permanecen invariables mes a mes), determine qué porcentaje
de clientes se pasaron de S2 al S3 al cabo de 2 meses.
3. Sea p⃗(0) = (1/3 1/3 1/3) el vector la cuyos elementos indican la proporción de
clientes que tenía inicialmente cada supermercado. El producto AP(n) indica la pro-
porción de clientes de cada supermercado al cabo de n meses. Calcule qué proporción
de clientes tiene cada supermercado al cabo de un año, dos años, tres años y cuatro
años.
4. ¾Qué puede concluir acerca de la proporción de clientes de cada supermercado a largo
plazo?
5. Veri que que la respuesta del punto d) también puede obtenerse resolviendo el sistema
de ecuaciones xP = 1.x , donde x = (x1 x2 x3 ) y x1 + x2 + x3 = 1, es decir, x es un
autovector la a izquierda de la matriz P correspondiente al autovalor 1 .
Resolución
Tomemos una persona al azar de entre el universo de clientes de supermercados. Luego, sea
{X(n)}n∈N0 el proceso estocástico que describe de qué supermercado es cliente dicha persona
durante el mes n-ésimo. El espacio de estados del proceso es E = {s1 , s2 , s3 }, donde
si = [cliente del supermercado Si ] i = 1, 2, 3. (57)
Dado que, por el enunciado,
P X(n + 1) = sj | X(n) = si , X(n − 1) = sk , · · · = P X(n + 1) = sj | X(n) = si ,
sabemos que X(n) es un proceso de Markov. Más aún, como que el espacio de estados E es discreto,
se trata de una cadena de Markov. La Fig. 2 muestra el diagrama de estados de la cadena.
A partir del diagrama, es fácil escribir la matriz de probabilidades de transición:
0.80 0.14 0.06
P = 0.10 0.70 0.20 , (58)
0.02 0.08 0.90
33
Probabilidad y Estadística 93.24 curso 2024
donde la primer, segunda y tercer la corresponden a los estados s1 , s2 y s3 , respectivamente.
La matriz P(n) de probabilidades de transición en n pasos se puede escribir en función de la
matriz de transición P como
P(n) = Pn . (59)
En particular,
0.6552 0.2148 0.1300
P(2) = P2 = 0.1540 0.5200 0.3260 . (60)
0.0420 0.1308 0.8272
La fracción de clientes que pasan del supermercado S2 al S3 en dos meses, se puede obtener como
P(2) (2, 3) = 0.3260.
Si los clientes se distribuyen uniformemente entre los tres supermercados al inicio, p⃗(0) =
(1/3 1/3 1/3). Luego de un año, la distribución será:
p⃗(12) = p⃗(0)P12 ≈ 0.1906
0.2428 0.5666 . (61)
Y luego de 2 y 3 años:
p⃗(24) = p⃗(0)P24 ≈ 0.1786
0.2389 0.5825 , (62)
p⃗(36) = p⃗(0)P36 ≈ 0.1777
0.2386 0.5836 . (63)
Para hacer estas cuentas, hemos utilizado un programa de computadora. Más abajo mostramos
cómo hacerlo de otra manera. Lo que es importante es notar que los valores aparentan converger.
De hecho, la cadena de Markov es irreducible y existe un estado estacionario. El mismo puede ser
obtenido planteando
0.80 0.14 0.06
⃗π = π1 π2 π3 = ⃗π P = π1 π2 π3 0.10 0.70 0.20 . (64)
0.02 0.08 0.90
Esto da a lugar a tres ecuaciones con tres incógnitas:
0.80π1 + 0.10π2 + 0.02π3 = π1 (65)
0.14π1 + 0.70π2 + 0.08π3 = π2 (66)
0.06π1 + 0.20π2 + 0.90π3 = π3 (67)
0.70
s2
0.14
0.08
0.10 0.20
0.80 s1 s3 0.90
0.06
0.02
Figura 2: Diagrama de estados de la cadena de Markov del Ejercicio 13 de la guía 6.
34
Probabilidad y Estadística 93.24 curso 2024
Obsérvese que si se suman m.a.m. las Ecs. (65)-(67), se obtiene:
π1 + π2 + π3 = π1 + π2 + π3 . (68)
Esto implica que las Ecs. (65)-(67) son linealmente dependientes. Para poder obtener una única
solución, reemplazamos una de las ecuaciones por la ecuación referente a la normalización del
vector ⃗π :
0.80π1 + 0.10π2 + 0.02π3 = π1 (69)
0.14π1 + 0.70π2 + 0.08π3 = π2 (70)
π1 + π 2 + π 3 = 1 (71)
De la Ec. (69), obtenemos
1 1
π1 = π2 + π3 . (72)
2 10
Reemplazando esta ecuación en la (70),
14 1 1 70 8 47
π2 + π3 + π2 + π3 = π2 ⇒ π2 = π3 . (73)
100 2 10 100 100 115
Substituyendo esto en la Ec. (72), tenemos
47 1 35
π1 = π3 + π3 = π3 . (74)
230 10 115
Finalmente, substituyendo las Ecs. (73)-(74) en la Ec. (71),
35 47 35 + 47 + 115
π3 + π3 + π 3 = π3 = 1 ⇒ (75)
115 115 115
115 47 35
⇒ π3 = ≈ 0.5838, π2 = ≈ 0.2386, π1 = ≈ 0.1777. (76)
197 197 197
Obsérvese que estos números coinciden bastante bien con los obtenidos cuando se buscó la distri-
bución de probabilidades de luego de 3 años.
Extra: Autovalores y autovectores de la matriz de transición
Asumamos que la matriz P es diagonalizable. En este caso, la matriz de transición se puede
escribir como
P = VΛV−1 , (77)
donde V es la matriz de autovectores y Λ es la matriz diagonal de autovalores. Luego,
Pn = VΛn V−1 . (78)
Es fácil veri car que uno de los autovalores es igual 1. En efecto, dado que las las de la matriz
de probabilidad de transición suman 1,
1 1
P 1 = 1 . (79)
1 1
Por lo tanto, podemos escribir
λ1 0 0
P = V 0 λ2 0 V−1 , (80)
0 0 1
35
Probabilidad y Estadística 93.24 curso 2024
λn1
0 0
n
P =V 0
λn2 0 V−1 . (81)
0 0 1
A partir de estas ecuaciones se puede encontrar p⃗(n) para cualquier n. Haciendo algunas cuentas
(o utilizando un programa matemático como Octave ):
√ n
7 7
10 − 25 0 0
√ n −1
p⃗(n) = p⃗(0)Pn = p⃗(0)V
0 7
+ 257 0 V , (82)
10
0 0 1
donde, por ej.,
+0.5152 −0.9147 1 +0.3698 −0.8590 +0.4892
V ≈ −0.8368 −0.1908 1 , V−1 ≈ −0.6908 −0.2230 +0.9138 . (83)
+0.1852 +0.3564 1 +0.1777 +0.2386 +0.5838
Cuando n → ∞, tenemos
0
0 0 ∗ ∗ 1 0 0 0
0 0 V−1 = p⃗(0) ∗ ∗ 1 0
lı́m p⃗(n) = p⃗(0)V 0 0 0 V−1
n→∞
0
0 1 ∗ ∗ 1 0 0 1
0 0 0
= ∗ ∗ 1 0 0 0 V−1 = 0 0 1 V−1
(84)
0 0 1
∗ ∗ ∗
≈ 0 0 1 ∗ ∗ ∗
+0.1777 +0.2386 +0.5838
≈ +0.1777 +0.2386 +0.5838 ,
donde hemos usado el hecho que la suma de las componentes de p⃗(0) es 1. Obsérvese que hemos
llegado a la misma probabilidad estacionaria, aunque por un camino distinto. La clave fue que la
matriz P tiene uno solo autovalor igual a 1 y los demás son menores a 1 en módulo.
36
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 17
Considere una cadena de Markov con espacio de estados E = {a, b, c} y matriz de transición
de probabilidades dada por
0.3 0.4 0.3
P= 1 0 0 . (85)
0 0.3 0.7
a) Calcular P X2 = a| X1 = b, X0 = c
b) Calcular P X35 = a| X33 = a
c) Estimar P X200 = a| X0 = b
Resolución
Ítem a
Por ser cadena de Markov, la probabilidad condicional depende únicamente del último tiempo
del condicionante. Es decir,
P X2 = a| X1 = b, X0 = c = P X2 = a| X1 = b (86)
Esta probabilidad se obtiene en la primer la y segunda columna de la matriz de transición.
Es decir,
P X2 = a| X1 = b, X0 = c = P X2 = a| X1 = b = 1 (87)
Ítem b
Por ser cadena de Markov homogénea, las matrices de transición se mantienen constantes para
todo instante de tiempo n. Por lo tanto, la probabilidad pedida describe todas las formas de
mantenerse en el estado a luego de dos pasos.
Hay dos maneras de realizar este cálculo, una se basa en cáclulos de probabilidades básicos:
P (X35 = a, X33 = a)
P X35 = a| X33 = a = (88)
P (X33 = a)
Por el teorema de probabilidad total, podríamos considerar todos los estados por los que puede
pasar en el instante n = 34 para reescribir el numerador:
P (X35 = a, X33 = a) =P (X35 = a, X34 = a, X33 = a) + P (X35 = a, X34 = b, X33 = a) +
+P (X35 = a, X34 = c, X33 = a) (89)
Cada uno de estos términos se puede reescribir del siguiente modo:
P (X35 = a, X34 = a, X33 = a) P (X34 = a, X33 = a)
P (X35 = a, X34 = a, X33 = a) = · ·
P (X34 = a, X33 = a) P (X33 = a)
| {z } | {z }
P X35 =a|X34 =a,X33 =a P X34 =a|X33 =a
· P (X33 = a) (90)
Como Xn es una cadena de Markov, en el primer factor se puede prescindir del último evento
del condicionante. Es decir,
P (X35 = a, X34 = a, X33 = a) = P X35 = a|X34 = a| · P X34 = a| X33 = a · P (X33 = a) (91)
Del mismo modo,
37
Probabilidad y Estadística 93.24 curso 2024
P (X35 = a, X34 = b, X33 = a) = P X35 = a| X34 = b · P X34 = b| X33 = a · P (X33 = a)
P (X35 = a, X34 = c, X33 = a) = P X35 = a| X34 = c · P X34 = c| X33 = a · P (X33 = a)
Por lo tanto, como P (X33 = a) es un factor común en el numerador y aparece en el denomi-
nador:
P (X35 = a, X33 = a)
P X35 = a| X33 = a =
P (X33 = a)
P X35 = a| X34 = a · P X34 = a| X33 = a · P (X33 = a)
= +
P (X33 = a)
P X35 = a| X34 = b · P X34 = b| X33 = a · P (X33 = a)
+ +
P (X33 = a)
(92)
P X35 = a| X34 = c · P X34 = c| X33 = a · P (X33 = a)
+
P (X33 = a)
= P X35 = a| X34 = a · P X34 = a| X33 = a +
+ P X35 = a| X34 = b · P X34 = b| X33 = a+
+ P X35 = a| X34 = c · P X34 = c| X33 = a
= 0.32 + 0.4 · 1 + 0.3 · 0 = 0.49
Este desarrollo permite obtener lo intuitivo, que hay tres opciones para que el proceso se
mantenga en a luego de dos pasos:
a → |{z}
|{z} a → |{z}
a a → |{z}
|{z} b → |{z}
a a → |{z}
|{z} c → |{z}
a
n=33 n=34 n=35 n=33 n=34 n=35 n=33 n=34 n=35
y la probabilidad pedida se obtiene sumando las probabilidades respectivas a estas tres opcio-
nes.
Otra manera más directa de resolverlo, es obteniendo la primer coordenada de la segunda
potencia de la matriz de transiciones P:
0.3 0.4 0.3 0.3 0.4 0.3
P2 = 1 0 0 × 1 0 0 ⇒ (P2 )11 = 0.32 + 0.4 · 1 + 0.3 · 0 = 0.49 (93)
0 0.3 0.7 0 0.3 0.7
Esta herramienta es mucho más e ciente y es la que se sugiere usar en momentos donde el
tiempo apremia. Sin embargo, el anterior desarrollo permite entender porqué esta herramienta es
válida y trae aparejadas conceptos claves de la materia.
Además, el procedimiento anterior sirve para cualquier proceso estocástico, las particularidades
de que haya sido una cadena de Markov homogénea, nos simpli có las cuentas. Sin embargo, en el
caso de tener un proceso más complejo, el cálculo de las probabilidades deberá adecuarse a dicha
complejidad.
Ítem c
Pide estimar P X200 = a| X0 = b , y por suerte pide estimarlo, porque sino, deberíamos cal-
200
cular la potencia P y buscar la coordenada de la segunda la y primer columna.
Si la cadena tiene una distribución estacionaria, su primer componente estimará la probabilidad
de estar en el estado a a largo plazo, para cualquier distribución inicial (en este caso, X0 = b).
Para determinar la distribución estacionaria, debe existir un límite para la matriz Pn a medida
que n se hace grande. En caso de existir este límite, es una matriz con las idénticas y la distribución
estacionaria coincide con este vector la.
38
Probabilidad y Estadística 93.24 curso 2024
En el caso de que la cadena sea regular, esta distribución estacionaria se puede calcular hallando
un autovector a izquierda de la matriz de transiciones P de autovalor 1.
Para eso, primero debemos probar que la cadena es regular, es decir, que existe una potencia de
P con todos sus valores positivos. Para lograr esto, conviene notar lo siguiente: Si Pk > 0, entonces
Pm > 0 para todo m ≥ k . Es decir, para hacer más e ciente la búsqueda de dicha potencia,
podemos tratar de buscar potencias más altas más rápido. Para eso, podemos hallar primero
P 2 = P × P , una vez obtenido esta potencia, en vez de hallar P 3 , podemos hallar P 4 = P 2 × P 2 ,
8 4 4
luego P = P × P , y así sucesivamente hasta encontrar una potencia de la matriz P compuesta
únicamente por valores positivos.
Primero calculemos P2 :
0.3 0.4 0.3 0.3 0.4 0.3 0.49 0.21 0.3
P2 = 1 0 0 × 1 0 0 = 0.3 0.4 0.3 (94)
0 0.3 0.7 0 0.3 0.7 0.3 0.21 0.49
Es decir, P2 tiene todas sus coordenadas positivas, por lo que la cadena es regular y por lo
tanto, tiene sentido calcular ⃗π = (a, b, c) su autovector (con autovalor 1) a izquierda. Como además,
tiene que ser una distribución de probabilidad, sus componentes deben sumar 1:
0.3 0.4 0.3
(a, b, c) = (a, b, c) × P (a, b, c) = (a, b, c) × 1 0 0
⇒
a+b+c=1
0 0.3 0.7
a+b+c=1
a = 0.3a + b
b = 0.4a + 0.3c
⇒ (95)
c = 0.3a + 0.7c
a+b+c=1
Como las primeras 3 ecuaciones son linealmente independientes, podemos prescindir de alguna
de ellas:
a = 0.3a + b
0.7a = b 0.7a = b 0.7a = b
b = 0.4a + 0.3c
⇒ b = 0.4a + 0.3c ⇒ 0.7a − 0.4a = 0.3c ⇒ a=c
c = 0.3a + 0.7c
a + b + c = 1 a + 0.7a + c = 1 1.7a +a=1
a+b+c=1
7
b =
27
10
⇒ c= (96)
27
a=
10
27
π = 10 7 10
Es decir, la distribución estacionaria es ⃗
27 , 27 , 27 . Sin embargo, esto no es lo pedido.
Nos piden la probabilidad de estar a largo plazo en el estado a. Es decir,
10
P X200 = a| X0 = b ≈ (97)
27
Comentario: 10 7 10
Que la distribución estacionaria sea π = 27 , 27 , 27 , nos permite deducir lo
39
Probabilidad y Estadística 93.24 curso 2024
siguiente:
10 7 10
27 27 27
n
10 7 10
lı́m P =
27
(98)
n→∞
27 27
10 7 10
27 27 27
Es decir, como la distribución inicial es ⃗π0 = (0, 1, 0) y podemos suponer que P200 es una
potencia su cientemente grande, podemos aproximar esa potencia por el límite:
10 7 10
27 27 27
10 7 10 10
⃗π0 × P200 ≈ (0, 1, 0) ×
10 7 10
27 27 27 = , , ⇒ P X200 = a| X0 = b ≈ (99)
27 27 27 27
10 7 10
27 27 27
Este resultado no aporta nada nuevo a lo ya obtenido anteriormente. Sin embargo, permite ver
que la probabilidad de estar en el estado a a largo plazo es independiente de la distribución inicial.
Es decir, cualquier vector inicial ⃗π0 = (pa , pb , pc ) ≥ 0 con pa + pb + pc = 1, cumplirá lo mismo:
10 7 10
27 27 27
⃗π0 × P200
10 7 10
≈ (pa , pb , pc ) ×
27 27 27
10 7 10
27 27 27
10 7 10 10 7 10
≈ (pa + pb + pc ) , (pa + pb + pc ) , (pa + pb + pc ) = , , (100)
27 27 27 27 27 27
10
⇒ P X200 = a| ⃗π0 ≈ (101)
27
40
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 22
Considere una cadena de Markov con espacio de estados E = {0, 1, 2, 3, 4, 5, 6} y matriz de
transición de probabilidades dada por
1 3 1
5 5 0 0 5 0 0
0 0 1 0 0 0 0
1 2
0 0 0 0 0
3 3
0
P= 1 0 0 0 0 0 (102)
0 0 0 0 0 1 0
0 0 0 0 0 0 1
0 0 0 0 1 0 0
a) Represente el diagrama de transición de estados de la cadena.
b) Por inspección del diagrama veri que que:
1) el conjunto de estados tiene tres subconjuntos disjuntos (se denominan clases)
que corresponden a estados comunicados entre ellos.
2) Hay dos clases que son cerradas y recurrentes, una vez que uno de los estados
de la clase cerrada es alcanzado entonces todos los estados subsiguientes de la
cadena corresponden a esa clase.
3) La clase restante es transiente, el proceso puede terminar saliendo de ella.
4) Una de las clases cerradas es periódica de periodo 3, la otra no es periódica.
c) Usando solo el álgebra del cálculo de probabilidades y la suma de alguna serie numé-
rica demuestre que si el proceso comienza en:
1
1) el estado 0 entonces la probabilidad de alcanzar el estado 6 es
4
2) el estado 1 entonces la probabilidad de alcanzar el estado 3 es 1.
3) el estado 1 entonces el numero promedio de pasos hasta llegar al estado 3 es 3.
4) el estado 1 entonces a largo plazo la probabilidad de que el proceso se encuentre
3
en el estado 2 es
8.
Son datos
∞
X 1
qk = |q| < 1, (103)
1−q
k=0
∞
X q
kq k = |q| < 1. (104)
(1 − q)2
k=0
Resolución
Ítem a
El diagrama de transición es el siguiente:
41
Probabilidad y Estadística 93.24 curso 2024
Ítem b1
Cuando se re ere a un conjunto de estados comunicados entre sí, hay que hacer hincapié en el
hecho de que de cualquiera de los estados del conjunto, se pueda llegar con probabilidad positiva
a otro estado del conjunto en un tiempo nito. Es decir, para dos estados i ̸= j del conjunto, tiene
que existir un valor k∈N tal que (P k )ij > 0.
3 k
Por ejemplo, el conjunto A = {0, 1} no es una clase, ya que (P )01 =
5 > 0, pero (P )10 = 0
para todo valor de k ∈ N. Es decir, se puede acceder al estado 1 desde el estado 0, pero no se
puede acceder al estado 0 desde el estado 1.
Por lo tanto, las tres clases son:
C1 = {0}
C2 = {1, 2, 3} (105)
C3 = {4, 5, 6}
Notemos que todos los estados de estas clases están comunicadas entre sí.
Ítem b2
Las clases cerradas y recurrentes son C2 y C3 . Esto se debe a la ausencia de echas que van
de estados de C2 al resto de los estados. Lo mismo ocurre con la clase C3 .
Ítem b3
La otra clase, C1 es transitoria ya que la probabilidad de salir de la clase es positiva. Más aún,
3
esto puede ocurrir en un único paso, ya que P01 =
5 . Si bien calcular todos los casos en los que se
sale de la clase C1 puede resultar complicado, lo que podemos asegurar es que la probabilidad es
3
mayor que
5 y por lo tanto, positiva.
Ítem b4
Se puede ver que C3 es la clase periódica, y además, de período 3. Esto se debe a lo siguiente,
tomando un estado i ∈ C3 :
1 si m=3·k
P Xn+m = i| Xn = i = (106)
0 caso contrario
42
Probabilidad y Estadística 93.24 curso 2024
Por otro lado, C2 no es periódica, ya que las probabilidades de volver a un mismo estado deben
ser siempre 0 o 1 según el período. Sin embargo, por ejemplo:
1
P Xn+2 = 1| Xn = 1 = ∉ {0, 1} (107)
3
Ítem c
Para todos estos ítems, siguiendo la otra guía de ejercicios resueltos de la guía 6, notaremos
del siguiente modo una serie de probabilidades (para cada par de estados i, j ) que nos será de
utilidad:
n−1
\
qij (n) = P Xn = j, Xm ̸= j X0 = i (108)
m=1
En resumidas cuentas, esta probabilidad corresponde al evento en el que se llega por primera
vez al estado j desde el estado i en n pasos.
Vamos a poner un par de ejemplos:
q13 (4) = P X4 = 3, X3 ̸= 3, X2 ̸= 3, X1 ̸= 3| X0 = 1 . Notemos que hay sólo una forma de
que esto suceda:
X0 = 1 → X1 = 2 → X2 = 1 → X3 = 2 → X4 = 3 (109)
Es decir,
2
q13 (4) = p12 · p21 · p12 · p23 = (110)
9
Comentario: Esta multiplicación también se puede obtener de un modo más deductivo:
q13 (4) = P X4 = 3, X3 = 2, X2 = 1, X1 = 2| X0 = 1
P X4 = 3, X3 = 2, X2 = 1, X1 = 2, X0 = 1|
= (111)
P (X0 = 1)
Multiplicando y dividiendo por los términos adecuados, podemos transformarlo en una mul-
tiplicación de condicionales:
P (X4 = 3, X3 = 2, X2 = 1, X1 = 2, X0 = 1) P (X3 = 2, X2 = 1, X1 = 2, X0 = 1)
· ·
P (X0 = 1) P (X3 = 2, X2 = 1, X1 = 2, X0 = 1)
P (X2 = 1, X1 = 2, X0 = 1)
· ·
P (X3 = 2, X1 = 2, X0 = 1)
P (X1 = 2, X0 = 1)
· (112)
P (X1 = 2, X0 = 1)
P X4 = 3| X3 = 2, X2 = 1, X1 = 2, X0 = 1 · P X3 = 2| X2 = 1, X1 = 2, X0 = 1 ·
· P X2 = 1| X1 = 2, X0 = 1 ·
· P X1 = 2| X0 = 1 (113)
Por ser un proceso de Markov, las probabilidades se pueden basar únicamente en el último
evento. Es decir:
q13 (4) = P X4 = 3| X3 = 2 · P X3 = 2| X2 = 1 · P X2 = 1| X1 = 2 · P X1 = 2| X0 = 1
2
= p23 · p12 · p21 · p12 = (114)
9
43
Probabilidad y Estadística 93.24 curso 2024
q03 (2) = P X2 = 3, X1 ̸= 3| X0 = 0 . Notemos que esto no puede suceder, ya que el camino
más rápido entre los estados 0 y 3 es:
X0 = 0 → X1 = 1 → X2 = 2 → X3 = 3 (115)
Por lo tanto, no se puede llegar en 2 pasos del estado 0 al 3, decimos que q03 (2) = 0.
̸ 5, X2 =
q45 (4) = P X4 = 5, X3 = ̸ 5, X1 =
̸ 5| X0 = 4 . En este caso, hay un camino que llega
del 4 al 5 en 4 pasos:
X0 = 4 → X1 = 5 → X2 = 6 → X3 = 4 → X4 = 5 (116)
Sin embargo, no cumple la condición de que sea la primera vez que llega al estado 5 desde el
estado 4. De este modo, q45 (4) = 0, pero, como se llega en un paso del 4 al 5, q45 (1) = p45 = 1.
Por último, analicemos q06 (6). Hay dos caminos para llegar del 0 al 6 en 6 pasos:
X0 = 0 → X1 = 4 → X2 = 5 → X3 = 6 → X4 = 4 → X5 = 5 → X6 = 6
(117)
X0 = 0 → X1 = 0 → X2 = 0 → X3 = 0 → X4 = 4 → X5 = 5 → X6 = 6
Sin embargo, notemos que el primer camino se llega en 6 pasos, pero no por primera vez.
Por lo tanto, el evento sólo se corresponde con el segundo camino:
q06 (6) = P X6 = 6, X5 = ̸ 6, X4 ̸= 6, X3 =
̸ 6, X2 =
̸ 6, X1 =
̸ 6| X0 = 0
= P X6 = 6, X5 = 5, X4 = 4, X3 = 0, X2 = 0, X1 = 0| X0 = 0 (118)
1
= p300 · p04 · p45 · p46 =
625
Cuando no especi camos el número de pasos, nos referimos a la probabilidad de llegar en algún
momento desde el estado i al estado j:
+∞
!
[
qij = P Xk = j X0 = i (119)
k=1
Esta unión no es disjunta, y aquí se ve la utilidad de la de nición de qij (n). Considerar los
eventos en los que se llega por primera vez en n pasos, hace que los eventos sean mutuamente
excluyentes y permite transformar esta probabilidad en una suma:
+∞
! +∞
[ X
qij = P Xn = j X0 = i = qij (n) (120)
n=1 n=1
Ítem c1
Con las de niciones anteriores, nos piden
+∞
X
q06 = q06 (n) (121)
n=1
Notemos que el proceso no puede llegar al 6 desde el 0 en menos de 3 pasos, por lo que
q06 (1) = q06 (2) = 0:
+∞
X +∞
X +∞
X
q06 = q06 (n) = q06 (1) + q06 (2) + q06 (n) = q06 (n) (122)
n=1
| {z } | {z } n=3 n=3
0 0
44
Probabilidad y Estadística 93.24 curso 2024
Además, el proceso no puede llegar del 0 al 6 sin pasar por el 4, entonces, la primera vez que
pase por el 6 está vinculada con la primera vez que llegue al 4. Más aún, por la dinámica del
proceso, pasa exactamente 2 pasos antes por el 4. Es decir:
+∞ +∞
k=n−2
X X
q06 (n) = q04 (n − 2) · p45 p56 ⇒ q06 = q04 (n − 2) = q04 (k) (123)
|{z}|{z}
n=3 k=1
1 1
Analicemos q04 (k). Sería la probabilidad de que el proceso llegue por primera vez del 0 al 4
en k pasos. Esto sólo se puede dar si los k−1 pasos anteriores se mantuvo en el estado 0 y luego
pasó al estado 4. Es decir,
+∞
1 k−1 1 1k X 1k
q04 (k) = pk−1
00 · p04 = · = ⇒ q06 = (124)
5 5 5 5
k=1
Notemos que resultó una serie que no es exactamente la dada como dato, ya que esa serie
comienza desde cero. Por lo tanto, sumaremos y restaremos el término pertinente:
+∞ k
! +∞ k
!
X 1 10 10 X 1 1 1
q06 = + − = −1= 1 −1= (125)
k=1
5 5 5
k=0
5 1− 5
4
De este modo, obtuvimos lo pedido.
Ítem c2
Ahora nos piden la probabilidad dada por q13 :
+∞
X
q13 = q13 (n) (126)
n=1
Nos sería de mucha utilidad ir viendo que sucede con los primeros valores de n para ver si
logramos obtener un patrón.
n = 1 : notemos que no se puede llegar del estado 1 al estado 3 en 1 paso por lo que q13 (1) = 0
n = 2 : esto se puede dar si se cumple la siguiente progresión: 1 → 2 → 3. Entonces,
2
q13 (2) = 3
n= 3: notemos que no se puede llegar del estado 1 al estado 3 en 3 pasos, ya que debe
ciclar entre el estado 1 y 2 para no llegar en 2 pasos, por lo que q13 (3) = 0
n = 4 : esto se puede dar si se cumple la siguiente progresión: 1 → 2 → 1 → 2 → 3. Entonces,
q13 (4) = 92
n = 5 : nuevamente, para evitar llegar antes al 3, debe ciclar entre 1 y 2, por lo que q13 (5) = 0
n = 6 : esto se puede dar si se cumplen dos ciclos entre 1 y 2, es decir: 1→2→1→2→
2
1 → 2 → 3. Entonces, q13 (6) = 27
Así, vamos viendo que los términos impares son nulos y sólo sobreviven los pares n = 2k . Por
lo tanto,
+∞ +∞ +∞
h=k−1
X X X
q13 = q13 (n) = q13 (2k) = q13 (2h + 2) (127)
n=1 k=1 h=0
Además, podemos ir viendo que para llegar por primera vez al 3 en 2h + 2 pasos, tienen que
haberse dado antes h ciclos entre los estados 1 y 2, luego pasar del 2 al 3. Cada ciclo tiene una
1
probabilidad de
3 , por lo tanto:
+∞ +∞ h +∞ h
X X 1 2 2 X 1 2 1 2 3
q13 = q13 (2h + 2) = · = · = · 1 = · =1 (128)
3 3 3 3 3 1− 3
3 2
h=0 h=0 h=0
45
Probabilidad y Estadística 93.24 curso 2024
Ítem c3
Ahora debemos de nir una variable aleatoria, que es la siguiente:
T13 = Cantidad de transiciones hasta llegar por primera vez al estado 3, comenzando desde el estado 1
(129)
Notar que el enunciado pide el valor esperado de T13 . T13 es una variable discreta, y podemos
deducir a partir de su de nición, que P (T13 = n) = q13 (n), ya que q13 (n) representa la probabilidad
de llegar del estado 1 por primera vez al estado 3 en n pasos. Es decir,
+∞
X +∞
X
E [T13 ] = n · P (T13 = n) = n · q13 (n) (130)
n=1 n=1
La ventaja es que descubrimos un patrón para q13 (n) en el ítem anterior. Habíamos visto que
k−1
1 2
se anula para los impares y que para los pares, vale q13 (2k) = · . Por lo tanto,
3 3
+∞ +∞ k−1 +∞ k 1
X X 1 2 X 1 3 3
E [T13 ] = n · q13 (n) = 2k · · =4· k =4· 1 2 =4· 4 =3 (131)
n=1 k=1
3 3
k=1
3 (1 − 3 )
Ítem c4
Por último, acá nos piden analizar una probabilidad especí ca, no es que en algún momento
llegue del estado 1 al estado 2, porque eso es claramente 1. Justamente, llega del estado 1 al 2 en
un paso ya que p12 = 1.
Aquí hay que estudiar el comportamiento de la siguiente probabilidad:
P Xn = 2| X0 = 1 , n → +∞ (132)
Contar todas las posibles combinaciones a medida que n se hace muy grande puede ser muy
di cultoso, justamente porque se ven dos alternativas, ciclos del tipo 1 → 2 → 1, o el ciclo
1 → 2 → 3 → 1. Pero además, estos ciclos pueden darse de varias formas distintas y en distintos
momentos para un n grande. El cálculo se hace inmanejable.
Por lo tanto, vamos a recurrir a otra alternativa. La cadena Xn no es regular (ya que (P k )10 =
0, ∀k ∈ N). Sin embargo, una vez en la clase C2 = {1, 2, 3}, la cadena se mantiene dentro de la clase
(justamente vimos que es cerrada). Entonces podemos considerar una nueva cadena de Markov Yn
con estos 3 estados y las mismas probabilidades de transición y tendrá la misma dinámica.
Por lo tanto, consideramos Yn con espacio de estados EY = {1, 2, 3} y matriz de transición
dada por:
0 1 0
PY = 31 0 2
3 (133)
1 0 0
Si esta cadena es regular, tendremos una distribución estacionaria, lo que nos permite calcular:
lı́m P Xn = 2| X0 = 1 = lı́m P Yn = 2| Y0 = 1 (134)
n→+∞ n→+∞
Veamos si Yn es regular:
1 2
1 2
1 2
0 1 0 0 1 0 3 0 3 3 0 3 3 0 3
P2Y = 13 0 2
3 × 13 0 2
3 = 2
3
1
3 0 ⇒ P4Y = 2
3
1
3 0 × 2
3
1
3 0
1 0 0 1 0 0 0 1 0 0 1 0 0 1 0
1 2 2
9 3 9
= 49 1
9
4
9 (135)
2 1
3 3 0
46
Probabilidad y Estadística 93.24 curso 2024
Por último:
1 2 2
1 2 2
37 2 26
9 3 9 9 3 9 81 9 81
P8Y = 4
9
1
9
4
9 × 4
9
1
9
4
9 = 32
81
37
81
4
27 >0 (136)
2 1 2 1 2 13 8
3 3 0 3 3 0 9 27 27
Por lo tanto, la cadena es regular y tiene una distribución estacionaria, que coincide con el
autovector a izquierda de PY de autovalor 1:
a = 3b + c
0 1 0
(a, b, c) = (a, b, c) × 13 2
(a, b, c) = (a, b, c) × PY 0 b=a
⇒ 3 ⇒
a+b+c=1
1 0 0
c = 2b3
a+b+c=1 a+b+c=1
(137)
Por lo tanto,
3
a=
8
b=a
3
2b
c= 3 ⇒ b= (138)
b + b + 2b = 1
8
3
c=
1
4
Por lo tanto, la probabilidad de que, comenzando en el estado 1, el proceso (sea Xn o Yn ) esté
3
en el estado 2 a largo plazo es b= 8
47
Probabilidad y Estadística 93.24 curso 2024
Ejercicio 25
Cada materia que cursa un alumno en una universidad tiene tres oportunidades para dar
el examen nal. Suponga que la probabilidad de aprobar el examen nal es siempre p.
Sea Xn la variable aleatoria que da el número de oportunidades que tiene el alumno en el
período n. El recorrido de Xn es el conjunto {0, 1, 2, 3} siendo el valor cero el estado que se
alcanza cuando se aprueba el examen nal (claramente un estado absorbente). El estado
3 corresponde al que se tiene una vez aprobada la cursada. Cuando no se aprueba en la
última de las instancias se produce una transición del estado 1 al 3 (la materia se recursa).
a) Modelar la evolución de este proceso como una cadena de Markov obteniendo la
matriz de probabilidades de transición de un paso.
b) Suponga que el estado inicial es el 3. En este caso la distribución de probabilidades es
(0,0,0,1). Obtener la distribución de probabilidades para los primeros tres períodos y
conjeturar sobre su forma para todo n. Analizar su valor límite.
Resolución
Ítem a
El diagrama de transición de la cadena viene dada por:
Por lo tanto, la matriz de transiciones es la siguiente:
1 0 0 0
p 0 0 1 − p
P= (139)
p 1−p 0 0
p 0 1−p 0
Ítem b
Nos dicen que X0 = 3, es decir:
⃗π0 = (0, 0, 0, 1) (140)
48
Probabilidad y Estadística 93.24 curso 2024
Nos piden determinar ⃗π1 , ⃗π2 , ⃗π3 para determinar si hay algún patrón.
1 0 0 0
p 0 0 1 − p
⃗π1 = ⃗π0 × P = (0, 0, 0, 1) ×
p 1−p 0 0
p 0 1−p 0
= (p, 0, 1 − p, 0) (141)
1 0 0 0
p 0 0 1 − p
⃗π2 = ⃗π1 × P = (p, 0, 1 − p, 0) ×
p 1−p 0 0
p 0 1−p 0
= (2p − p2 , (1 − p)2 , 0, 0) (142)
1 0 0 0
2 2
p 0 0 1 − p
⃗π3 = ⃗π2 × P = (2p − p , (1 − p) , 0, 0) ×
p 1−p 0 0
p 0 1−p 0
= (p3 − 3p2 + 3p, 0, 0, (1 − p)3 ) (143)
No parece haber un patrón muy claro en la primer coordenada. Sin embargo, el patrón es claro
en los estados 1, 2, 3. En cada intento, la probabilidad de no aprobar la materia (estado 0) es
haber reprobado todas las instancias anteriores.
Es decir, en el instante n, la probabilidad de no estar en el estado 0 es (1 − p)n . Por lo tanto,
la probabilidad de estar en el estado 0 es 1 − (1 − p)n . En efecto:
n = 0 : 1 − (1 − p)0 = 0
n = 1 : 1 − (1 − p)1 = p
n = 2 : 1 − (1 − p)2 = 1 − (1 − 2p + p2 ) = 2p − p2
n = 3 : 1 − (1 − p)3 = 1 − (1 − 3p + 3p2 − p3 ) = p3 − 3p2 + 3p
Es decir, lo único que se altera es la cantidad de oportunidades, que se repite periódicamente
cada 3 oportunidades. Por lo que dependerá del resto de dividir por 3 y podemos inferir el siguiente
patrón:
(1 − (1 − p)n , 0, 0, (1 − p)n ) si n = 3k
⃗πn = (1 − (1 − p)n , 0, (1 − p)n , 0) si n = 3k + 1 (144)
(1 − (1 − p)n , (1 − p)n , 0, 0) si n = 3k + 2
Por lo tanto, para analizar el valor límite, como (1 − p)n tiende a cero cuando n → +∞, todas
las componentes correspondientes a los estados 1,2,3 tienden a cero. Del mismo modo, la primer
coordenada tenderá a 1. Es decir,
lı́m ⃗πn = (1, 0, 0, 0) (145)
n→+∞
Es decir, probabilísticamente, un alumno termina aprobando la materia, por lo que este ejercicio
tiene el condimento especial de sembrar optimismo en nuestros alumnos.
49
También podría gustarte
- Introducción a Procesos EstocásticosAún no hay calificacionesIntroducción a Procesos Estocásticos26 páginas
- Procesos Estocásticos en Tiempo DiscretoAún no hay calificacionesProcesos Estocásticos en Tiempo Discreto29 páginas
- Introducción a Procesos EstocásticosAún no hay calificacionesIntroducción a Procesos Estocásticos3 páginas
- Definición y Medición de Activos en ContabilidadAún no hay calificacionesDefinición y Medición de Activos en Contabilidad19 páginas
- Cuentas por Cobrar y NIIF para PYMESAún no hay calificacionesCuentas por Cobrar y NIIF para PYMES7 páginas
- Métodos de Medición en Estados FinancierosAún no hay calificacionesMétodos de Medición en Estados Financieros2 páginas
- Modelos Contables Patrimoniales en ContabilidadAún no hay calificacionesModelos Contables Patrimoniales en Contabilidad15 páginas
- Copia de EFIP 1 - Conferencia - 09-04-26Aún no hay calificacionesCopia de EFIP 1 - Conferencia - 09-04-2622 páginas
- Normas NIC 2 y NIC 16 sobre ActivosAún no hay calificacionesNormas NIC 2 y NIC 16 sobre Activos2 páginas
- Guía de Contabilidad Intermedia: Valuación y MediciónAún no hay calificacionesGuía de Contabilidad Intermedia: Valuación y Medición31 páginas
- Propiedades y Métodos de Estimación PuntualAún no hay calificacionesPropiedades y Métodos de Estimación Puntual12 páginas
- Modelos ARMA y Predicción en SeriesAún no hay calificacionesModelos ARMA y Predicción en Series32 páginas
- 01-5 Pe Links Semana 09 Junio 2020Aún no hay calificaciones01-5 Pe Links Semana 09 Junio 20201 página
- Aplicación de NIC 16 en Activos FijosAún no hay calificacionesAplicación de NIC 16 en Activos Fijos21 páginas
- Guía de Aprendizaje: Indicadores FinancierosAún no hay calificacionesGuía de Aprendizaje: Indicadores Financieros7 páginas
- Análisis y Utilidad de Estados FinancierosAún no hay calificacionesAnálisis y Utilidad de Estados Financieros55 páginas
- Indicadores Financieros: Definición y BeneficiosAún no hay calificacionesIndicadores Financieros: Definición y Beneficios2 páginas
- Análisis de Razones Financieras en ContabilidadAún no hay calificacionesAnálisis de Razones Financieras en Contabilidad34 páginas
- Análisis de Ratios Financieros EmpresarialesAún no hay calificacionesAnálisis de Ratios Financieros Empresariales1 página
- Ratios Financieros Esenciales en EmpresasAún no hay calificacionesRatios Financieros Esenciales en Empresas15 páginas
- Rentabilidad y Riesgo en ContabilidadAún no hay calificacionesRentabilidad y Riesgo en Contabilidad14 páginas
- Indicadores Financieros: Definición y UsoAún no hay calificacionesIndicadores Financieros: Definición y Uso1 página
- Apalancamiento y Capital de TrabajoAún no hay calificacionesApalancamiento y Capital de Trabajo8 páginas
- Régimen Simplificado de Confianza (RESICO)Aún no hay calificacionesRégimen Simplificado de Confianza (RESICO)8 páginas
- Índice de Desempeño del Costo (CPI)Aún no hay calificacionesÍndice de Desempeño del Costo (CPI)2 páginas
- Beneficios para Empleados según NIC 19Aún no hay calificacionesBeneficios para Empleados según NIC 1914 páginas
- Política Contable de Beneficios LaboralesAún no hay calificacionesPolítica Contable de Beneficios Laborales5 páginas
- Normativa NIIF sobre Propiedades y EquiposAún no hay calificacionesNormativa NIIF sobre Propiedades y Equipos5 páginas
- Depreciación de Activos Fijos y Vida ÚtilAún no hay calificacionesDepreciación de Activos Fijos y Vida Útil2 páginas
- Depreciación de Activos Fijos NIIFAún no hay calificacionesDepreciación de Activos Fijos NIIF3 páginas
- Propiedad, Planta y Equipo: Guía ContableAún no hay calificacionesPropiedad, Planta y Equipo: Guía Contable33 páginas
- Inversión Fija y Diferida en ProyectosAún no hay calificacionesInversión Fija y Diferida en Proyectos7 páginas
- IAS 16 Propiedades, Planta y Equipo MG CPC Victor YactayoAún no hay calificacionesIAS 16 Propiedades, Planta y Equipo MG CPC Victor Yactayo34 páginas
- Indicadores de Flujo de Caja EmpresarialAún no hay calificacionesIndicadores de Flujo de Caja Empresarial45 páginas
- Métodos de Valoración con ApalancamientoAún no hay calificacionesMétodos de Valoración con Apalancamiento18 páginas
- Clasificación de Razones FinancierasAún no hay calificacionesClasificación de Razones Financieras7 páginas
- Criterios de Valuación en ContabilidadAún no hay calificacionesCriterios de Valuación en Contabilidad8 páginas
- Gradientes Aritméticos y Geométricos en FinanzasAún no hay calificacionesGradientes Aritméticos y Geométricos en Finanzas4 páginas
- Indicadores Financieros de SolvenciaAún no hay calificacionesIndicadores Financieros de Solvencia2 páginas
- Inversión en Activos No CirculantesAún no hay calificacionesInversión en Activos No Circulantes19 páginas
- Análisis del Modelo CreditMetrics en Riesgo de CréditoAún no hay calificacionesAnálisis del Modelo CreditMetrics en Riesgo de Crédito20 páginas
- Normas NIIF II sobre Activos FinancierosAún no hay calificacionesNormas NIIF II sobre Activos Financieros53 páginas
- Valor Razonable y NIIF: Guía PrácticaAún no hay calificacionesValor Razonable y NIIF: Guía Práctica9 páginas
- NIC 36: Deterioro del Valor de ActivosAún no hay calificacionesNIC 36: Deterioro del Valor de Activos2 páginas
- Distribuciones en Procesos EstocásticosAún no hay calificacionesDistribuciones en Procesos Estocásticos4 páginas
- Definición de Proceso EstocásticoAún no hay calificacionesDefinición de Proceso Estocástico5 páginas
- Bandas Transportadoras NAB-12EEDV 11Aún no hay calificacionesBandas Transportadoras NAB-12EEDV 113 páginas
- Excentricidad en Edificaciones Sismo-ResistentesAún no hay calificacionesExcentricidad en Edificaciones Sismo-Resistentes27 páginas
- Guía de Introducción a la Teoría de CamposAún no hay calificacionesGuía de Introducción a la Teoría de Campos11 páginas
- Vectores Paralelos y PerpendicularesAún no hay calificacionesVectores Paralelos y Perpendiculares24 páginas
- Procedimiento de Bloqueo de Energías OPEAún no hay calificacionesProcedimiento de Bloqueo de Energías OPE32 páginas
- Sensores en Robots: Funciones y TiposAún no hay calificacionesSensores en Robots: Funciones y Tipos11 páginas
- Efecto de la Temperatura en Densidad y Métodos de MediciónAún no hay calificacionesEfecto de la Temperatura en Densidad y Métodos de Medición4 páginas
- Problemas de Física y Matemáticas ResueltosAún no hay calificacionesProblemas de Física y Matemáticas Resueltos2 páginas
- Maqueta de montaña rusa educativaAún no hay calificacionesMaqueta de montaña rusa educativa12 páginas
- Potencia: Definición y Ejemplos en FísicaAún no hay calificacionesPotencia: Definición y Ejemplos en Física5 páginas
- Aplicaciones de la Derivada en CálculoAún no hay calificacionesAplicaciones de la Derivada en Cálculo3 páginas
- TFM - MarioSuarezAlvarez Masa Sintonizada en PuenteAún no hay calificacionesTFM - MarioSuarezAlvarez Masa Sintonizada en Puente114 páginas
- Certificado de Conformidad de AislamientoAún no hay calificacionesCertificado de Conformidad de Aislamiento8 páginas
- Ejemplos de magnetismo en bobinasAún no hay calificacionesEjemplos de magnetismo en bobinas5 páginas
- Neumática e Hidráulica: Fundamentos y AplicacionesAún no hay calificacionesNeumática e Hidráulica: Fundamentos y Aplicaciones23 páginas
- Métodos de Análisis de Estabilidad de TaludesAún no hay calificacionesMétodos de Análisis de Estabilidad de Taludes127 páginas
- Práctica de Cizalladura: Análisis y ResultadosAún no hay calificacionesPráctica de Cizalladura: Análisis y Resultados3 páginas
- Programación de Filosofía 1º Bachillerato100% (2)Programación de Filosofía 1º Bachillerato34 páginas
- Guía sobre Movimiento Rectilíneo UniformeAún no hay calificacionesGuía sobre Movimiento Rectilíneo Uniforme5 páginas
- Cuestionario sobre Ecuaciones LinealesAún no hay calificacionesCuestionario sobre Ecuaciones Lineales4 páginas
- Comparativa de Propiedades de Gases y LíquidosAún no hay calificacionesComparativa de Propiedades de Gases y Líquidos1 página
- Evaluación sísmica en La VictoriaAún no hay calificacionesEvaluación sísmica en La Victoria266 páginas
- Criterios para Selección de Curvas de AjusteAún no hay calificacionesCriterios para Selección de Curvas de Ajuste16 páginas
- Perfil Docente y Estrategias en MatemáticasAún no hay calificacionesPerfil Docente y Estrategias en Matemáticas4 páginas
- Taller de Circuitos y Leyes de KirchhoffAún no hay calificacionesTaller de Circuitos y Leyes de Kirchhoff4 páginas
- Prototipo de Bobina de Tesla en VitarteAún no hay calificacionesPrototipo de Bobina de Tesla en Vitarte3 páginas
- Examen de División Algebraica: Preguntas ClaveAún no hay calificacionesExamen de División Algebraica: Preguntas Clave2 páginas