Procesos Estocásticos I, Tarea 1
Fecha de entrega: 5 de Septiembre 2019
1. Una máquina tiene tres partes (1, 2, 3) muy importantes para su funcionamiento y todas corren el
riesgo de descomponerse, independientemente una de otra. Sin embargo, la máquina puede seguir tra-
bajando siempre y cuando dos de estas piezas estén funcionando. Cuando se tienen dos de estas piezas
descompuestas, son reemplazadas el mismo dı́a, por lo tanto nunca hay tres piezas descompuestas. Sea
Xn la variable aleatoria que denota las partes que están descompuestas el n-ésimo dı́a. La sucesión
{Xn , n ∈ N} es un cadena de Markov con espacio de estados {1, 2, 3, 12, 13, 23}. Aquı́ cada estado
denota la o las piezas que están descompuestas. Por ejemplo, el estado 12, significa que las piezas 1 y
2 están descompuestas. Proporcione la matriz de transición P de esta cadena bajo el supuesto que las
partes 1, 2 y 3 fallan con probabilidad 0.01, 0.02 y 0.04, respectivamente, y que dos piezas no pueden
fallar el mismo dı́a.
2. Un modelo simplificado para el desarrollo de una enfermedad es el siguiente: El tamaño de la población
es N = 5, de los cuales algunos tienen la enfermedad y el resto está sano. Durante cada periodo de
tiempo se seleccionan dos personas al azar de la población y se supone que ellas interactúan. La selección
se hace al azar, de modo que cualquier par de personas en la población tiene igual probabilidad de ser
escogido. Si una de estas personas está enferma y la otra no, con probabilidad 0.1 la enfermedad se
transmite a la persona sana. En otro caso no hay transmisión. Sea Xn el número de personas enfermas
en la población al final del periodo n. ¿Es este proceso una cadena de Markov? Explique su respuesta.
Si su respuesta es afirmativa, halle la matriz de transición de la cadena.
3. Considere una sucesión infinita de ensayos de Bernoulli independientes y simétricos (p =0.5). Sea An
el número de exitos y Bn el número de fracasos al cabo de n lanzamientos. Considere Xn = An − Bn
Es una cadena de Markov? Determine su matriz de transición.
4. Demuestre que si P y Q son matrices estocásticas (transición), entonces P Q también lo es.
5. Mostrar que si P es la matriz de transición de una cadena irreducible con espacio de estados finito
entonces Q := (1/2)(I + P ) es la matriz de transición de una cadena irreducible y aperiódica. Dar una
interpretación de como se comportan las transiciones de Q con respecto a las de P .
6. Una cadena de Markov de tres estados: 1,2, y 3 tiene distribución inicial λ = (2/5,1/5,2/5) y matriz
de transición
0 1/3 2/3
P = 1/4 3/4 0
2/5 0 3/5
Calcule las siguientes probabilidades:
a) P(X1 = 2, X2 = 2, X3 = 2, X4 = 1, X5 = 3 | X0 = 1).
b) P(X1 = 2, X2 = 2, X3 = 1)
c) P(X2 = 2, X5 = 2 | X1 = 2, X0 = 3).
n si X es una cadena de
7. Para toda n, encuentra P11 Markov en {1, 2, 3} con matriz de transición
0 1 0
P = 0 1/2 1/2
1/2 0 1/2
1
8. Una pulga amaestrada brinca aleatoriamente en los vértices de un triángulo, todos sus saltos tienen
la misma probabilidad y se supone que en cada etapa cambia de lugar. Calcule la probabilidad de
que después de n saltos la pulga regrese a su punto de partida. Suponga que otra pulga brinca en los
vértices de un triángulo, pero que esta brinca el doble de veces a su derecha que a su izquierda. ¿Cuál
es la probabilidad de que después de n saltos la pulga regrese a su punto de partida?.
9. Determina las clases de estados y cuales de ellos son recurrentes y transitorios para la cadena de
Markov con matriz de transición:
1 0 0 0 0 0
1/4 1/2 1/4 0 0 0
0 1/5 2/5 1/5 0 1/5
P =
0 0 0 1/6 1/3 1/2
0 0 0 1/2 0 1/2
0 0 0 1/4 0 3/4
10. Demuestre que si i es recurrente y i → j entonces j → i.
11. La cadena de Markov asociada a un proceso de producción es el siguiente. El proceso inicia en el paso
1. Al concluir el paso 1, 20 % de las piezas manufacturadas deben ser reelaboradas, es decir, regresan al
paso 1, 10 % son desechadas y 70 % van al paso 2. Al concluir el paso 2, 5 % de las piezas deben regresar
al paso 1, 10 % al paso 2, 5 % son desechadas y el 80 % restantes pueden ser vendidas al mercado.
a) Formule una cadena de Markov con 4 estados donde el estado 3 corresponde a las piezas desechadas
y el 4 a las piezas que son vendidas. Escriba su matriz de transición.
b) Calcule la probabilidad de que una pieza sea desechada en el proceso, empezando en el paso 1.
(Probabilidad de absorbción)
12. Alicia es estudiante de primer semestre de Actuarı́a en la Facultad de Ciencias, cada fin de semestre
tiene: una probabilidad p de avanzar al siguiente semestre (si está en el octavo semestre avanzar
equivale a graduarse), una probabilidad r de repetir el semestre (si Alicia reprueba una materia se
desanima y repite el semestre) o una probabilidad q de desertar. Además, p + q + r = 1.
a) Forme una cadena de Markov con los estados: D, 1, 2, 3, 4, 5, 6, 7, 8 y G. Donde D equivale a
desertar y G a graduarse.
b) Clasifique los estados y para cada clase de comunicación determine si es cerrada o abierta, recu-
rrente o transitoria y calcule su periodo.
c) ¿Cuál es la probabilidad de que Alicia se gradué?