53238281 Cadenas Markov

1. Procesos Estocásticos 1.1. Definición

Un proceso proceso estocástico estocástico {Xt, t T} es una colección colección de variables variables aleator aleatorias. ias. Esto es, para para cada t T, Xt es una una variable variable aleato aleatoria. ria. Índice de proceso. El conjunto T es llamado el “índice” del proceso. El índice t es a menudo interpretado como tiempo, pero puede referirse a cualquier otra cosa,. Por ejemplo, al número de un juego. Denotamos por Xt a una variable que representa el estado del proceso proc eso en el tiempo t. Espacio de estados = E. Conjunto de todos los posibles valores que la variable Xt puede tomar. Ejemplos. Xt puede ser: •

Número de clientes en un supermercado

•

Estado del tiempo

Precio de una acción, etc. Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se usará la siguiente notación, reemplazando el subíndice t por n: {Xn, n = 0, 1,...} Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notación: {Xt, t 0} proceso proceso estocástico estocástico de tiempo tiempo continuo. continuo. En resumen, un proceso estocástico es una familia de variables aleatorias que describe la evolución de un proceso (físico) (fís ico) a través del tiempo. Para describirlo, bastaría con conocer la distribución conjunta de dichas variables aleatorias. Realización de un proceso: Conjunto particular de valores que toma el proceso. •

1.2. Estructura probabilística del proceso

Como ya se mencionó, para conocer el comportamiento de un proceso estocástico, basta con conocer la distribución conjunta de probabilidad P(x1,x2,....Xn) Considere un proceso estocástico de parámetro discreto n = 0, 1, 2,...,. Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su comportamiento puede describirse mediante la función de probabilidad conjunta. Para ello considere la siguiente probabilidad: P = P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) Usando la fórmula de probabilidad condicional P(AB) = P(A/B) P(B), la probabilidad anterior puede escribirse como: P = P(Xn=in, Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1, …, X1=i1, X0=i0) Usando de nuevo el condicional, la probabilidad se puede expresar como: P = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0) P(Xn-2=in-2 …, X1=i1, X0=i0)

De nuevo, usando el condicional en forma iterativa, se llega a la siguiente expresión para la probabilidad conjunta: P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0)xP(Xn-2=in-2 …, X1=i1, X0=i0) x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0) De lo anterior, se observa que la probabilidad conjunta puede expresarse en términos de las probabilidades condicionales, condicionando el resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n-2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta condicionar el resultado en el tiempo 1 al estado es tado inicial. Usando la expresión anterior, se pueden calcular la probabilidad conjunta para cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso independiente y el caso dependiente de Markov. 1.3. Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por: P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn2 = in-2)…P(X1 = i1) P(X0 = i0) 1.4. Caso Markoviano Markoviano

Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera: P(Xn = in/Xn-1 = in-1, Xn-2 = in-2…, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in1) Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3,…, X1, X0). En este caso se dice que el proc proceso eso tiene la “propiedad Markoviana”, o tiene pérdida de memoria, es decir, el futuro depende únicamente del presente y es independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1) se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un período. La probabilidad conjunta se expresa entonces como P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)…P(X2 = i2/X1 = i1)P(X1 = i1/X0 = i0)P(X0 = i0) Ejemplos: Problema del jugador, caminata c aminata aleatoria. 2. Cadenas de Markov

Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,} que toma un número finito o infinito de valores. Supondremos que E = (0, ( 0, 1,2,...,M) ó E = (0, 1,2,...) Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o etapa n. El tiempo se denomina “etapa o paso” 

De nuevo, usando el condicional en forma iterativa, se llega a la siguiente expresión para la probabilidad conjunta: P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0)xP(Xn-2=in-2 …, X1=i1, X0=i0) x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0) De lo anterior, se observa que la probabilidad conjunta puede expresarse en términos de las probabilidades condicionales, condicionando el resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n-2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta condicionar el resultado en el tiempo 1 al estado es tado inicial. Usando la expresión anterior, se pueden calcular la probabilidad conjunta para cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso independiente y el caso dependiente de Markov. 1.3. Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por: P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn2 = in-2)…P(X1 = i1) P(X0 = i0) 1.4. Caso Markoviano Markoviano

Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera: P(Xn = in/Xn-1 = in-1, Xn-2 = in-2…, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in1) Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3,…, X1, X0). En este caso se dice que el proc proceso eso tiene la “propiedad Markoviana”, o tiene pérdida de memoria, es decir, el futuro depende únicamente del presente y es independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1) se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un período. La probabilidad conjunta se expresa entonces como P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)…P(X2 = i2/X1 = i1)P(X1 = i1/X0 = i0)P(X0 = i0) Ejemplos: Problema del jugador, caminata c aminata aleatoria. 2. Cadenas de Markov

Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,} que toma un número finito o infinito de valores. Supondremos que E = (0, ( 0, 1,2,...,M) ó E = (0, 1,2,...) Si Xn=i decimos que el proceso se encuentra en el estado i en el tiempo o etapa n. El tiempo se denomina “etapa o paso” 

Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso cumple la condición de Markov o tiene la propiedad markoviana si P(Xt+1 = j/Xn = i, Xn-1 = in-1…, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i) Se tiene entonces que la probabilidad condicional de cualquier evento futuro dados el evento presente o actual y los eventos pasados depende únicamente del presente y es independiente del pasado. 2.1. Probabilidad de transición

La probabilidad P(Xt+1 = j/Xt = i) se denomina “probabilidad de transición” o probabilidad de pasar del estado i al estado j en una etapa o transición. 2.1.1. Probabilidad estacionaria

Si para cada i, j y t se cumple P(Xt+1=j/Xt=i) = P(X1=j/X0=i) se dice que las probabilidades son “estacionarias”, es decir, no cambian con el tiempo y se denotan simplemente por pij. Estas probabilidades de transición tienen las siguientes propiedades:

2.1.2. Probabilidad de transición en n pasos

También se tiene P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n) y se denomina “probabilidad de transición en n pasos”  Como los pij(n) son probabilidades se tiene que:

2.1.3. Matriz de transición en una etapa P

Es una matriz cuadrada conformada por las probabilidades de transición en una etapa P = {pij}

La matriz de transición debe cumplir las siguientes propiedades:

La primera propiedad se debe al hecho de que se trata de una probabilidad, y la segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado i. 2.1.4. Diagrama de transición

Una cadena de Markov se puede representar en forma gráfica mediante un diagrama de transición, en el cual los estados se representan por figuras geométricas (círculos, cuadrados, etc), y mediante flechas orientadas se indican las transiciones posibles entre los diferentes estados. es tados. (ver el problema del  jugador). Ejemplo 2.1 Estado del tiempo

Suponga que el estado del tiempo en un día cualquiera depende únicamente del estado del tiempo del día anterior. Mas específicamente, suponga que si llueve hoy, la probabilidad probabilidad de que llueva mañana mañana es (=0.7), y si no no llovió hoy la probabilidad de que llueva mañana es (=0.4). Represente este proceso como una cadena de Markov. Solución. Si denotamos por Xn el estado del tiempo el día n, por las suposiciones dadas se concluye claramente que el proceso Xn es una cadena de Markov, con el siguiente espacio de estados: E = (Lluvia, no lluvia) = (0, 1) La matriz de transición correspondiente será:

Ejemplo 2.2 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos  jugadores. Si denotamos por Xn el capital del jugador A después de n jugadas, a) Es Xn una cadena de Markov? b) Si lo es, cual sería la matriz de transición. Solución. El capital del jugador A después de n juegos es igual al capital que

tiene al final del juego n-1 más el resultado obtenido al realizar el último juego n, es decir, Xn = Xn-1 + Yn donde Yn es el resultado del n-ésimo juego (±1). De la expresión anterior, se concluye que cumple la condición de Markov. Observación. El capital del jugador A después de n juegos puede expresarse

en términos del capital inicial X0 ( = k) y de los resultados de las n apuestas que haga Y1, Y2,..., Yn-1, Yn. Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn

Al examinar la expresión podría pensarse que no se cumple la condición de Markov. Mas sin embargo debe tenerse en cuenta que el capital después de los n-1 primeros juegos Xn-1 es igual a: Xn-1 = X0 + Y1 + Y2 + ... + Yn-1 con lo cual se obtiene la expresión dada anteriormente El espacio de estados está dado por E = (0, 1, 2,..., M) Las probabilidades de transición están dadas por:

ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta.

El problema el jugador se puede representar mediante el siguiente “diagrama de transición”.

Ejemplo 2.3 Sistema de inventarios

Considere un sistema de inventario (s, S) donde se pide la cantidad necesaria para elevar el inventario al nivel S cuando el inventario es menor que s. En caso contrario no se pide nada. El pedido se entrega al principio de la siguiente semana. La demanda semanal tiene la siguiente distribución de probabilidad (corresponde a una distribución de Poisson con tasa = 1.5):

Sea Xn el inventario al final de la semana n. a) ¿Es Xn una cadena de Markov? b) En caso afirmativo, ¿cual será la matriz de transición?. Sea s = 1, S = 3 Solución. El inventario al final de una semana (Xn) es igual al inventario al

final de la semana anterior (Xn-1) menos la demanda atendida durante la semana Dn más las órdenes colocadas al final de la semana anterior para reabastecer el inventario (On-1), las cuales llegan al principio de la semana. Por lo tanto Xn se expresa como: Xn = Xn-1 + Qn-1 - Dn donde Qn-1 = Cantidad pedida al final de la semana n-1 Dn = demanda atendida durante la semana n El espacio de estados está dado por E = (0, 1, 2, 3) Cálculo de las probabilidades de transición Cálculo de p00. Para calcular p00 debe tenerse en cuenta que si el inventario es

cero al final de una semana, se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar de nuevo la semana en cero, se requiere que la demanda durante esa semana sea de por lo menos tres unidades P00=P(Xn=0/Xn-1=0)= P(D 3) = .126+.047+.018 =.191 Cálculo de p01, p02 y p03. Para calcular p0j (j = 1, 2, 3) debe tenerse en cuenta que si el inventario es cero al final de una semana, se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar la semana con inventarios de 1, 2 o 3 unidades, se requiere que las demandas respectivas durante la semana sean de 2, 1 y 0 unidades P01 = P(Xn=1/Xn-1=0)= P(D=2) = 0.251 P02 = P(Xn=2/Xn-1=0) = P(D=1) = 0.335 P03 = P(Xn=3/Xn-1=0) = P(D=0) = 0.223 Cálculo de p1j. Si el inventario al final de una semana es uno no se hace ningún pedido. Por lo tanto, para pasar de un inventario de uno a un inventario de cero, (p10) se requiere que la demanda durante esa semana sea de por lo menos una unidad, y para poder terminar la semana con una unidad en el inventarios la demanda durante la semana debe ser cero. Además, como no se hace pedido, no es posible terminar la semana con dos o tres unidades si al final de la semana anterior sólo había una unidad en el inventario. P10 = P(D 1) =0.335+.251+.126+.047+.018 = 0.777 P11 = P(D=0) = 0.223 P12 = 0, P13 = 0 La matriz de transición resultantes es la siguiente:

Ejemplo 2.4 Genio de una persona.

Suponga que el genio (humor) de un compañero en un día cualquiera puede ser  “alegre”, “normal”, o “de mal genio(malhumorado)”. Suponga además que si hoy está de buen genio mañana puede estar de buen genio, normal o malhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoy está “normal” mañana puede estar de buen genio, normal o malhumorado con probabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy está de mal humor, mañana puede estar de buen genio, normal o malhumorado con probabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n ? 0} representa el genio de su compañero, la matriz de transición estará dada por

donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2] Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b, 14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a Ejemplo 2.5 Transformación de una cadena de Markov. El estado del tiempo

Suponga que el estado del tiempo un día cualquiera depende de las condiciones del tiempo en los dos días anteriores. Así: Si ha llovido en los dos últimos días, lloverá mañana con probabilidad de 0.7 •

•

•

Si llovió hoy pero no ayer, la probabilidad de que llueva mañana es de 0.5 Si llovió ayer pero no hoy, la probabilidad de que llueva mañana es de 0.4

Si no ha llovido los dos últimos días, la probabilidad de que llueva mañana es de 0.2 a) ¿Es el proceso anterior una cadena de Markov? b) Si no lo es, puede transformarse para que lo sea? Solución. Si denotamos por Xn el estado del tiempo el día n, entonces Xn es una función no sólo de Xn-1 sino también de Xn-2, por lo cual no es una cadena de Markov. Si embargo, si redefinimos el estado del proceso como el estado del tiempo en dos días consecutivos, el proceso sería una cadena de Markov. Así: Xn = Estado del tiempo en los días n y n-1. La convención podría ser la siguiente: •

Estado Condición

0

Llueve los dos últimos días- LL Llueve el día actual pero no el 1 anterior-LN No llueve el último día, pero sí el 2 anterior- NL 3 No ha llovido los dos últimos días-NN E = (0, 1, 2, 3) = (LL, LN, NL, NN) Cálculo de las probabilidades de transición Estado futuro = Estado del tiempo mañana y hoy Estado actual = Estado del tiempo hoy y ayer P00 = P(LmañanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos últimos días) = 0.7 P01 = P(LmañanaNhoy/LhoyLayer) = 0 P02 = P(NmañanaLhoy/LhoyLayer) = 0.3 P03 = P(NmañanaNhoy/LhoyLayer) = 0 P10 = P(LmañanaLhoy/LhoyNayer) = 0.5 P11 = P(LmañanaNhoy/LhoyNayer) = 0

P12 = P(NmañanaLhoy/LhoyNayer) = 0.5 P13 = P(NmañanaNhoy/LhoyNayer) = 0 La matriz de transición resultante es la siguiente:

Ejemplo 2.6 Taller con dos máquinas y un mecánico

Considere un taller que tiene 2 máquinas y un mecánico que las repara cuando fallan. Si una máquina está trabajando, la probabilidad de que falle en una hora es . Si una máquina está bajo reparación, la probabilidad de que el mecánico termine de repararla en una hora es . Si Xn es el número de máquinas en operación al final de la hora n, a) ¿Es Xn una cadena de Markov?. Explique b) En caso afirmativo, calcule la matriz de transición Solución. El número de máquinas en operación al final de una hora (Xn) es igual al número de máquinas en operación al final de la hora anterior (Xn-1) más el número de máquinas reparadas durante la última hora (Rn) menos el número de máquinas que han fallado durante la última hora (Fn). Por lo tanto Xn se expresa como se indica a continuación, de donde se desprende que es una cadena de Markov. Se supone que las máquinas fallan al final de la hora, o que sólo al final de la hora se descubre que las máquinas han fallado, o que el mecánico ha terminado la reparación. (No hay eventos simultáneos) Xn = Xn-1 + Rn - Fn donde Rn = Número de máquinas reparadas durante la última hora. Fn = Número de máquinas que fallaron durante la última hora. El espacio de estados está dado por E = (0, 1, 2) Cálculo de las probabilidades de transición Cálculo de p00, p01 y p02. Para pasar del estado cero al estado cero se requiere que el mecánico no termine la reparación de una máquina (1 - ) y para pasar al estado uno se requiere que termine de reparar la máquina ( ). P00 = P(mecánico no termine la reparación) =1 P01 = P(mecánico termine la reparación) = P02 = P(Reparar dos máquinas) = 0 Cálculo de p10, p11 y p12. Para pasar del estado uno al estado cero se requiere que el mecánico no termine la reparación de la máquina que está arreglando (1 - ) y que la máquina que estaba en operación se dañe ( ). Para pasar del estado uno al estado uno se requiere que el mecánico no termine la reparación de la máquina que está arreglando (1 - ) y que la máquina que estaba operando no se dañe (1 - ), o que el mecánico termine la reparación de la máquina que está arreglando ( ) y que la máquina que estaba operando se dañe ( ).Para pasar del estado uno al estado dos se requiere que el mecánico termine la reparación de la máquina que está arreglando ( ) y que la máquina que estaba operando no se dañe (1 - ) p10 = P(No terminar reparación y máquina buena se dañe = (1 - ) ( ) p11 = P(no terminar reparación y la máquina buena no se dañe)

P(terminar reparación y la máquina buena dañe) = (1 - ) (1 - ) + ( ) ( ) p12 = P(terminar reparación y que máquina buena no se dañe) = ( ) ( ) Queda como un ejercicio calcular las probabilidades de transición desde el estado 2 hacia los demás estados. La matriz de transición resultante es la siguiente:

2.2. Matriz de transición en n etapas

Probabilidad de transición en n etapas: Probabilidad de que un proceso pase del estado i al estado j en n transiciones o pasos. P(Xn=j/X0 =i) = P(Xn+m=j/Xm=i) = Se tiene que

, n, i, j 0

=

Cálculo de

Para pasar del estado i al estado j en dos transiciones se debe pasar por un estado intermedio k en la primera transición y luego ir del estado k al estado j en la segunda transición. Este estado k puede ser cualquiera de los estados del proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso

Denotemos por la matriz formada por las probabilidades de transición en dos etapas, cuyos elementos son las diferentes probabilidades de transición en dos etapas

. Al analizar la expresión resultante para

observamos este

elemento es igual al producto de la fila i de la matriz de transición en una etapa P por la columna j de la misma matriz. Es decir, la matriz de transición en dos etapas, es simplemente el producto de la matriz de transición de una etapa por sí misma. Por lo tanto, Matriz de transición en 3 etapas Cálculo P(3)

Para pasar del estado i al estado j en tres etapas se puede pasar en el primer paso por un estado intermedio k, y luego hacer la transición del estado k al estado j en los restantes dos pasos, es decir:

Si P(3) es la matriz de transición en 3 pasos, entonces se tiene que También se puede pasar al estado intermedio k en los primeros dos pasos, y luego hacer la restante transición al estado j en un paso, es decir

Es decir, P(3) se puede expresar como: Matriz de transición en n etapas - P(n) Ecuación de Chapman Kolmogorov .

Para pasar del estado i al estado j en n etapas se puede pasar en los m primeros pasos por un estado intermedio k, y luego hacer la transición del estado k al estado j en los n-m restantes pasos, es decir:

Si P(n) es la matriz de transición en n pasos, entonces puede expresarse como: También para pasar del estado i al estado j en n etapas se puede pasar al estado intermedio k en los primeros n-m pasos, y luego hacer la transición al estado j en m pasos, es decir

Es decir,

se puede expresar como:

El sistema anterior de ecuaciones recibe el nombre de Ecuación de Chapman Kolmogorov Propiedades:

Ejemplo 2.7 Estado del tiempo. ¿Cuál es la probabilidad de que llueva dentro

de 4 días si está lloviendo hoy?. Solución. Para responder esta pregunta debemos calcular las probabilidades de transición en cuatro paso

La probabilidad requerida está dada por = 0.5749 Ejemplo 2.8 Sistema de inventarios. Calcule la probabilidad de que no haya

unidades en el inventario dentro de dentro de cuatro días si hoy no hay nada. La matriz de transición en varias etapas (n =2, 4, 8) se presenta en la página siguiente: La probabilidad requerida está dada por

¿Qué comportamiento se observa en 2.3. Probabilidades de estado

= 0.3993

a medida que n aumenta?

Se denomina “probabilidad de estado” a la probabilidad (incondicional) de que después de n transiciones el proceso se encuentra en el estado j, la cual denotaremos por

= P(Xn=j)

Cálculo 1. La probabilidad de estado

se puede calcular condicionando bien sea en el estado inicial o en cualquier otro estado. Condicionando en el estado inicial se tiene:

Si denotamos por ={ , ,..., } un vector fila con las probabilidades de estado, y analizamos la ecuación anterior tenemos que se puede expresar como : = donde ={

es el vector de estado o probabilidad inicial { ,

,

,...,

= P(X0=j)} y

}

Cálculo 2. También se puede calcular

condicionando en cualquier otro estado. Si se condiciona en el penúltimo estado que visite el proceso se tiene:

Analizado la ecuación anterior tenemos que: = donde

P es el vector de probabilidad de estado para la etapa n-1.

Ejemplo 2.9 Estado del tiempo. Calcule la probabilidad de que llueva dentro

de cuatro días si es igualmente probable que llueva o no llueva hoy.

Solución. Como es igualmente probable que llueva o no llueva hoy, se tiene

que = (0.5, 0.5). La probabilidad de que llueva dentro de cuatro días se calcula como:

Ejemplo 2.10 Sistema de inventarios 1. Si el inventario inicial es 2

unidades, cual es la probabilidad de que no haya inventario al final de la primera semana? De la cuarta? De la octava?. Qué pasa si el inventario inicial fuera tres? Solución. Si el inventario inicial es dos unidades, tenemos entonces que

(0, 0, 1, 0). Por lo tanto:

=

La probabilidad de que no haya inventario al final de la primera semana es 0.442, al final de la cuarta es 0.4002 y al final de la octava es 0.4005 . Ejemplo 2.11 Sistema de inventarios 2. Si el inventario inicial fuera 3 unidades, las probabilidades de estado para las etapas 1,2, 4 y 8 serían:

La probabilidad de que no haya inventario al final de la primera semana es 0.191, al final de la cuarta es 0.3993 y al final de la octava es 0.4005 Analice las respuestas anteriores, y como es su comportamiento. ¿Qué se observa? Comportamiento de las probabilidades de estado.

a) Qué se observa en el comportamiento de b) Qué pasa con

cuando n aumenta?

cuando n aumenta y se cambia el estado inicial?

2.4. Clasificación de estados Accesibilidad. El estado j es accesible desde el estado i (i j) si

>0. Esto implica que j es accesible desde i si y solo si, empezando en i es posible que el proceso entre al estado j. Esto es verdadero dado que si j no es accesible desde i, entonces

Comunicabilidad. Si el estado j es accesible desde el estado i, y el estado i es

accesible desde el estado j, entonces se dice que los estados i y j se comunican (i j). La comunicación tiene las siguientes propiedades: a) Reflexiva: Todo estado se comunica consigo mismo, ya que =1 b) Simétrica: Si i se comunica con j, entonces j se comunica con i c) Transitiva: Si i se comunica con j, y j se comunica con k, entonces i se comunica con k.

Conjunto cerrado C. Sea Cj el conjunto (clase cerrada) formado por el estado

 j y todos los estados que se comunican con el estado j. Puede contener un solo elemento. Ejemplo 2.12 Sistema de inventarios. Se tiene que:

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E Ejemplo 2.13 Problema del jugador. Se tiene que

C0 = (0) C1 = (1, 2, 3, ..., M-1) = C2 = C3 = ...= CM-1 CM = (M) Clases disjuntas. Los estados de una cadena de Markov se pueden clasificar

en clases disjuntas (cerradas), donde los estados que se comunican pertenecen a la misma clase. Ejemplo 2.14 Problema del jugador. Se tiene que E=(0,1,2,...,M-1,M)

C0 = (0) = E1, C1 = (1, 2, ..., M-1) = C2 = ... = CM-1 = E2, CM = (M) = E3 y Ejemplo 2.15 Problema de inventarios. Se tiene: E = (0, 1, 2, 3).

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E

Proceso irreducible. Una cadena de Markov es irreducible si sólo contiene una

clase, es decir, si todos los estados se comunican. Por ejemplo el sistema de inventarios. Estados recurrentes y transitorios

Sea fii= Probabilidad de que el proceso regrese al estado i dado que empieza o se encuentra en dicho estado i Estado recurrente. El estado i es recurrente si fii=1, es decir, hay certeza de

regresar a dicho estado.

Estado absorbente: Es un caso especial de un estado recurrente cuando pii=1 Estado transitorio: El estado i es transitorio si fii<1, es decir existe una

probabilidad =1 – fii>0 de no regresar al estado una vez se sale de él.

Ejemplo 2.16 Problema del jugador. Se tiene que E = (0, 1, 2, ..., M-1, M)

Como se observa en el diagrama de transición, los estados 0 y M son absorbentes, ya que una vez el proceso entra en dichos estados, no vuelve a salir de allí. Los demás estados se comunican entre sí, pero son transitorios, ya que si el proceso sale del estado 1 o del estado M-1 nunca regresa a dichos estados. Se tiene que f00= fMM = 1, y fii < 1, para i 0, M Para encontrar el número esperado de períodos que el proceso se encuentra en el estado i dado X0 = i, considere: Sea Bn = 1 si Xn = 1, y Bn = 0 si Xn i La cantidad representa el número de períodos que el proceso está en el estado i dado X0=i Su esperanza está dada por:

De lo anterior se tiene que: El estado i es recurrente si

El estado i es recurrente si

La recurrencia es una propiedad de clase, es decir, todos los estados que pertenezcan a una misma clase son todos recurrentes o todos transitorios. De nuevo, considere el problema del jugador. Claramente el estado 1 es transitorio, ya que si del estado 1 se pasa al estado 0, nunca se regresa al estado 1. Además, los estados 1, 2,..., M-1 se comunican entre sí. Por lo tanto, estos estados son también transitorios. El mismo argumento empleado para el estado 1 se puede usar para el estado M-1. No todos los estados de una cadena de Markov pueden ser transitorios. Considere un proceso de Markov con la siguiente matriz de transición. Clasifique sus estados. Sea E=(0, 1, 2, 3, 4) (Uso diagrama de transición)

C0=(0,1) =C1, C2 = (2,3) = C3, C4= (4) E1 = (0,1), E2 = (2,3), E3 = (4) Recurrentes = (0,1), (2,3) y transitorio = (4) Período. El período de un estado i se define como el entero t (t >1) si

0 para todos los valores de n t, 2t,3t,..., y t es el entero mayor con esta propiedad.

=

Ejemplo 2.17 Problema del jugador. Considere el estado 1. Si se está en el

estado 1, sólo se puede pasar a él, en los tiempos 2, 4, 6, etc. Igual sucedería con los estados, 2, 3,.., M-1. (Esto se puede verificar calculando analizando el diagrama de transición).

o

La periodicidad es propiedad de clase, es decir, si el estado i es periódico con período t, y el estado i se comunica con el estado k, entonces el estado k también tiene período t. Estado aperiódico. El estado i es aperiódico si existen dos enteros s y s+1

tales que el proceso pueda encontrarse en el estado i en los tiempos s y s+1. Se dice que el estado tiene período 1. Por ejemplo, en el sistema de inventarios analizado previamente todos los estados se comunican, y son aperiódicos. Recuerde que para pasar de un estado a otro, la transición se puede dar en varios pasos, no necesariamente en uno sólo.

Estado ergódico. Se dice que un estado es ergódico si dicho estado es

recurrente y aperiódico

Ergodicidad. Un proceso estocástico es ergódico si es irreducible y aperiódico

Problema. Considere los cadenas de Markov descritos por las matrices de transición. Clasifique sus estados.

2.5. Tiempos de primera pasada

El tiempo de primera pasada corresponde al número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j, corresponde al número de transiciones para regresar al estado i y se denomina tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el número de semanas requerido para pasar de un inventario de cero a otro inventario de cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos consecutivos Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una función de densidad. Ecuaciones recursivas. Sea =Probabilidad de que el tiempo de primera pasada del estado i al estado  j sea n. Para n = 1 se tiene claramente que: Para n = 2, representa todas las formas en que se puede pasar de i a j en dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o transición siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad de transición en dos pasos Para cualquier valor de n, representa todas las formas en que el proceso puede pasar del estado i al estado j en n pasos, lo cual incluye pasar a j en un paso y quedarse ahí en las n-1 transiciones siguientes, o pasar a j en dos pasos y quedarse ahí en las n-2 transiciones siguientes,..., o pasar a j en los primeros n-1 pasos y quedarse ahí en la transición siguiente. Por lo tanto estas probabilidades deben restarse de la probabilidad de transición en n pasos

Sea fij la probabilidad (incondicional) de que el proceso pase del estado i al estado j, la cual está dada por:

Entonces, como ya se había visto, el estado i es recurrente si fii=1, y es transitorio si fii<1 (no hay certeza de realizar la transición) Tiempo esperado de primera pasada ij

Corresponde al tiempo esperado para ir del estado i al estado j, y en teoría, se puede calcular usando la definición de valor esperado, a saber:

Los son difíciles de calcular. Sin embargo, los ?ij se pueden calcular más fácilmente usando el siguiente conjunto de ecuaciones: Cálculo de ij .Si los estados i y j son recurrentes, los tiempos de primera

pasada se pueden calcular usando el conjunto de ecuaciones dado por:

Explicación: Para ir del estado i al estado j por primer vez se requiere: a) Realizar mínimo un paso. Si llega a j ij = 1 b) Si no se llega a j sino a k j, entonces partiendo de k pasa a j en un número esperado de kj pasos. Primero se plantea y resuelve el sistema de ecuaciones para ?ij para i?j, y luego se calcula la ecuación correspondiente a jj. Ejemplo 2.18 Sistema de inventarios. Calcular el tiempo medio de

recurrencia del estado 0 00.

las ecuaciones a plantear y resolver son las siguientes:

Realizado el cálculo de 10, 20 y 30 se calcula 00 como: 00 = 1+ p01 10+ p02 20+ p03 30

Las ecuaciones resultantes son:

De (3) se obtiene 10 = 1/0.777 = 1.287 (4) (4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5) (4)y (5) en (1): 30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497 00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497 ¿Cómo se interpreta 00=2.497? Tiempo entre pedidos 2.6. Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de estado estable)

Al examinar las probabilidades de transición en n pasos , se observa que a medida que n aumenta, estas probabilidades tienden hacia una constante , independiente del valor inicial de i es decir, puede existir una probabilidad límite, independiente de su estado inicial. Esta probabilidad límite está dada por Un comportamiento similar se observó para la probabilidad de estado para dos condiciones iniciales diferentes (gráfico de n vs qj(n)). Además, los valores límites eran los mismos. Es decir,

2.6.1. Cálculo de probabilidades de estado estable Recordemos que

se puede calcular como:

Usando la expresión de la derecha tenemos que:

Como Teniendo en cuenta lo anterior, se tiene que

Si definimos el vector fila tenemos que la ecuación anterior se puede escribir en forma matricial como (se obtiene un sistema de M+1 ecuaciones y M+1 variables)

Como los forman una distribución de probabilidad, entonces . Por lo tanto, las probabilidades de estado estable (o en régimen permanente) deben satisfacer el siguiente sistema de ecuaciones:

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir que hay una redundante, la cual no puede ser la última (¿por qué?). 2.6.2. Condiciones para la existencia de las probabilidades límites a) Si el proceso es irreducible, existen las probabilidades limites b) Si el proceso es ergódico, esas probabilidades son independientes del estado inicial 2.6.3. Tiempos medios de recurrencia Se puede demostrar que los tiempos medios de recurrencia se pueden expresar en términos de las probabilidades límites como = 1/ Ejemplo 2.19 Cálculo de probabilidades límites Sistema de inventarios: El sistema de ecuaciones manera:

queda de la siguiente

= 0.191 + 0.777 + 0.442 + 0.191 (1) = 0.251 + 0.223 + 0.335 + 0.251 (2) = 0.335 + 0 + 0.223 + 0..335 (3) = 0.223 + 0 + 0 + 0.223 (4) Para que las formen una distribución de probabilidad se debe agregar la siguiente ecuación +

+

+

= 1 (5)

Solución De (4) = 0.223 / 0.777= 0.287 (6) (6) en (3): = (0.335 + 0.335 x 0.287 )/0.777 = 0.55488 (7) (6) y (7) en (2): = (0.251 + 0.335 x 0.55488 + 0.251x0.287 )/.777 = 0.65498 (8)

Reemplazando (6), (7) y (8) en (5) tenemos: + 0.65498 + 0.55488 + 0.287 = 1 = 1/2.49686 = 0.4005 =1/ 0.4005 = 2.4969 = 0.65498 = 0.2623 =1/ 0.2623 = 3.81216 = 0.55488 = 0.2222 =1/ 0.2222 = 4.4998 = 0.287 = 0.1149 =1/ 0.1149 = 8.7 Observación: Como se puede observar estos valores son los mismos que aparecen en la matriz de transición P(8) calculada anteriormente, y en las probabilidades de estado Q(8) calculadas también previamente 2.6.4. Probabilidades límites en cadenas periódicas Si las cadenas son periódicas el límite puede no existir. Considere la siguiente matriz de transición de dos estados La matriz de transición en n pasos está dada por: , Tenemos que =1 si n es par, = 0 si n es impar. Por lo tanto el límite anterior no existe. Sin embargo, el siguiente límite siempre existe para cadenas de Markov irreducibles y periódicos:

2.6.5. Interpretación de las : Si se analiza el límite anterior, se observa que el numerador representa la suma de las frecuencias (relativas) en que el proceso se encuentra en el estado j, es decir, el total de períodos o pass en que el proceso visita el estado j, y el denominador, el número total de transiciones observadas. Por lo tanto esta probabilidad de estado a largo plazo se le puede dar la siguiente interpretación: a) Probabilidad a largo plazo de que el sistema se encuentre en el estado j b) Proporción de tiempo que el sistema se encuentra en el estado j Ejemplo 2.20 Interpretación para el sistema de inventario. Los valores de las probabilidades límites y su interpretación son los siguientes:

= 0.4005 Un 40% de las semanas no hay artículos en la tienda al final de la semana, o también, un 40% de las semanas es necesario colocar pedidos para reabastecer el inventario = 0.2623 Un 26.23% de las semanas se termina la semana con un artículo en inventario = = 0.2222 Un 2.22% de las veces se termina la semana con dos artículos en inventario. = 0.1149 Un 11.49% de las veces se termina la semana con tres artículos en inventario. Cálculo e Interpretación para el problema del estado del tiempo La matriz de transición está dada por Las ecuaciones para el cálculo de las probabilidades límites son las siguientes: = 0.7 + 0.4 = 0.3 + 0.6 + = 1 (5)

(1) (2)

Del sistema anterior de ecuaciones se obtiene que = 571, = 0.329 Interpretación: La probabilidad de que llueva en un día cualquiera es 0.571, o un 57.1% de los días lloverá. 2.7. Costo promedio esperado/unidad de tiempo

Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el estado Xt en el tiempo t. C(Xt) es una variable aleatoria que toma cualquiera de los valores C(0), C(1),..., C(M), y la función C(.) es independiente de t. El costo promedio esperado a lo largo de n períodos está dado por:

Usando el resultado

Se puede demostrar que el “costo promedio esperado por unidad de tiempo”  está dado por:

Ejemplo 2.21 Suponga que existe un costo de $2 por cada unidad que hay en inventario al final de la semana t. Cuál sería el costo esperado por semana de mantenimiento del inventario? Se tiene que C(0)=0, C(1)=2, C(2)=4, C(3)=6

El costo esperado por semana está dado por: Costo esperado = = 0.4005x0+0.2623x2+0.2222x4+0.1149x6= 2.1028 Funciones de costos más complejas Suponga que deben tenerse en cuenta los costos de ordenar y de penalización por faltantes (demanda insatisfecha durante la semana). El costo por demanda insatisfecha depende de la demanda y del estado del proceso. El costo del período es una función de Xt, Xt-1 y D. El costo promedio esperado a la larga está dado por: donde C(j) =E{C(Xt, Xt-1,Dt)} Ejemplo 2.22 Suponga que se tienen los siguientes costos: El costo de hacer un pedido para reabastecer el inventario es $10, mientras que el costo unitario se de $25. Por lo tanto, si se orden Q cámaras, el costo es = 10 + 25Q Costo de demanda insatisfecha = $50/unidad . Considerando únicamente los anteriores componentes, el costo semanal será: Si al final de una semana hay 0 unidades en inventario, se hace un pedido por tres unidades. Habrá demanda insatisfecha al final de la semana siguiente, si durante la semana la demanda es de 4 o 5 unidades. Por lo tanto: C(0)=10+25 x 3 + 50 E{max(Dt-3), 0} =75 + 50 {p4 + 2 p5} = 75 + 50x(0.047+2*0.018)= 79.15 C(1) = 2 + 50 E{max(Dt-1}, 0}=2 + 50 {p2+2p3+3p4+4p5} = 2 + 50 (0.251 + 2 x 0.126 + 3 x 0.047 + 4 x 0.018} = 37.8 C(2) = 2 x 2 + 50 E{max(Dt-2}, 0} =4 + 50{p3 + 2p4 + 3p5} = 4 + 50 (0.126+2 x 0.047 + 3 x 0.018) = 17.7 C(3) = 2 x 3 + 50 E{max(Dt-3}, 0) = 6 + 50 {p4 + 2p5} = 6 + 50 (0.047 + 2 x 0.018) = 10.15 Por lo tanto, el costo esperado por unidad de tiempo está dado por: Costo esperado = 79.15 x 0.4005 + 37.8 x 0.2623 +17.7 x 0.2222 + 10.15 x 0.1149 = 46.71 2.8. Estados absorbentes Definición. El estado k es absorbente si pkk = 1

Si el estado k es absorbente, y el proceso empieza en el estado i, entonces no se habla de probabilidades límites, tales como fueron analizadas recientemente, sino que se habla de que el estado i sea absorbido por el estado k, o  “probabilidad de absorción” al estado k, denotada por fik.

2.8.1. Probabilidades de absorción

Si el proceso se encuentra en el estado i (no absorbente), para calcular la probabilidad de que este estado sea absorbido por el estado k, se puede condicionar en el resultado de la primera transición, de la siguiente manera: El proceso puede hacer una transición a un estado intermedio j, y de ahí ser absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de absorción fik pueden calcularse mediante el siguiente sistema de ecuaciones:

Ejemplo 2.23 Caminata aleatoria. Si el proceso se encuentra en el estado i, en el instante siguiente puede estar sólo en i-1, i e i+1. Ejemplo: Juegos de azar Ejemplo 2.24 Estados absorbentes. Considere el problema del jugador con M = 3. Calcule f i0. La matriz de transición está dada por:

Las ecuaciones para calcular f i0 son las siguientes f 00=1 f 10= 1/2 f 00+1/2f 20 = 1/2 + 1/2f 20 f 20= 1/2 f 10 + 1/2f 30 = 1/2 f 10 f 30= 0 Resolviendo se obtiene f 10 = 2/3, f 20 = 1/3 Demostrar que 1313 = 1/3, f23 = 2/3 2.8.2. Número medio de pasos para la absorción Si el proceso empieza en el estado i (o se encuentra en el estado i), donde i es un estado transitorio, el número medio de pasos para llegar a un estado absorbente, se puede calcular condicionando en el resultado de la primera transición, mediante el sistema de ecuaciones que se obtiene de la siguiente ecuación: donde T es el conjunto de estados transitorios. También se podría escribir de la siguiente manera

donde la sumatoria se hace para todo estado k contenido en el espacio muestral, y teniendo en cuenta que k = 0 si k es un estado recurrente (absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo medio de absorción a partir de ese estado es cero 2.8.3. Probabilidad de absorción. Calculo matricial El cálculo se basa en la matriz fundamental. Simplemente daremos los pasos requeridos en el procedimiento, sin analizar detalladamente el por qué. Supondremos que el proceso tiene m estados transitorios, s estados absorbentes y k estados recurrentes. 1) Se reorganizan las filas y las columnas de la matriz de transición, tal que quede expresada (parcial o totalmente) de la siguiente manera: donde • R es una matriz de transición (mxs) que representa las transiciones de los m estados transitorios a los s estados absorbentes • Q es una submatriz de transición entre estados transitorios (m x m) • I es una matriz identidad (s x s). • Se excluyen de a matriz las transiciones entre estados recurrentes, si los hay (ya que estos estados nunca serán absorbidos por los estados absorbentes). 2) Se calcula la matriz fundamental N como: N = (I’ - Q)-1, donde Ì´ es otra matriz identidad de m x m 3) Se calcula la matriz que contiene las probabilidades de absorción PA = N x R Ejemplo 2.25 Probabilidad de absorción. Considere un almacén. Al final de cada mes se clasifican las cuentas por cobrar en cuatro categorías: i) cuentas saldadas, ii) cuentas insolutas, las que no adeudan abonos del mes anterior, iii) cuentas vencidas, las que llevan entre uno y tres meses de atraso, y finalmente, iv) cuentas de dudoso o difícil cobro, las que llevan mas de tres meses de atraso en sus abonos. De los registros contables se extrajo la siguiente información: El 60% de las cuentas insolutas se pagan al siguiente mes, el 30% permanece en esta categoría y el 10% pasan a cuentas vencidas; el 40% de las cuentas vencidas se convierten en insolutas, el 30% se pagan, el 20% permanece como cuentas vencidas y el 10% pasan a deudas de dudoso cobro, consideradas como cuentas perdidas. a) Plantear este proceso como una cadena de Markov. b) ¿De $ 50 millones que tiene el almacén este mes en cuentas insolutas y $ 10

millones en cuentas vencidas, cuánto dinero recuperará el almacén al mes siguiente y cuánto considera como perdido? Solución Definición de estados. Los estados se pueden definir de la siguiente manera: : • 0 = Cuentas saldadas • 1 = Cuentas insolutas • 2 = Cuentas vencidas • 3 = Cuentas malas La siguiente es la matriz de transición resultante

Procedimiento: 1) Se intercambian filas 2 y 4 y luego las columnas 2 y 4. El espacio de estados queda como E´=(0,3,2,1) y la matriz resultante es la siguiente:

2) Cálculo de la matriz fundamental

3) Cálculo de las probabilidad de absorción

Interpretación de las probabilidades de absorción: A largo plazo, un 86.5% de las cuentas vencidas son canceladas, y un 13.5% se convierten en cuentas de dudoso recaudo. De las cuentas insolutas, un 98.1% se cancelan, y un 1.9% se convierten en deudas malas. Si el almacén tiene $50 millones este mes en cuentas insolutas y $10 millones en cuentas vencidas, la cantidad de dinero que recuperará el almacén, y la cantidad que se considerará como perdido se obtiene de la siguiente manera:

Sea C = ($10, $50) millones un vector (fila) que representa las cuentas vencidas e insolutas, respectivamente, entonces a largo plazo se cancelarán o se perderán las siguientes cantidades:

Es decir, de los $50 millones que tiene el almacén en cuentas insolutas y de los $10 millones en cuentas vencidas, se recuperarán $57.694 millones y se perderán $2.306 millones. el almacén, y la cantidad que se considerará como perdido. Resuelva este problema usando el sistema de ecuaciones visto antes 2.8.4. El problema del jugador. Otra visión. Considere de nuevo el problema del jugador: Un jugador A apuesta contra otro  jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea i el capital inicial del jugador A, y sea M el capital de ambos jugadores. Estamos interesados en calcular la probabilidad de que el jugador A sea arruinado si empieza jugando con i pesos. Si denotamos por Xn el capital del jugador A después de n jugadas, vimos que Xn es una cadena de Markov, con las siguientes probabilidades de transición.

Además ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta. Estamos interesados en f i0, la probabilidad de absorción por el estado 0, si empezamos con un capital de i. Por simplicidad denotaremos por la probabilidad de que el jugador A se arruine si empieza con un capital de i. Aplicando las ecuaciones para calcular las probabilidades de absorción:

se tiene la siguiente ecuación:

= p +1 + q -1 , para i = 1, 2, 3, …, M-1 =1 =0 La ecuación para nos dice que para arruinarse empezando con un capital inicial de i, se puede ganar la primera apuesta con probabilidad p, y luego arruinarse con un capital de i + 1, o se puede perder la primera apuesta con una probabilidad de q y luego arruinarse teniendo un capital de i – 1. Como p + q = 1, se puede multiplicar por (p + q) y no pasa nada. Por lo tanto, la ecuación queda como: (p + q) = p +1 + q -1 p + q = p +1 + q -1 q - q -1 = p +1 – p +1 - = ( - -1 ) (q/p) , para i = 1, 2, 3, …, M-1 Aplicando la ecuación anterior para diferentes valores de i tenemos las siguientes ecuaciones: Para i = 1 (1) Para i = 2 (2) Para i = 3 (3) La expresión general sería:

(i) Ahora, considere la siguiente identidad: - = - (0) Si sumamos las ecuaciones (0), (1), (2), ...,(i) tenemos lo siguiente:

Nota: La serie geométrica, dada por la expresión toma los siguientes valores dependiendo de si la constante es uno o diferente de 1.

Sabemos que:

= 1,

= 0, reemplazando i = M se tiene:

Reemplazando

–1y

= 1 se obtienen las siguientes expresiones para :

Análisis de las probabilidades de arruinarse Se analizará la probabilidad de ruina para el caso en que se esté jugando contra un oponente sumamente rico (M )). Caso en que = (q/p) < 1 Cuando la probabilidad de ganar es mayor que la probabilidad de perder, se tiene que

Es decir, cuando la probabilidad de ganar es mayor que la de perder, la probabilidad de arruinarse es menor de 1, es decir, no hay certeza de ser arruinado empezando con un capital i. Caso en que = (q/p) = 1 Cuando la probabilidad de ganar es igual a la probabilidad de perder, se tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está  jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A será arruinado. Caso en que = (q/p) > 1 Cuando la probabilidad de ganar es menor que la probabilidad de perder, se tiene que

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está  jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A será arruinado. 2.9. Problemas 1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector

de probabilidades iniciales por :

= (1/4, 1/2, 1/4) y matriz de transición P dada

a) Calcule p(0, 1, 1) = Pr(X0 = 0, X1 = 1, X2 = 0) b) Demuestre que Pr(X1 = 1, X2 = 1/ X0 = 0) = p01 p11 c) Calcule d) Calcule e) Demuestre que la cadena es Irreducible. f) Encuentre el valor de las probabilidades estacionarias. 2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego

recibe $2 y si pierde paga $1. La probabilidad de que A gane un juego es 1/3 y que pierda es 2/3. El dinero total disponible es $N. Si el capital de cualquiera de los dos jugadores cae por debajo del punto donde pueda pagar exactamente si

pierde el próximo juego, entonces el juego termina. Sea {Xn} el capital del  jugador A después de n jugadas. a) Encuentre la matriz de transición para esta cadena de Markov. b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos llega a ser $1, realizarán la próxima jugada de $1 con igual probabilidad de ganar o perder. Encuentre la matriz de transición para este caso. 3. Una represa se utiliza para generar energía eléctrica y para el control del

flujo de aguas. La capacidad de la represa es 3 unidades. La función de probabilidad de la cantidad de agua que fluye a la represa -W- en el mes la siguiente:

Si el agua en la represa excede la capacidad máxima, el agua sobrante se bota a través del vertedero, que es de flujo libre. Para generar energía se requieren mensualmente dos unidades que se sueltan al final de cada mes. Si hay menos de dos unidades en la represa, se genera energía con el agua disponible, es decir, se suelta toda el agua. Sea Xn la cantidad de agua en la represa en el mes n, después de que se suelta el agua. Suponga que inicialmente la represa está vacía. a) Es { Xn } una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición. 4. El propietario de una barbería local que solamente posee una silla para

prestarle el servicio a sus clientes piensa agrandar su negocio pues le parece que siempre hay mucha gente esperando ser atendidos. Las observaciones indican que en el tiempo requerido para motilar una persona pueden llegar 0, 1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente. La barbería tiene una capacidad fija de 6 asientos, incluyendo aquel en que se sienta el que está siendo atendido. Sea Xn el número de personas en la barbería cuando se completa el servicio al n-ésimo cliente. a) Demuestre que { Xn } es una cadena de markov. b) Encuentre la matriz de transición. c) Determine la proporción de tiempo, a largo plazo, que en la barbería hay seis personas, o que hay 4 personas. 5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento

de destreza manual y encuentra que la siguiente matriz de probabilidad describe el curso de respuestas “correctas” e “incorrectas”.

a) Qué proporción de respuestas correctas se podría esperar de una persona completamente entrenada ? b) Qué proporción de respuestas correctas se podría esperar de una persona después de repetir cinco veces el procedimiento, si la respuesta inicial tiene igual probabilidad de se correcta o incorrecta ? c) Cual es la probabilidad de que una respuesta correcta se obtenga por primera vez, exactamente después de cuatro ensayos con respuesta incorrecta ? 6. Suponga que la línea de ensamblaje de SOFASA tiene las siguientes reglas: •

•

Un Renault X no puede seguir a otro Renault X porque el contenido de trabajo desbalancearía la línea. Un Renault Y debe ser seguido por un Renault Z para balancear la línea.

Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no por otro Renault Z. a) Encuentre una matriz de transición para este proceso. Use las letras a, b, c,..., cuando los valores de las probabilidades de transición no estén numéricamente definidas. b) Es esta cadenas irreducible ? c) Cual es la probabilidad de que después de un Renault X el siguiente Renault X ocurra en la línea después de otro vehículo ? d) Si P es una matriz de transición, que interpretación daría Usted al elemento para n grande? 7. Una partícula se mueve en un círculo en el sentido de las manecillas del reloj, a través de cinco puntos marcados con los números 0, 1, 2, 3 y 4. En cada etapa la partícula tiene una probabilidad de dar un paso en el sentido de las manecillas del reloj y 1 - de moverse en sentido contrario. Sea Xn la posición de la partícula en el círculo después de dar n pasos. •

a) Es { Xn , n 0} una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición. c) Calcule las probabilidades límites. Cómo se interpretan ? 8. Una fábrica tiene dos máquinas y una cuadrilla de reparación. Suponga que la probabilidad de que una máquina se dañe en un día cualquiera es . Suponga, además, que si la cuadrilla de reparación está trabajando en una de las máquinas, la probabilidad de que termine la reparación en un día mas es . Sea Xn el número de máquinas en operación al final del n-ésimo día. Asuma que el comportamiento de { Xn } puede modelarse mediante una cadena de Markov. (Qué simplificaciones deben hacerse para que esta suposición sea

completamente válida?). a) Encuentre la matriz de transición. b) Si ambas máquinas están funcionando cuando el sistema se inicia, cual es la probabilidad de que ambas estén trabajando dos días después ? 9. Una moneda “honesta” se lanza al aire sucesivamente hasta que ocurran tres caras seguidas. Sea { Xn } la longitud de la secuencia de caras que terminan en el n-ésimo lanzamiento. Cual es la probabilidad de que haya al menos 8 lanzamientos sucesivos de la moneda ?. 10. Considere el experimento de lanzar un dado de manera repetida. Sea Xn el

máximo de los números que ocurren en los primeros n lanzamientos. Si { Xn } es una cadena de marco: a) Encuentre la matriz de transición. b) Encuentre y 11. Tres niños A, B y C juegan con una pelota de la siguiente manera: Si A

tiene la pelota siempre se la pasa a B, y B siempre se la pasa a C, pero este se la pasa a A o a B indistintamente. Sea Xn la n-ésima persona en recibir la pelota. Es { Xn } una cadena de Markov?. Si es así, a) Encuentre la matriz de transición. b) Calcule sabiendo que inicialmente C tiene la pelota. c) Calcule las probabilidades límites. 12. Se tienen 6 bolas, tres blancas y tres negras, las cuales se distribuyen al

azar en dos urnas, de tal forma que cada una contenga tres. En cada etapa se retiran, simultaneamente, una bola de cada urna, y se deposita en la urna contraria. Sea Xn el número de bolas blancas en cada urna después de n intercambios. a) Explique por qué { Xn } es suna cadena de markov. b) Encuentre la matriz de transición. c) Cual es la probabilidad de que haya tres bolas blancas en la primera urna después de n intercambios. d) Cual es la probabilidad, a largo plazo, de que haya dos bolas blancas en la primera urna? 13. Suponga que el estado del tiempo en un día cualquiera depende de las

condiciones del tiempo en los dos días anteriores. Así, si llovió hoy y también ayer, la probabilidad de que llueva mañana es 0.7. S hoy llovió pero no ayer, lloverá mañana con una probabilidad de 0.5. Si no llovió hoy paro sí ayer, la probabilidad de que llueva mañana es 0.4. Si en los dos últimos días no ha llovido, la probabilidad de que llueva mañana es 0.2. a) Defina el proceso como una cadena de Markov. Defina apropiadamente los estados.

b) Encuentre la matriz de transición. c) Si el lunes y martes de esta semana llovió, cual es la probabilidad de que llueva el jueves? d) Cual es la probabilidad de que llueva en los próximos cuatro días si hoy está lloviendo ? e) Es esta una matriz irreducible ? 14. Considere el siguiente problema de inventarios: Un almacén de artículos

fotográficos almacena un tipo particular de cámara que puede ordenarse semanalmente. Sea D1 , D2 , ... la demanda de este tipo de cámara durante la primera, segunda semana,...,Se asume que las Di son variables aleatorias independientes e idénticamente distribuidas con función de probabilidad conocida. Sea Xn el número de cámaras disponibles (en inventario) al final de la n-ésima semana. El almacén tiene inicialmente tres cámaras. Los sábados en la tarde el almacén coloca una orden que es entregada al lunes siguiente, antes de que el almacén abra sus puertas al público. El almacén usa la siguiente política de reabastecimiento (s, S): Si el número de cámaras en inventario al final de la semana es menor que s = 1 (no hay inventario), el almacén ordena S = 3 cámaras. En caso contrario, el almacén no hace ningún pedido. Se supone que las ventas se pierden cuando la demanda excede al inventario. Si la demanda semanal sigue una distribución de Poisson con una media de 1.5 artículos por semana, a) Es { Xn } una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición. c) Encuentre la proporción de tiempo que hay i cámaras en inventario al final de la semana ? d) Suponga que se incurre en un costo C(Xn ) cuando el inventario al final de la semana es Xn . Cual es el costo esperado por semana ?. Suponga

15. Una matriz de transición P se dice que es doblemente estocástica si la

suma de los elementos de cada columna es igual a la unidad. Si tal cadena es aperiódica e irreducible, con espacio de estados (0, 1, 2,...,M), demuestre que las probabilidades límites están dadas por: = 1/(M + 1), j = 0, 1,..., M 16. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2, 3, 4) y

matriz de transición P. Para cada uno de los casos siguientes determine las clases cerradas comunicadas y los estados absorbentes. Analice, además, el comportamiento probabilístico cuando n .

17. Comprobar la periodicidad de las siguientes matrices de transición y su

período. Determine, además, los estados periódicos:

18. Comprobar si las siguientes matrices de transición son periódicas y oscilantes

19. Considere una cadena de markov con espacio de estados 0, 1,...,5 y

definida por la siguiente matriz de transición. Determine cuales estados son recurrentes y cuales son transitorios.

20. Considere una cadena de Markov con espacio de estados (0, 1, 2, 3, 4 ) y

matriz de transición dada por:

a) Determine las clases comunicadas cerradas y los estados transitorios b) Para cada clase comunicada cerrada, encuentre las probabilidades ti de que el sistema entre a la clase i dado que inicialmente estaba en el estado transitorio i 21. Suponga que en una estación de trabajo las partes a ser procesadas llegan

en una caja a través de una banda transportadora, y la caja sólo trae una pieza para ser procesada. Suponga, además, que en el tiempo que transcurre entre

la llegada de dos cajas sucesivas, la estación de trabajo puede completar 0, 1 ó 2 partes con probabilidades de 3/8, ½ y 1/8 respectivamente. Suponga además que la estación puede acumular (en un almacenamiento temporal) máximo una pieza, además de la que está procesando. Si la banda transportadora llega con la caja, y la estación está inactiva o tiene una parte en operación entonces la pieza es descargada y se coloca a un lado para ser procesada cuando haya la oportunidad. Si la estación ya tiene una parte en operación y otra en almacenamiento temporal, entonces la pieza que llega pasa de largo y se pierde. Sean los estados del proceso 0, 1, 2 que representan una estación vacía, una estación con una parte en proceso y una estación con una parte almacenada, El proceso se observa justo antes de la llegada de la banda transportada con la parte. a) Encuentre la matriz de transición en una etapa. b) Encuentre la proporción de tiempo que el proceso pasa en cada estado en el largo plazo c) Si la estación empieza el día vacía, cual es la probabilidad de que la tercera caja que llegue no pueda ser descargada? 22. En cierta ciudad hay dos supermercados: y . Los clientes visitan los

supermercados una vez a la semana pero unas veces van al supermercado y otras al aunque algunos clientes siempre van al mismo. Una encuesta sobre preferencias indica que hay una probabilidad de 0.15 de que un cliente que fue al supermercado una semana vaya la próxima a y una probabilidad de 0.10 de que un cliente de una semana vaya la próxima a Inicialmente el 60% de los clientes compran en y el 40% en . a) Cuál será la distribución de clientes cinco semanas después? b) Cuáles serán los porcentajes de participación a largo plazo? 23. El mercado de exportación de un país, bajo condiciones político-económicas

estables, puede ser modelado por una cadena de Markov en tres estados: 0 Incremento en más del 5% con respecto al año anterior. 1 Fluctuación menor del 5% 2 Disminución en más del 5% con respecto al año anterior. La matriz de transición es:

Qué información puede extraerse de estos datos?

24. En una investigación de mercados se comprobó que el 90% de las personas

que compraban la marca de cierto producto volvían a comprar la misma marca en la próxima ocasión, mientras que el 20% de los que no la habían comprado lo hacían en la próxima oportunidad. Cuál será el porcentaje real de consumidores de la marca a largo plazo? 25. En la fabricación en serie de un producto este debe pasar por tres

departamentos y al final de cada uno se realiza una inspección y dependiendo de la calidad, el artículo se rechaza, se acepta y pasa al proceso siguiente o se devuelve para reprocesarlo en el departamento en el que fue detectada la falla. Si las probabilidades son respectivamente 0.1, 0.7 y 0.2 defina esta situación como una cadena de Markov y diga cuál es el porcentaje de artículos que salen dentro de las especificaciones de calidad de la totalidad que empiezan el proceso durante la jornada. 26. Dada la matriz de transición

Calcular limite en el estado 1.

y diga cuál es la probabilidad de que el proceso pueda estar

27. Dada la siguiente matriz de transición

Encontrar los valores de para que el número esperado de pasos hacia la absorción sea de 4 y la probabilidad de ser absorbido por el estado 2 sea el triple de probabilidad de ser absorbida por el estado 3. 28. El propietario de una peluquería esta pensando en ampliarla pues le parece

que su clientela tiene que esperar demasiado tiempo para ser atendida. Observaciones indican que durante el tiempo requerido para realizar un corte de cabello pueden llegar 0,1,2, ó 3 clientes adicionales con probabilidad 0.3, 0.4, 0.2 y 0.1 respectivamente. La peluquería tiene una capacidad máxima de seis clientes incluyendo el que esta recibiendo el servicio, sea Xn el número de clientes en la peluquería al finalizar el n-simo servicio. a) Demuestre que es una cadena de Markov. b) Encuentre la matriz de probabilidades de transición. c) Determine el porcentaje de tiempo que a largo plazo se mantendrá a su máxima capacidad.

29. Dada la cadena de Markov representada por la matriz.

con 0 < p < 1 y 0 < q < 1. Calcule

y las probabilidades limites por medio de:

Sugerencia: utilice el proceso de diagonalización o representación expectral. 30. Dada la matriz de transición

representativa de una cadena de Markov. Diga cuál es la probabilidad de que el proceso se encuentre en el estado 1 después de 5 etapas, si la cadena al principio se encuentra en cualquiera de los estados con igual probabilidad. 31. Dada la cadena de Markov definida por la matriz.

Calcule el número esperado de pasos antes de alcanzar por primera vez el estado 2. 32. Un taller de reparaciones atiende camiones a medida que llegan. Solo hay

espacio para estacionar dos camiones antes del servicio. Se han acumulado los siguientes datos:

La probabilidad de completar un servicio en un periodo de una hora es de 0.7 siempre que haya una unidad para ser atendida, la probabilidad de tener más de un servicio es, pues cero. a) Formular esta situación como una cadena de Markov. b) El número esperado de unidades en el sistema (1.14 camiones). c) El número esperado de unidades en la cola (0.47 camiones).

33. Un estudio muestra que el número de clientes que están en el momento

ocupando la estación afecta la probabilidad de una nueva llegada. Si se supone que la probabilidad de servicio es 0.5, formular esta situación como una cadena de Markov, determinar el número esperado en el sistema y la utilización del sistema, dada la siguiente tabla:

34. Encontrar la matriz estocástica que describe la siguiente cadena: El control

de calidad en cierta empresa se realiza de acuerdo a la política de inspeccionar artículo por articulo y rechazar el lote de producción si se encuentra una unidad defectuosa o aceptarlo si se encuentran tres unidades seguidas que cumplen las especificaciones. Si sabe que el 85% de la producción sale con las especificaciones deseadas. 35. Por el método de diagonalización de matrices, encuentre:

a) b) El porcentaje del tiempo que el proceso permanece en el estado 2. si la cadena está representada por la matriz

36. Una máquina funciona durante un determinado período de tiempo con una

probabilidad de falla de 0.3. El 60% de las veces la falla puede repararse exactamente en el período, y en los demás casos se requieren exactamente dos periodos para la reparación. Se puede suponer que las fallas se presentan al final de un período. El costo por tiempo perdido es de $50.00 por período. a) Formular esta situación como una cadena de Markov, describir los estados y

las suposiciones, y desarrollar una matriz de transición. b) Es posible contratar un ayudante adicional, con un costo de $20 por período de tiempo, con el objeto de que la falla siempre sea reparada dentro del mismo período. Es conveniente hacer esto? 37. En un determinado proceso de producción, cada artículo pasa por dos

etapas de fabricación. El final de cada etapa, los artículos se desechan (probabilidad de 0.2) se regresan para rehacerlos (probabilidad de 0.3) o pasan a la etapa siguiente (probabilidad de 0.5). a) Describir esta situación como una cadena de Markov y establecer la matriz de transición. b) Cuál es el número esperado de pasos hacia la absorción? (2.45 si empieza en E 1, 1.43 si empieza en E 2). c) Si en un lote se comienzan 100 partes, cuál es el número esperado de partes buenas que pueden completar? (Solución: 51 partes).

38. Uno de los aficionados a la cacería de patos solamente le dispara a un pato

en cada ocasión independientemente de cuantos vuelen juntos.

La probabilidad de un acierto es 0.2. El máximo número de patos cazados en un día es dos. Describir esta situación como una cadena de Markov absorbente. Hallar el número esperado de disparos que debe hacer el cazador antes de lograr su limite. 39. En un proceso de producción se realiza inspección secuencial y el lote se

acepta si salen dos artículos seguidos dentro de los estándares de calidad, de lo contrario se rechaza. Si la probabilidad de que un artículo salga dentro de las normas de calidad es del 90%, se pregunta: a) La probabilidad de aceptar la producción. (Solución: 0.81) b) Número esperado de pasos entes de que el proceso sea absorbido, para cada uno de los estados absorbentes. 40. Se efectúa una encuesta de mercadeo de tres marcas de alimentos , y de la

que se ha extraído la siguiente información relativa a las preferencias de los consumidores por las distintas marcas. Se pregunta:

a) El comportamiento de estos productos en el mercado de futuros. b) El número esperado de pasos para que un cliente que posee ahora la marca  X compre por primera vez la marca Y  41. Una compañía distribuidora de artículos para oficina vende además de otros

artículos, dos tipos de calculadora  A y B, las cuales han de importarse.

Todo pedido grande que reciba la distribuidora ha de ser pasado a la matriz en el extranjero, demorándose dos meses en la recepción del mismo si la calculadora es de tipo A y solo un mes si la calculadora es de tipo B. Para hacer un nuevo pedido es necesario que se haya recibido el anterior, por lo cual, si se hace un pedido de calculadora  A, habrá que esperar dos meses para hacer un nuevo pedido, ya sea de  A o de B. Los clientes de la distribuidora no aceptan que sus pedidos se encuentren en línea de espera, optando en este caso por comprar otro tipo de calculadora a otra compañía diferente, temiéndose entonces que si se presentan simultáneamente pedidos de  A y B habrá que elegir uno y rechazar otro. Si la probabilidad de que se presente un pedido de A es 1/6 y la de un pedido de B es de 1/4, qué pedido se debe elegir en caso de ser simultáneos?. Considérese que un pedido de la  A arroja una utilidad de $50.000, mientras la utilidad para un pedido de B es de $30.000. 42. Mediante el calculo de

encuentre el vector de probabilidades limites en la cadena definida por la matriz:

43. Dada la cadena definida por la matriz:

Diga cuál es el número esperado de pasos para que la cadena entre en el estado 1, sabiendo que se encuentra ahora en el estado 3.

44. En una oficina de representaciones hay tres agentes viajeros para visitar a

los clientes. Las correrías empiezan los lunes pero antes deben sostener una reunión conjunta. Solo pueden salir de viaje dos de los agentes, pues siempre debe permanecer uno en la oficina. Cuando un agente sale de correría, puede demorarse en ella exactamente una o máximo dos semanas con probabilidad 2/3 y 1/3 respectivamente. Al iniciar una correría siempre salen los dos agentes disponibles. Formule esta situación como una cadena de Markov, encontrando la matriz de probabilidades de transición en una etapa. 45. La tierra

Oz

de es en muchos aspectos una tierra bendita, pero no en lo que respecta al tiempo. Sus habitantes nunca gozan de dos días buenos seguidos. Si tienen un buen día, es tan probable que caiga nieve como que llueva al día siguiente. Si nieva (o llueve) hay igual probabilidad de que se mantenga el tiempo así al día siguiente. Si se produce algún cambio en días de nieve o lluvia, solo la mitad de las veces el cambio da origen a un tiempo bueno. Hoy es un buen día en la tierra Oz . Formular la presenta situación como una cadena de Markov. 46. En una investigación de mercados se realizó una encuesta sobre cuatro

marcas de detergentes: Axión, Ajax, Inextra, Fab. Se han encuestado 1000 consumidores, los cuales cambian de marca según la publicidad, promoción, precios o siguen fieles a la misma. Los resultados obtenidos se observan en la siguiente tabla:

•

Los ceros de la diagonal principal indican la capacidad que tiene cada marca para retener sus propios clientes.

•

Las filas de la matriz nos representan las pérdidas.

•

Las columnas representan las ganancias.

a) Hallar la matriz de transición, teniendo en cuenta que la probabilidad de que una marca retenga clientes es igual a número de clientes retenidos al fin del periodo dividido por el número de clientes al iniciar el período y la probabilidad de que una marca pierda clientes es igual al número de clientes cedidos al finalizar el período dividido por el número de clientes al iniciar el período. b) Hallar la participación de las marcas en el mercado cuando n = 0, n = 1, n = 2. c) Hallar la participación de las marcas en le estado estacionario, es decir en el mercado de futuros. 47. El 2 de Febrero de 1983 la Empresa Pepa, controlaba el 30% del mercado total, Fabri el 40% y Teji el 30%; de un estudio sobre mercadeo se obtuvieron los siguientes datos: Pepa retiene el 90% de sus clientes y gana el 5% de los clientes de Fabri y el 10% de los de Teji; Fabri retiene el 85% de sus clientes y gana el 5% de los de Pepa y el 7% de los de Teji; Teji retiene el 83% de sus clientes y gana el 5% de los de Pepa y el 10% de los de Fabri. Cuál es la participación de cada Empresa en el mercado al 2 de Febrero de 1986 ( n = 2); y la participación de cada Empresa en el estado de equilibrio. 48. Una máquina incorporada al proceso productivo del articulo  X , se descompone muy periódicamente debido a lo delicado y excesivo del trabajo que le toca realizar. Al clasificar el estado en el que queda la máquina al finalizar la semana en cuatro posibilidades a saber: Estado 1: En perfectas condiciones de funcionamiento. Estado 2: Operable, pero produce artículos con ligeras fallas que se pueden enmendar a un costo relativamente bajo. Estado 3: Operable, pero produce muchos artículos desechables. Estado 4: Definitivamente mala, es decir, ya no se puede poner a operar. De datos históricos se ha obtenido la siguiente información: Si la máquina comienza la semana en el estado 1 existe una probabilidad de 14/16 de que termine en el estado 2; 1/16 de que termine la semana en el estado 3 y 1/16 de que termine en el estado 4. Si la máquina comienza la semana en el estado 2 existe una probabilidad de 6/8 de que termine la semana en ese mismo estado 2; 1/8 de que termine en el estado 3 y 1/8 de que termine en el estado 4. Por ultimo, si la máquina comienza la semana en el estado 3 existe igual probabilidad de que termine en ese mismo estado o en el estado 4. La empresa incurre en los siguientes costos de operación de la máquina: Estado

Costos de operación

0 $0 1 $1000/semana 2 $3000/semana Además la empresa incurre en unos costos adicionales de $2000 por la producción que se deja de obtener y de $4000 en gastos de instalación cada vez que se decida cambiar la máquina actual por una nueva. Bajo las anteriores consideraciones, y entre las siguientes alternativas: Cuál es la mejor política de reemplazo para la empresa?

a) Remplazarla cada que la máquina entre al estado 2. b) Remplazarla cuando entre al estado 3. c) Remplazarla únicamente cuando entre al estado 4. Solución: La b); $1.727/semana 49. Una aerolínea, con vuelo diario a las 7 a.m. entre las ciudades  A y B, no desea que éste salga retrasado dos días consecutivos; de modo que si el vuelo sale retrasado un día cualquiera la aerolínea realiza esfuerzos especiales para que el vuelo salga a tiempo al día siguiente y logra este objetivo el 90% de las veces. Si el vuelo no sale con retraso, la aerolínea no hace ningún arreglo especial y al día siguiente el vuelo sale cumpliendo itinerario, de acuerdo con lo programado, el 60% de las veces. Qué porcentaje de vuelos salen con retraso? (Solución: 30.77%) 50. El programa de entretenimiento para supervisor de producción de cierta compañía tiene dos fases: La fase 1 consta de 3 semanas de estudio teórico en el aula y la fase 2 consta también de 3 semanas de práctica bajo la dirección de supervisores veteranos. De experiencias anteriores se espera que el 60% de los que inician el estudio teórico pasen a la fase de práctica y el 40% restante abandona el programa. De los que ya se encuentran en la fase de práctica el 70% logra graduarse, 10% debe repetir esta fase y el 20% restante abandona el programa. Cuántos nuevos supervisores graduados espera tener la compañía del actual programa de entrenamiento si hay 45 aspirantes en la fase teórica y 21 ya se encuentran en la fase práctica? (Solución: aproximadamente 37 nuevos supervisores).

51. Una costurera trabaja exclusivamente en una fase del proceso de

producción de una prenda de vestir. Demora exactamente ½ hora para ejecutar su labor en una prenda. Cada ½ hora pasa un mensajero para recoger las prendas que ya están listas y dejarle, de paso, nuevas prendas para que la costurera les haga su labor. Las nuevas prendas por coser que el mensajero lleva en cada visita es aleatorio así: el 30% no lleva ninguna; el 50% de las veces lleva 1 y el 20% de las veces lleva 2 prendas. El mensajero tiene instrucciones de nunca dejar mas de tres prendas por coser a la costurera. Calcular el porcentaje de tiempo que esta costurera permanece ociosa (Solución: 14.21%)

52. Una empresa dedicada a la administración de “Unidades Residenciales” 

cuenta con el siguiente historial: Al clasificar las urbanizaciones administradas

por esta compañía en solo tres estados “Buena Condición”, “Condición Promedia” y “Mala Condición”. Se dispone de las siguientes estadísticas: el 50% de las “Unidades Residenciales” que empiezan al año en “Buena Condición”  terminan el año también en “Buena Condición”; el otro 50% se deteriora a una  “Condición Promedio”; de todas las “urbanizaciones” ó “Unidades Residenciales”  que empiezan el año en “Condición Promedio” el 30% permanecen en este mismo estado y el otro 70% mejoran a “Buena Condición”; y finalmente, de todas las Urbanizaciones administradas por esta empresa, y que empiezan el año en “Mala Condición” el 90% permanecen en este estado y el 10% mejoran a “Buena Condición”. Si estas tendencias y circunstancias se mantuvieran hacia el futuro, a) determine la condición esperada, a largo plazo de la “Unidades Residenciales” administradas por esta empresa. (Solución: El 58.33% terminan en Buena Condición, el 41.67% terminan en Condición Promedio, ninguna terminan en Mala Condición, b) Entonces es recomendable contratar los servicios de esta empresa? 53. Una empresa especializada en la producción de jabones de tocador clasifica

sus ventas en dos niveles: “alto” y “bajo”. Las ventas dependen de varios factores, entre los principales están: ? Si se hace o no publicidad ? Si los competidores desarrollan y comercializan un nuevo producto.

Este segundo factor está, obviamente, fuera de control de la compañía, pero, de todas maneras, la empresa está interesada en estableces la mejor política publicitaria. Se tienen los siguientes datos estadísticos y contables: La campaña publicitaria cuesta US $1.000.000; las utilidades, en promedio, han sido de US $4 millones si las ventas durante el trimestre han sido “altas” y de US $2 millones si son  “bajas”, estas utilidades no incluyen los costos de la campaña publicitaria; los datos históricos indican que si se hace publicidad y las ventas durante un trimestre han sido “altas” al semestre siguiente también son “altas” con probabilidad ¾ y si fueron “bajas” al trimestre siguiente serán “altas” con probabilidad ½ . Estas probabilidades se han disminuido a ½ y a ¼ si no se hace publicidad. El gerente de Mercadeo ha recomendado que se haga publicidad si las ventas durante el presente trimestre son “bajas” y que no se haga publicidad si las ventas durante el presente trimestre, han sido “altas”. Cuál es la mejor estrategia publicitaria si estos datos se conservaran en el futuro? (Solución: No hacer publicidad ($ 2.333; 2.667.2) US millones. Seria interesante analizar la respuesta). 54. En la oficina de Admisiones y Registro de cierta universidad se ha obtenido

la información necesaria para las siguientes estadísticas sobre un programa de Magíster que dura tres niveles: el 70% de los estudiantes que ingresan al primer nivel pasan con éxito al segundo nivel, el 10% lo tiene que repetir y el

20% restante se retira por diferentes motivos; de todos los estudiantes que pasan al segundo nivel, el 80% accede al tercer nivel, el 8% repite y el 12% restante sale del programa por bajo nivel académico o por otras razones; de todos los estudiantes que ingresan al tercer nivel el 90% se ha graduado, el 6% lo tiene que repetir, y el 4% restante no puede optar al titulo y los retiran por no cumplir las normas estipuladas. a) Cuántos alumnos lograran el titulo de Magíster de un grupo de 100 aspirantes que se matricularon en el primer nivel? b) Si cada nivel dura un semestre, durante cuando años se deberá ofrecer este  “Magíster” si la región y el país necesitan, aproximadamente 500 especialistas en esta área, sabiendo que esta universidad sólo está en capacidad de recibir, como máximo, 50 alumnos nuevos cada semestre? (Solución: 65 alumnos, aproximadamente 8 años).

Es conveniente analizar los resultados, desde el punto de vista académicoadministrativo. 55. Un almacén de artículos electrodomésticos puede colocar pedidos de

refrigeradores al inicio de cada mes y de entrega inmediata. Se tienen los siguientes datos contables: El hacer un pedido le cuesta al almacén US $100; el costo de almacenamiento mensual es de US $5 y se incurre, además, en unos costos de penalización por agotamiento de existencias de US $150 por refrigerador y por mes si se presenta la demanda y no hay existencias para satisfacerla. De datos históricos se ha podido concluir que la demanda mensual de este producto es aleatoria y se comporta de acuerdo con la siguiente distribución de probabilidades:

La política del almacén ha sido la de no mantener más de dos refrigeradores en existencia durante cualquier mes. Establecer la mejor política de pedidos. (Soluciones: , si el inventario final del mes es de 0 unidades, [US $207.80; US $ 150.90]) 56. Considere un sistema de comunicaciones que transmite los dígitos 0 y 1.

Cada dígito transmitido debe pasar a través de varias etapas en cada una de las cuales hay una probabilidad p de que el dígito que entra no sea cambiado cuando sale. Sea Xn el dígito que entra a la primera etapa del sistema, y para n 1 sea Xn el dígito que sale en la n-ésima etapa del sistema de comunicación. Se pide: