09A - PROGRAMACION DINAMICA PROBABILISTICA.docx

PROGRAMACION DINAMICA DINAMICA PROBABILISTICA

 Ing. Manuel Sánchez Terán Terán

INVESTIGACION DE

PROGRAMACION DINAMICA PROBABILISTICA (PDP)



INTRODUCCION

La  Programación Dinámica Probabilística difiere de la  Determinística en que el estado de la siguiente etapa no está deterinado por !opleto por el estado " la pol#ti!a de de!isi$n de la etapa a!tual% En su lugar e&iste una distribución de probabilidad para deterinar !uál será el siguiente estado% Sin e'argo( esta distri'u!i$n de pro'a'ilidad si queda 'ien deterinada por el estado " la de!isi$n de la etapa a!tual%  Hillier-ieberman

La  Programación Dinámica Probabilística difiere de la  Determinística en que los estados " los retornos o retri'u!iones en !ada etapa son pro'a'il#sti!os%  Hamd! Taha )n pro!eso de de!isi$n de N etapas es probabilístico( si el rendiiento aso!iado !on al enos una de!isi$n del pro!eso es aleatorio% Esta aleatoriedad generalente se presenta en una de dos foras* •

•

Los estados son deterinados e&!lusi+aente por las de!isiones( pero los rendiientos aso!iados !on uno o ás de los estados son in!iertos% Los rendiientos son deterinados e&!lusi+aente por los estados( pero los estados que se presentan a partir de una o ás de las de!isiones son in!iertos%  "ichard #ronson

De'ido a la estru!tura pro'a'il#sti!a( la rela!i$n entre las fun!iones de !osto o !ontri'u!i$n entre las etapas ne!esariaente es ás !opli!ada que en el !aso deterin#sti!o% Toando !oo referen!ia el odelo de in+entario tra'a,ado en prograa!i$n dinái!a deterin#sti!a( -ste supone( al !oien.o del pro'lea( la deanda de !ada per#odo !oo !ono!ida% Sin e'argo( en la realidad la deanda del per#odo n es una +aria'le aleatoria !u"o +alor no se !ono!e /asta despu-s de toar la de!isi$n de produ!!i$n en el per#odo n% A0n si se !ono!e el ni+el de in+entario 1estado a!tual2 " la !antidad a produ!ir en el presente per#odo 1de!isi$n2( el estado del siguiente per#odo " el !osto del per#odo a!tual serán  +aria'les aleatorias !u"os +alores no se !ono!en /asta que se !ono.!a la deandadel per#odo a!tual%

c1

Decisión Estado:

sn

xn

1 *

f n+1(1)

p1 p2

c2

2 *

f n(sn,xn) pm

 Ing. Manuel

f n+1(2)

1

INVESTIGACION DE

Sea m el n0ero de estados posi'les en la etapa n$%% El sistea !a'ia al estado i !on pro'a'ilidad p i 1 i34( 5( 6 m2 dados el estado sn  " la de!isi$n &n en la etapa n% Si el sistea !a'ia al estado i( 'i es la !ontri'u!i$n o !osto de la etapa n a la fun!i$n o',eti+o%

2

cm m f *n+1(m )

 Ing. Manuel

PROBLEM A1

)n pro"e!to de in+estiga!i$n so're !ierto pro'lea de ingenier#a tiene 7 equipos de in+estigadores que 'us!an resol+er el pro'lea desde 7 puntos de  +ista diferentes% Se estia que en las !ir!unstan!ias a!tuales la pro'a'ilidad de que los equipos A( 8( C fra!asen es de* 9%:9( 9%;9 " 9%<9 respe!ti+aente% As#( la pro'a'ilidad de que los 7 equipos fra!asen es de* 9%:9&9%;&9%< 3 9%4=5% 1)n 4=%5>2% El o',eti+o es inii.ar la pro'a'ilidad de fra!aso de los 7 equipos " por ello se asignaran al pro"e!to 5 nue+os !ient#fi!os de alto ni+el% Seg0n la asigna!i$n a los equipos( la pro'a'ilidad de fra!aso !a'ia seg0n lo indi!ado en la ta'la siguiente% # de científicos adicionales asignados 0 1 2

A

Probabilidad de fracaso de los equipos B

C

0.40 0.20 0.15

0.60 0.40 0.20

0.80 0.50 0.30

?C$o de'en asignarse los 5 nue+os !ient#fi!os para inii.ar la pro'a'ilidad de que los 7 equipos fra!asen@ Solución(  )tapas(

* + , tres euipos /0 # ! '1

 2unción(

3 + minimizar probabilidad de 3racaso

 )stado(

s + 4 de cientí3icos disponibles

5ariable(

& + 4 de cientí3icos asignados

Etapa 3 (Equipo C) f 3(s3,x 3 )  x 3

3

 x 3

0

0

1

-

0.

2

-

-

Solución  x  3 s3

 x 3 -

0

-

0 0

0.

0

2

1

Etapa 2 (Equipo B) Solución

f  2(s 2,x  2 ) = p 2 * f 3(s 2-x  2 )

s

 x  2 =0

 2

x  2 =1

0

(0.6)

1

(0.6)

(0.4)

2

(0.6)

(0.4)

f  2* (s 2

 x 

-

0.48

0

-

0.30

0

0.16

2

x  2 =2

(0.2)

Etapa 1 (Equipo A) s 1

2

 x 1 =0 (0.4)

 /signación adicional(

f 1(s1,x 1 ) = p1 * f  2(s1-x 1 ) x 1 =1 (0.2)

x 1 =2 (0.15)

Solución 1 s1 0.06

)uipo /( %6 )uipo #( 76 )uipo '( %

 x  1

PROBLEMA 2

)n repartidor !opra a una ganader#a ; galones de le!/e a 4 por gal$n% Cada gal$n lo +ende a 5 " solaente !oer!ia !on 7 !lientes% La ganader#a está dispuesta a !oprar los galones de le!/e que el repartidor no al!an!e a +ender pero solaente le pagará la itad de lo que -l pag$ al ini!io% Desafortunadaente para el repartidor la deanda diaria de !ada uno de sus !lientes es in!ierta( es por esto que lle+$ el registro de sus  +entas del aBo pasado " resui$ la infora!i$n en pro'a'ilidades de la siguiente anera*

Demanda diaria Probabilidad (galones)

Client e1 Client e2 Client e3

4 5 7 4 5 7 4 5 7

9%;9 9%99 9%:9 9%9 9%49 9%:9 9%:9 9%79 9%79

Si lo que quiere el repartidor es asignar los ; galones de le!/e entre los tres !lientes para a&ii.ar los ingresos esperados 1"a que el !osto siepre será ;2 sa'iendo adeás que de los galones de le!/e en+iados a un deterinado !liente no se pueden en+iar los re!/a.ados luego a otro !liente( utili!e la prograa!i$n dinái!a para deterinar !$o el repartidor de'e asignar los ; galones de le!/e entre sus tres !lientes% Soluc ión(  a demanda de cualuier cliente nunca es más de tres galones. )tapas( 'lientes  )stados( 8alones de leche disponibles  Decisión( 9'uántos galones en:iar a cada cliente; 5ariables( &n + 8alones en:iados al cliente n no necesariamente el cliente cogerá todos1 dn +  Demanda del cliente n galones comprados por el cliente1  2unción recursi:a( Ingreso esperado obtenido in&n 1+
 x 3 =0 0 x

Cliente1

0

1 2

 x 3 =1

 x 3 =2

 x 3 =3

3 nsn0&n 1 + ma&>
0 a!la "# in$%#sos #sp#%a"os i n(x) 2 2 Cliente2 -  i2(0)=0 3. 3

-

 x 3 0 1

Cliente3

i32(0)=0

0

i1(0)=0

1

i1(1)=(0.6)2.0+(0.0)2.0+(0.4)2.0=2. 3

i 2(1)=(0.5)2.0+(0.1)2.0+(0.4)2.0=2. 4. 4.35

i 33(1)=(0.4)2.0+(0.3)2.0+(0.3)2.0=2.

2

i1(2)=(0.6)2.5+(0.0)4.0+(0.4)4.0=3.

i 2(2)=(0.5)2.5+(0.1)4.0+(0.4)4.0=3.

i 3(2)=(0.4)2.5+(0.3)4.0+(0.3)4.0=3.

3

i1(3)=(0.6)3.0+(0.0)4.5+(0.4)6.0=4.

i 2(3)=(0.5)3.0+(0.1)4.5+(0.4)6.0=4.

i 3(3)=(0.4)3.0+(0.3)4.5+(0.3)6.0=4.

*

* 

Etap

3 4

 x  2 = 0+4.35=4. -

5

-

6

-

Solución

f  2(s 2,x  2 )= i  2(x  2 )&f 3(s 2-x  2 )  x  2  x  2 = = 2+3.4=5.4 3.25+2-=5.25 2+4.35=6. 3.25+3.4=6.6

4

5.40

1

4.35+2=6.35

6.65

2

3.25+4. 35=7.

4.35+3.4=7.7

7.75

3

-

4.35+4.35=8.

8.70

3

-

 x  2 =3

 2 * 

 x  2

* 

Etapa 1 s 1

6

Solución óptima

f 1(s1,x 1 )= i 1(x 1 )&f  2(s1-x 1 )  x 1 0+8.70= 8.

 x 1 2+7.75= 9.

 x 1 3.10+6. 65=9.

 x 1 =3 4.20+5. 40=9.

f 1 * 

 x 1

9.7

1 (no

* 

@A.B= es el ingreso esperado en el cual se consideraron las probabilidades10 para determinar la utilidad recuerde ue la cantidad de in:ersión es siempre @C.  Asignar*

Cliente4* 4 Cliente 5*7 Cliente7*5

No se in!lu"e 5 en la priera etapa por tener pro'a'ilidad 3 9