UNIDAD 1 Taller – Parcial 1 Ejercicios Propuestos.
Tutor: Jorge Tutor: Jorge Iván Posada Gámez Curso: Teoría Curso: Teoría de la información Fecha: 21 Fecha: 21 – septiembre - 21! Duración: 1" Duración: 1" #oras Horario e solución: $% solución: $% a&m& 'asta 11%(( p&m& del mismo día& Estuiante: Estuiante: )))))))))))))))))))))))))))))))))))))))))) Cói!o: ))))))))))))))))))) Cói!o: )))))))))))))))))))
"#ser$aciones: *e+or est,diante tenga tenga presente ,e no todas todas las preg,ntas tienen el mismo mismo nivel de dific, dific,lta ltad& d& .omo .omo estrat estrateg egia ia clasifi clasifi,e ,e las preg,n preg,ntas tas seg/n seg/n s, nivel nivel de dific, dific,lta ltad d 0 l,ego l,ego comience a responder desde la más sencilla& sta estrategia le a0,dará a administrar meor s, tiempo 0 notará ,e el tiempo de sol,ción se red,cirá considerablemente& 3efinir el nivel de dific,ltad de ,na preg,nta dependerá del nivel de conocimientos ,e #a0a ad,irido con en s, tiempo de est,dio&
1& 4.,ál es la cantidad de información información obtenida si al seleccionar seleccionar aleatoriamente ,na carta de ,na baraa de pó5er de (2 naipes se saca ,na fig,ra6 2& 7na clase tiene tiene 12 ni+os 0 8 ni+as& ni+as& *e seleccionan seleccionan ! al,mnos al,mnos al azar 9,no desp,:s desp,:s del otro;& otro;& 4.,ál es la cantidad de información ,e se obtiene si los tres seleccionados res,ltan ser ni+os6 !& *e lanza ,na moneda moneda ! veces& 3etermina la cantidad de información información obtenida si res,ltan 2 caras en los ! lanzamientos& 8& 7na l,z se emite #asta con 1 colores diferentes& *e eligen 8 colores al azar& azar& 4.,ál es la cantidad de información contenida en cada sec,encia de 8 intermitencias6 (& *,pongamos ,e se lanza lanza ,n par de dados no cargados& cargados& *i la s,ma es $& 3etermine la cantidad de información obtenida si oc,rre ,e ,no de los dados tenga ,n 2& $& 7n teletipo teletipo binario binario consta consta de $8 símbol símbolos os posibles posibles<< los c,ales c,ales son emplea empleados dos con ig,al frec,encia& *i en a,sencia total de r ,ido se p,eden enviar 8 símbolos por seg,ndo a trav:s del canal< 4c,ál es la cantidad de información por seg,ndo ,e se p,ede enviar por dic#o canal6 S 1 , S2 , S ! , S 8 , S( @ =& Para Para ,na f,ente f,ente de informa informació ción n de memoria memoria n,la con con mensae mensaess *> ? determine el máAimo valor de la entropía 0 eApli,e c,ál es la condición para ,e :sta se presente& "& 3ada ,na ,na f,ente f,ente con alfabeto alfabeto B> ? f 1 , f 2 , f ! @ con probabilidades% P9 ;>&8 0 P9 f ! ;>&(& .alc,lar% a& .antidad de información emitida por cada Bi& b& Ca cantidad cantidad media de información por símbolo& símbolo&
f 1 ;>&1< P9
f 2
c& .onsidere la eAtensión de seg,ndo orden de esta f,ente 0 calc,le s, cantidad media de información por símbolo& d& .alc,le la cantidad media de información de la eAtensión de tercer orden& D& 7na sec,encia de eventos oc,rren prod,ciendo ,na cantidad de información total de 1$<$1 bits& *i todos los eventos son e,iprobables& 3etermine la cantidad de eventos& 1& .onsidere ,na f,ente de Ear5ov de seg,ndo orden ergódica con ,n alfabeto con ,n alfabeto *> ?< 1@& *,ponga las sig,ientes probabilidades% P 91F11; > &= P 91F; > P 9F; > 1& P 91F1; > &( a; 3etermine P 9F1; 0 P 9F11;& Apli,e cómo la obtiene& b; .onstr,0a el diagrama de estados c; 4Por ,: esta f,ente es ,na f,ente ergódica6 Apli,e& 11& 7n observador< antes de conocer la salida de,na f,ente de información de memoria n,la< sabe ,e no recibirá n,nca ,n valor medio ma0or a !<1= bitsFsímbolo& *I este valor medio se está presentando en esa f,ente< determine la cantidad de símbolos mensae 9*i; para dic#a f,ente& 12& n ,na f,ente de memoria n,la con * > ? S 1 , S2 , S ! , S 8 , S( @ las probabilidades de los eventos varían cada c,atro #oras& n las primeras c,atro #oras los eventos tienen probabilidades así% P9 S 1 ;> 1F(< P9 S 2 ;> !F1< P9 S ! ;> 1F1< P9 S 8 ;> !F1< P9 S ( ;> 1F1& *e sabe ,e la incertid,mbre de ,n observador a la salida de la f,ente siempre se mantiene en el rango de a H bitFsimb 9 incertid,mbre H;& stime el valor para H& J,stifi,e la resp,esta& 1!& .onsidere ,na f,ente de Ear5ov de seg,ndo orden ergódica con ,n alfabeto *>?< 1@ la c,al emite la sig,iente sec,encia de símbolos% 111111111 a& .onstr,0a el diagrama de estados& b& 3etermine P9F;< P91F1; 0 P91F1; 18& l diagrama de estados de ,na f,ente de información de Ear5ov binaria de primer orden viene dado en la sig,iente fig,ra&
a& 3emostrar ,e las probabilidades estacionarias de la f,ente son % P9; > F9p K ;< P91;> pF9pK;& b& .alc,lar '9*;& c& *ea p > & .alc,lar 0 dib,ar '9*; en f,nción de p& 1(& .onsideremos ,na f,ente de Ear5ov binaria de tercer orden en ,e la probabilidad de emitir ,n ó ,n 1 no depende de los dos símbolos anteriores< sino del tercero& Ca probabilidad de ,e ,n símbolo coincida con el emitido tres l,gares antes es ig,al a &DL la probabilidad de ,e sea distinto<
&1& a& 3ib,ar el diagrama de estados de esta f,ente& b& .alc,lar la entropía de la f,ente 1$& l diagrama de estados de ,na f,ente de información de Ear5ov de primer orden viene dado en la fig,ra& Por simetría< la distrib,ción estacionaria es% P9; > P91; > P92; > 1F!
a& .alc,lar '9*; b& Mnalizar el comportamiento de la f,ente para p> c& Mnalizar el comportamiento de la f,ente para p>1
