Francois Esteban Escobar 4990-11-16814 Teoría Teoría matemática matemática de la Información: Información: Clade !"annon #a teoría de la información tambi$n conocida como teoría matemática de la comnicación %&at"ematical T"eor' of Commnication( o teoría matemática de la información) es na *ro*esta teórica *resentada *or Clade E+ !"annon ' ,arren ,eaer a .nales de la d$cada de los 40+ Esta Esta teorí teoría a está está rela relacio ciona nada da con con las le'es le'es matem matemáti áticas cas /e /e rie rien n la trans transmis misió ión n ' el *roce *rocesam samie iento nto de la infor informac mació ión n ' se oc*a oc*a de la medición de la información ' de la re*resentación re*resentación de la misma así como tamb tambi$ i$n n de la ca*a ca*aci cida dad d de los los sist sistem emas as de com comni nica caci ción ón *ar *ara transmitir ' *rocesar información+1 #a Teoría de la Información es na rama de la teoría matemática ' de las ciencias de la com*tación /e est estdi dia a la info inforrmaci mación ón ' todo todo lo relac elacio iona nado do con con ella ella:: canal anale es) com*resión de datos) cri*torafía ' temas relacionados+ ntecedentes "istóricos #a teor teoría ía de la info inform rmac ació ión n sr srió ió a .nal .nales es de la !e !end nda a 2er 2erra ra &ndial en los a3os carenta+ Fe iniciada *or Clade E+ !"annon a tra$s de n artíclo *blicado en el ell !'stem Tec"nical 5ornal en 1948 1948)) tit titla lado do na na teor teoría ía mate matemá máti tica ca de la com comni nica caci ción ón %te7 %te7to to com*leto en inl$s(+ En esta $*oca se bscaba tiliar de manera más e.ci e. cien ente te los los cana canale les s de com comni nica caci ción ón)) eni enian ando do na na cant cantid idad ad de infor informac mación ión *or n deter determin minad ado o canal canal ' midie midiend ndo o s ca*aci ca*acida dad d se bsc bscab aba a la tran transm smis isió ión n ó*ti ó*tima ma de los los mens mensa aes es++ Esta Esta teor teoría ía es el resl resltad tado o de traba trabaos os comen comena ado dos s en la d$ca d$cada da 1910 1910 *or *or ndr ndrei ei + &ar; &ar;oi) oi) a /ie /ien n le sii siió ó
artle >artle' ' en 19?@) 19?@) /ien /ien fe el *recrsor del lenae binario+ s e) lan Trin en 19A6) realió el es/ema de na má/ina ca*a de tratar información con emisión de símbolo símbolos) s) ' .nalment .nalmente e !"annon !"annon)) matemáti matemático) co) inenier ineniero o electró electrónico nico ' cri* cri*tó tór raf afo o amer americ ican ano o cono conoci cido do como como Be Bell *adr *adre e de la teor teoría ía de la información nto a ,arren ,eaer contrib'eron en la clminación ' el asentamiento de la Teoría &atemática de la Comnicación de 1949 D/e "o' "o' es mnd mndia ialm lmen ente te cono conoci cida da *or *or todo todos s como como la Teorí eoría a de la Info Inforrmació ación n-+ ,eaer aer con consi siió ió darle arle n alcan lcanc ce s* s*erio rior al *lanteamiento inicial) creando n modelo sim*le ' lineal: Fentecodi.cadormensae canaldescodi.cadordestino+ #a necesidad de na base teórica *ara la tecnoloía de la comnicación srió del amento de la com*leidad ' de la masi.cación masi.cación de las ías de com comni nica caci ción ón)) tale tales s como como el tel$ tel$fo fono no)) las las redes edes de tele teleti ti*o *o ' los los sistemas de comnicación *or radio+ #a teoría de la información tambi$n abarca todas las restantes formas de transmisión ' almacenamiento de información) incl'endo la teleisión ' los im*lsos el$ctricos /e se transmiten en las com*tadoras ' en la rabación ó*tica de datos e
Francois Esteban Escobar 4990-11-16814 imáenes+ #a idea es arantiar /e el trans*orte masio de datos no sea en modo alno na merma de la calidad) inclso si los datos se com*rimen de alna manera+ Idealmente) los datos se *eden restarar a s forma oriinal al llear a s destino+ En alnos casos) sin embaro) el obetio es *ermitir /e los datos de alna forma se conierten *ara la transmisión en masas) se reciban en el *nto de destino) ' conertidos fácilmente a s formato oriinal) sin *erder ninna de la información transmitida+
esarrollo de la teoría El modelo *ro*esto *or !"annon es n sistema eneral de la comnicación /e *arte de na fente de información desde la cal) a tra$s de n transmisor) se emite na se3al) la cal iaa *or n canal) *ero a lo laro de s iae *ede ser interferida *or alGn rido+ #a se3al sale del canal) llea a n rece*tor /e decodi.ca la información conirti$ndola *osteriormente en mensae /e *asa a n destinatario+ Con el modelo de la teoría de la información se trata de llear a determinar la forma más económica) rá*ida ' sera de codi.car n mensae) sin /e la *resencia de alGn rido com*li/e s transmisión+ Hara esto) el destinatario debe com*render la se3al correctamente) el *roblema es /e an/e e7ista n mismo códio de *or medio) esto no sini.ca /e el destinatario a ca*tar el sini.cado /e el emisor le /iso dar al mensae+ #a codi.cación *ede referirse tanto a la transformación de o o imaen en se3ales el$ctricas o electroman$ticas) como al cifrado de mensaes *ara aserar s *riacidad+ n conce*to fndamental en la teoría de la información es /e la cantidad de información contenida en n mensae es n alor matemático bien de.nido ' medible+ El t$rmino cantidad no se re.ere a la cantía de datos) sino a la *robabilidad de /e n mensae) dentro de n connto de mensaes *osibles) sea recibido+ En lo /e se re.ere a la cantidad de información) el alor más alto se le asina al mensae /e menos *robabilidades tiene de ser recibido+ !i se sabe con certea /e n mensae a a ser recibido) s cantidad de información es 0+ A Finalidad Con el modelo de la teoría de la información se trata de llear a determinar la forma más económica) rá*ida ' sera de codi.car n mensae) sin /e la *resencia de alGn rido com*li/e s transmisión+ Hara esto) el destinatario debe com*render la se3al correctamente) el *roblema es /e an/e e7ista n mismo códio de *or medio) esto no sini.ca /e el destinatario a ca*tar el sini.cado /e el emisor le /iso dar al mensae+ tro as*ecto im*ortante dentro de esta teoría es
Francois Esteban Escobar 4990-11-16814 la resistencia a la distorsión /e *rooca el rido) la facilidad de codi.cación ' descodi.cación) así como la elocidad de transmisión+ Es *or esto /e se dice /e el mensae tiene mc"os sentidos) ' el destinatario e7trae el sentido /e debe atribirle al mensae) siem*re ' cando "a'a n mismo códio en comGn+ #a teoría de la información tiene ciertas limitantes como lo es la ace*ción del conce*to del códio) el sini.cado /e se /iere transmitir no centa tanto como el nGmero de alternatias necesario *ara de.nir el "ec"o sin ambiJedad+ !i la selección del mensae se *lantea Gnicamente entre dos alternatias diferentes) la teoría de !"annon *ostla arbitrariamente /e el alor de la información es no+ esta nidad de información recibe el nombre de bit+ Hara /e el alor de la información sea n bit) todas las alternatias deben ser ial de *robables ' estar dis*onibles+ Es im*ortante saber si la fente de información tiene el mismo rado de libertad *ara eleir cal/ier *osibilidad o si se "alla bao alna inKencia /e la indce a na cierta elección+ #a cantidad de información crece cando todas las alternatias son ial de *robables o cando ma'or sea el nGmero de alternatias+ Hero en la *ráctica comnicatia real no todas las alternatias son ialmente *robables) lo cal contrib'e n ti*o de *roceso estocástico denominado &ar;oL+ el sbti*o de &ar;oL dice /e la cadena de símbolos está con.rada de manera /e cal/ier secencia de esa cadena es re*resentatia de toda la cadena com*leta+ Teoría a*licada a la tecnoloía #a teoría de la Información se encentra aGn "o' en día en relación con na de las tecnoloías en boa) el Internet+ esde el *nto de ista social) Internet re*resenta nos sini.catios bene.cios *otenciales 'a /e ofrece o*ortnidades sin *recedentes *ara dar *oder a los indiidos ' conectarlos con fentes cada e más ricas de información diital+ na de las a*licaciones de la teoría de la información son los arc"ios MIH) docmentos /e se com*rimen *ara s transmisión a tra$s de correo electrónico o como *arte de los *rocedimientos de almacenamiento de datos+ #a com*resión de los datos "ace *osible com*letar la transmisión en menos tiem*o+ En el e7tremo rece*tor) n softNare se tilia *ara la liberación o descom*resión del arc"io) restarando los docmentos contenidos en el arc"io MIH a s formato oriinal+ #a teoría de la información tambi$n entra en so con otros ti*os de arc"ios *or eem*lo) los arc"ios de adio ' ideo /e se re*rodcen en n re*rodctor de &HA se com*rimen *ara na fácil descara ' almacenamiento en el dis*ositio+ Cando se accede a los arc"ios se am*lían *ara /e est$n inmediatamente dis*onibles *ara s so+4
Francois Esteban Escobar 4990-11-16814 Elementos de la Teoría Es/ema de la comnicación ideado *or Clade E+ !"annon+ Fente na fente es todo a/ello /e emite mensaes+ Hor eem*lo) na fente *ede ser na com*tadora ' mensaes ss arc"ios) na fente *ede ser n dis*ositio de transmisión de datos ' mensaes los datos eniados) etc+ na fente es en sí misma n connto .nito de mensaes: todos los *osibles mensaes /e *ede emitir dic"a fente+ En com*resión de datos tomaremos como fente al arc"io a com*rimir ' como mensaes a los caracteres /e conforman dic"o arc"io+ Ti*o de Fentes Hor la natralea eneratia de ss mensaes na fente *ede ser aleatoria o determinística+ Hor la relación entre los mensaes emitidos na fente *ede ser estrctrada o no estrctrada %o caótica(+ E7isten arios ti*os de fentes+ Hara la teoría de la información interesan las fentes aleatorias ' estrctradas+ na fente es aleatoria cando no es *osible *redecir cal es el *ró7imo mensae a emitir *or la misma+ na fente es estrctrada cando *osee n cierto niel de redndancia) na fente no estrctrada o de información *ra es a/ella en /e todos los mensaes son absoltamente aleatorios sin relación alna ni sentido a*arente) este ti*o de fente emite mensaes /e no se *eden com*rimir) n mensae *ara *oder ser com*rimido debe *oseer n cierto niel de redndancia) la información *ra no *ede ser com*rimida sin /e "a'a na *erdida de conocimiento sobre el mensae+O &ensae n mensae es n connto de ceros ' nos+ n arc"io) n *a/ete de datos /e iaa *or na red ' cal/ier cosa /e tena na re*resentación binaria *ede considerarse n mensae+ El conce*to de mensae se a*lica tambi$n a alfabetos de más de dos símbolos) *ero debido a /e tratamos con información diital nos referiremos casi siem*re a mensaes binarios+ Códio n códio es n connto de nos ' ceros /e se san *ara re*resentar a n cierto mensae de acerdo a relas o conenciones *reestablecidas+ Hor eem*lo al mensae 0010 lo *odemos re*resentar con el códio 1101
Francois Esteban Escobar 4990-11-16814 sando *ara codi.car la fnción %PT(+ #a forma en la cal codi.camos es arbitraria+ n mensae *ede) en alnos casos re*resentarse con n códio de menor lonitd /e el mensae oriinal+ !*onamos /e a cal/ier mensae ! lo codi.camos sando n cierto aloritmo de forma tal /e cada ! es codi.cado en #%!( bits) de.nimos entonces a la información contenida en el mensae ! como la cantidad mínima de bits necesarios *ara codi.car n mensae+ Información #a información contenida en n mensae es *ro*orcional a la cantidad de bits /e se re/ieren como mínimo *ara re*resentar al mensae+ El conce*to de información *ede entenderse más fácilmente si consideramos n eem*lo+ !*onamos /e estamos le'endo n mensae ' "emos leído Bstrin of c"B) la *robabilidad de /e el mensae continGe con BaractersB es m' alta *or lo tanto cando realmente leemos BaractersB del arc"io la cantidad de información /e recibimos es m' baa *es estabamos en condiciones de *redecir /e era lo /e iba a ocrrir+ #a ocrrencia de mensaes de alta *robabilidad de a*arición a*orta menos información /e la ocrrencia de mensaes menos *robables+ !i leo de Bstrin of c"B leemos Bimic"rriB la cantidad de información /e recibimos es mc"o ma'or+
