Resumen Teoría Matemática de La Información

Resumen Teoría Matemática De La Comunicación Es la teoría relacionada con las leyes matemáticas que rige la transmisión y el procesa procesamient miento o de la informa información ción.. Más concretame concretamente, nte, la teoría teoría de la información se ocupa de la medici ición de la información y de la representación de la misma (como, por ejemplo, su codificación) y de la capaci capacidad dad de los sistem sistemas as de comuni comunicac cación ión para para transm transmiti itirr y proce procesar sar información. La codificación puede referirse tanto a la transformación de voz o imagen en señales eléctricas o electromagnéticas, como al cifrado de mensajes para asegurar su privacidad. La teoría de la información fue desarrollada inicialmente, en 1948, por el ingeniero electrónico estadounidense Claude E. Shannon, en su artículo, A Mathe Mathema matic tical al Theo Theory ry of Commun Communica icatio tion n (Teoría eoría matemá matemátic tica a de la comunicación). La necesidad de una base teórica para la tecnología de la comunicación surgió del aumento de la complejidad y de la masificación de las vías de comunicación, tales como el teléfono, las redes de teletipo y los sistemas de comunicación por radio. La teoría de la información también abarca abarca todas todas las restant restantes es formas formas de transmis transmisión ión y almacena almacenamien miento to de infor informac mación ión,, incluy incluyend endo o la telev televisi isión ón y los impuls impulsos os eléctr eléctrico icos s que se tran transm smit iten en en las las comp comput utad ador oras as y en la grab grabac ació ión n ópti óptica ca de dato datos s e imágenes. El término información se refiere a los mensajes transmitidos: voz o música música trans transmit mitida ida por teléf teléfono ono o radio radio,, imágen imágenes es transm transmiti itidas das por por sist sistem emas as de tele televi visi sión ón,, info inforrmaci mación ón digi digita tall en sist sistem emas as y redes des de computadoras, e incluso a los impulsos nerviosos en organismos vivientes. De form forma a más general general,, la teoría teoría de la infor informa mació ción n ha sido sido aplica aplicada da en campos tan diversos como la cibernética, la criptografía, la lingüística, la psicología y la estadística. El tipo de sistema de comunicación más estudiado consta de varios componentes. El primero es una fuente de información (por ejemplo, una pers person ona a habl hablan ando do)) que que prod produc uce e un mens mensaj aje e o info inform rmac ació ión n que que será será transmitida. El segundo es un transmisor (como, por ejemplo, un teléfono y un amplificador, o un micrófono y un transmisor de radio) que convierte el mensaje mensaje en señales señales electró electrónicas nicas o electro electromagn magnética éticas. s. Estas Estas señales señales son transmitidas a través de un canal o medio, que es el tercer componente, como como puede puede ser ser un cable cable o la atmós atmósfer fera. a. Este Este canal canal es especi especialm alment ente e susceptible a interferencias procedentes de otras fuentes, que distorsionan y degradan la señal. (Algunos ejemplos de interferencias, conocidas como ruido, incluyen la estática en la recepción de radios y teléfonos, y la nieve en la recep recepció ción n de imágen imágenes es televi televisiv sivas as). ). El cuarto cuarto compon component ente e es el receptor, como por ejemplo el de radio, que transforma de nuevo la señal recibida en el mensaje original. El último componente es el destinatario, como por ejemplo una persona escuchando el mensaje. Dos de las principales preocupaciones en la teoría de la información son la reducción de errores errores por interferencias en los sistema de comunicación, y el uso más eficiente de la capacidad total del canal. Un concepto fundamental en la teoría de la información es que la cantidad de información contenida en un mensaje es un valor matemático bien definido y medible. El término cantidad no se refiere a la cuantía de datos, sino a la probabilidad de que un mensaje, dentro de un conjunto de mensa mensajes jes posibl posibles es,, sea recibid recibido. o. En lo que se refie refiere re a la cantid cantidad ad de info inforrmaci mación ón,, el valo valorr más más alto alto se le asig asigna na al mens mensaj aje e que que meno menos s

Titles you can't find anywhere else

Try Scribd FREE for 30 days to access over 125 million titles without ads or interruptions! Start Free Trial Cancel Anytime.



probabilidades tiene de ser recibido. Si se sabe con certeza que un mensaje va a ser recibido, su cantidad de información es 0. Si, por ejemplo, se lanza una una mone moneda da al aire aire,, el mens mensaj aje e conj conjun unto to cara cara o cruz cruz que que desc descri ribe be el resultado, no tiene cantidad de información. Sin embargo, los dos mensajes por separado cara o cruz tienen probabilidades iguales de valor un medio. Para relacionar la cantidad de información (I) con la probabilidad, Shannon presentó la siguiente fórmula: I = log21/p Donde p es la probabilidad del mensaje que se transmite y log2 es el logaritmo de 1/p en base 2. (log2 de un número dado X es el exponente Y al que tiene que ser elevado el número 2 para obtener dicho número X. Por ejemplo, log2 de 8 = 3, porque 23 = 8). Utilizando esta fórmula, obtenemos que los mensajes cara y cruz tienen una cantidad de información información de log22 = 1. La cantidad de información de un mensaje puede ser entendida como el número de símbolos posibles que representan el mensaje. En el ejemplo anterior, si cruz está representado por un 0 y cara por un 1, sólo hay una forma de representar el mensaje: 0 o 1. El 0 y el 1 son los dígitos del sistema binario (véase Sistema numérico), y la elección entre estos dos símbolos corresponde corresponde a la llamada unidad de información binaria o bit. Si se lanza una moneda tres veces seguidas, los ocho resultados (o mensajes) igualmente probables pueden ser representados como 000,001,010,01 000,001,010,011,100,1 1,100,101,110 01,110 o 111. Estos mensajes corresponden corresponden a los l os númer números os 0,1,. 0,1,...7 ..7 escrit escritos os en notaci notación ón binari binaria. a. La proba probabil bilida idad d de cada cada mensaje es de un octavo, y su cantidad de información es log21 ˆ = 3, que es el número de bits que se necesitan para representar cada mensaje. En la mayoría de las aplicaciones prácticas, hay que elegir entre mensajes que tienen diferentes probabilidades de ser enviados. El término entropía ha sido tomado prestado de la termodinámica, para designar la cantidad de información media de estos mensajes. La entropía puede ser intuitivamente entendida como el grado de desorden en un sistema. En la teoría de la información la entropía de un mensaje es igual a su cantidad de información media. Si en un conjunto de mensajes, sus probabilidades son iguales, la fórmula para calcular la entropía total sería: H = log2N, donde N es el número de mensajes posibles en el conjunto. Si se transmiten mensajes que están formados por combinaciones aleatorias de las 26 letras del alfabeto inglés, el espacio en blanco y cinco signos de puntuación, y si suponemos que la probabilidad de cada mensaje es la mism misma, a, la entr entrop opía ía serí sería: a: H = log2 log232 32 = 5. Esto Esto sign signif ific ica a que que se necesitan 5 bits para codificar cada carácter o mensaje: 00000, 00001, 0001 00010, 0, 1111 11111. 1. Una tran transm smis isió ión n y alma almace cena nami mien ento to efic eficie ient nte e de la info inforrmaci mación ón exige xige la reduc educci ción ón del del núme númerro de bits bits util utiliz izad ados os en su codificación. Esto es posible cuando se codifican textos en español, porque la colocación de las letras no es aleatoria. Así, por ejemplo, la probabilidad de que la letra que suceda a la secuencia información sea una n es muy alta.



Bibliografía Shannon, C. E. (1948). Una teoría matemática de la comunicación. U.S.A.: American Telegraph And Telephone Co.

Resumen Teoría Matemática de La Información

Recommend Documents