LA TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN Es la ciencia que trata la “información” como un recurso que puede ser medido, convertido a símbolos (generalmente en “Bits”) y transmitido de un lugar a otro por medio de un canal.
En general la teoría de la información considera los soportes y los símbolos que permiten la transmisión. No considera la información misma en su significado ni su veracidad. La teoría de la información se ocupa de la descripción matemática y evaluación de los métodos y transmisión, conservación, extracción, clasificación y medida de la información. Los símbolos que permiten la codificación de la información y su transmisión poseen propiedades fundamentales que serán analizadas como base para la construcción de códigos apropiados para ser usados a través de canales. Dichas propiedades de los símbolos se relacionan estrechamente con la cantidad de información que puedan contener.
TEOREMA DE SHANNON En En teoría de la información, el teorema de Shannon-Hartley es una aplicación del teorema de codificación para canales con ruido. Un caso muy frecuente es el de un un canal de comunicación comunicación analógico continuo en el tiempo que presenta un un ruido gausiano. El teorema establece la capacidad del canal de Shannon, una cota superior que establece la máxima cantidad de datos digitales que pueden ser transmitidos sin error (esto es, es, información) que pueden ser transmitidos sobre dicho enlace de comunicaciones con un ancho de banda específico y que está sometido a la presencia de la interferencia del ruido. En las hipótesis de partida, para la correcta aplicación del teorema, se asume una limitación en la potencia de la señal y, además, que el proceso del ruido gausiano es caracterizado por una potencia conocida o una densidad espectral de potencia. La ley debe su nombre a Claude Shannon y Ralph Hartley.
CODIFICACIÓN DE LA FUENTE Es el proceso por el cuál, la salida de una fuente de información, se convierte en una secuencia binaria. El elemento que realiza éste proceso se conoce como “codificador fuente” (Codec). Alternativamente es la acción de asignar dígitos binarios a secuencias de
símbolos que conllevan la información. Fuente de Codificador Información
Fuente
X (símbolos) salida binaria Uno de los objetivos es el de minimizar la rata promedio de bits, necesarios para la representación de la información, reduciendo la redundancia de la fuente. Existe una longitud de código, y una eficiencia de código. La eficiencia de la codificación procura en
aproximar la longitud promedio de las palabras de código (número promedio de dígitos binarios), a la entropía de la fuente.
CAPACIDAD DE CANAL En Teoría de la Información, la capacidad de un canal de comunicación es la cantidad máxima de información que puede transportar dicho canal de forma fiable, es decir, con una probabilidad de error tan pequeña como se quiera. Normalmente se expresa en bits/s (bps). Existen dos definiciones equivalentes entre sí del concepto de capacidad de un canal, una es para canales de tiempo continuo y la otra es para canales de tiempo discreto.
Capacidad de un canal discreto. En un canal discreto sin memoria: Ejemplos de canal – Canal binario sin ruido – Canal ruidoso con salidas no solapadas – Máquina de escribir ruidosa – Canal binario simétrico (BSC) – Canal binario con borrado (BEC) – Canal MUC (M-ary Uniform Channel)
La capacidad de un canal discreto sin memoria viene dada por:
Ejemplo: Canal Simétrico Binario (BSC) I(X;Y) = H (Y) - H (Y|X) = H (X) - H (X|Y) H (X|Y) = H (X|Y=0)*P (Y=0) + H (X|Y=1)*P(Y=1) H (X|Y=0) = H (X|Y=1) = Pelog (1/Pe) + (1-Pe) log (1/ 1-Pe) = Hb (Pe) H (X|Y) = Hb (Pe) => I(X; Y) = H(X) - Hb (Pe) H (X) = P0 log (1/P0) + (1-P0) log (1/ 1-P0) = Hb (p0) => I (X; Y) = Hb (P0) - Hb (Pe)
Definición para canales discretos
Un canal discreto (sin memoria) está definido por
el alfabeto de entrada, , que es el conjunto de símbolos que pueden ser transmitidos por el canal el alfabeto de salida, , que es el conjunto de símbolos que pueden ser recibidos a la salida del canal las relaciones estadísticas entre los símbolos de entrada y los de salida , esta información viene definida por la matriz de probabilidades condicionadas del canal donde Se define la entropía de entrada, entropía de salida y entropía de entrada condicionada por la salida como
La información mutua entre la entrada y la salida del canal la denotamos por y es una medida de lo que el conocimiento de la entrada reduce la incertidumbre sobre la salida y viceversa
Esta información mutua depende de la distribución de probabilidad de la entrada . Para una determinada distribución de entrada, alcanza un máximo, este máximo es precisamente lo que se conoce como la capacidad del canal
Codificación para canal binario simétrico. Canal binario simétrico El canal simétrico mas utilizado es el llamado canal binario simétrico, el nombre binario quiere decir que n = m = 2, es decir tanto el alfabeto de entrada como el de salida tienen dos elementos. Denotando estos por 0 y 1 en ambos alfabetos el esquema del canal binario simétrico y su matriz son 0p p1 − p
Ejemplos de canales discretos Canal binario simétrico
Canal binario simétrico, la probabilidad de error de bit es p.
Para el caso del canal binario simétrico con probabilidad de error de bit p, su capacidad viene dada por
La función es una función que aparece mucho en teoría de la información. Se trata de una función cóncava (y por tanto cumple la desigualdad de Jensen) y alcanza su máximo, igual a 1, cuando p = 0.5, por otro lado, cuando p = 0 o p = 1 vale 0. La capacidad de este canal es cero cuando p = 0.5, esto tiene sentido ya que en este caso el canal confunde los ceros y los unos con igual probabilidad lo que significa que es un canal inservible para enviar información, su capacidad es nula. Note que si un canal tuviese probabilidad de error de bit p = 1 eso no significa que sea un canal malo, todo lo contrario. Bastaría con invertir los bits antes de enviarlos para tener un canal ideal (con probabilidad p = 0).
Canales continuos y comparación de sistemas:
Vamos a comenzar con la medida de la información de una fuente que emite una continua señal. El material puede parecer pesado va al principio, pero entonces a hacer un poco su posiciones razonables sobre la transmisión de señales continuas para expresar canal de capacidad en términos de ancho de banda y la relación señal-ruido, un resultado conocido como la ley de Hartley-Shannon. Este resultado nos lleva a la definición de una comunicación idea sistema, que sirve como un estándar para la comparación del sistema y una guía para el diseño de sistemas de comunicación. Canales analógicos para transmitir información • Capacidad del canal: – Máxima velocidad a la que se pueden transmitir los datos en un canal o ruta de
comunicación de datos • Conceptos relacionados con la capacidad del canal – Velocidad de transmisión de datos: bps a la que se pueden transmitir los datos – Ancho de banda (W) (Hz): Ancho de banda de la señal transmitida • Transmisor • Naturaleza del medio – Ruido: Nivel medio del ruido a través del camino de transmisión – Tasa de errores (p): Tasa a la que ocurren los errores
Información continúa. Continuo de información Una fuente de información continua produce una señal variable en el tiempo x (t). Vamos a tratar el serie de señales de posibles como un conjunto de formas de onda generadas por algunos al azar proceso, supone que ergódica. Nos daremos por supuesto que aún más el proceso tiene una finita ancho de banda, lo que significa que x (t) ha sido completamente caracterizada en términos de la muestra periódico valores. Por lo tanto, en cualquier instante de muestreo, la colección de valores de muestra posible constituye una variable X descrito por su densidad de probabilidad función p (x).
La cantidad media de información por muestra el valor de x (t) se mide por la función de entropía donde, como antes, la base logarítmica es b = 2. Esta expresión ha sirnilar iti es obvia a la definición de la entropía de una fuente discreta. Sin embargo, la ecuación. (I) resulta como una medida relativa de la información en lugar de una medida absoluta. El entropía absoluta de una fuente continua puede, en principio, debe definirse desde el siguiente limitar la operación.
Capacidad de canal continúo. La definición de capacidad para canales continuos es un poco diferente y exige utilizar el Teorema del muestreo y algunos otros conceptos de teoría de la señal, además de los conceptos puramente estadísticos vistos en el apartado anterior. Ampliando los estudios del físico Harry Nyquist, compañero en los Laboratorios Bell, Claude Shannon demostró en 1949 que la capacidad teórica máxima de un canal de comunicaciones limitado en banda con ruido AWGN (ruido blanco aditivo gausiano) responde a la ecuación: bits/s (bps) La ecuación anterior muestra que la capacidad de un canal está limitada por su ancho de banda ( B) y por su relación señal/ruido (SNR). En términos de eficiencia espectral resulta:
bps/Hz Es decir, la eficiencia espectral máxima depende de la calidad del canal (de su nivel de ruido).
CODIFICACIÓN DEL CANAL Su propósito: es el de diseñar códigos que permitan una óptima transmisión de información digital sobre el canal. En última instancia permite desarrollar técnicas eficientes para la detección y corrección de errores. La señal puede provenir de un codificador fuente ó de una fuente binaria directamente. Fuente de Información
Codificador de
Canal
Secuencia de bits Fuente de Información
X (símbolos)
secuencia modificada Codificador
Codificador de
Fuente
Canal
salida binaria
secuencia modificada
TEOREMA: Dada una fuente discreta, sin memoria, [X], con una entropía H(x), y un canal con capacidad C, si H(X) < / = C, existe un esquema de codificación, para el que la salida de la fuente, pude transmitirse por el canal, con una arbitrariamente pequeña probabilidad de error. Igualmente, si H(x) > C, no es posible la transmisión libre de errores. Es posible el Código, pero no se nos dice cuál es. Si denominamos S = { s1, s2, ...sj } al conjunto de símbolos de un alfabeto, S; definimos un código, como la correspondencia de todas las secuencias posibles de símbolos de S, a secuencias de símbolos de algún otro alfabeto X = { x1, x2, ....xj } , S recibe el nombre de alfabeto fuente, y X alfabeto código. Estos procesos de codificación, implican la adición de bits, al paquete original de transmisión (redundancia); generando algoritmos para que le receptor detecte y corrija posibles errores sobre el mismo bloque recibido. Hay incremento de ancho de banda y de recursos para manipularlos. Existen básicamente dos procesos: CODIGOS DE BLOQUES, en los cuáles entran k símbolos al codificador, y salen n símbolos. El codificador no pose memoria, n > k. El mensaje binario, o la secuencia de datos se divide en bloques secuenciales, cada uno de k bits de largo, y cada k – bits bloque, se convierte en un bloque de n bits, n > k, el bloque resultante es llamado un (n,k) , código bloque. Existen los códigos lineales y los cíclicos. Acá están por ejemplo entre los cíclicos: Codificación Hamming, BCH, Reed – Solomon, Reed – Miller y Golay. Siempre se asignan bloques adicionales de una manera fija a las secuencias de entrada. El otro proceso, lo constituyen los CÓDIGOS CONVOLUCIONALES, que constituyen un proceso de codificación con memoria. Entran k símbolos y salen n símbolos; n símbolos de salida se ven afectados por v*k símbolos de entrada (v . 0). Hay memoria, porque la secuencia de salida depende de un numero definido de entradas previas Automatic Request (ARQ), es simple, eficiente en manejo de ancho de banda, y presupone la existencia de bidireccionalidad en el canal. (ACK, NAC ). Forward Error Correction (FEC), es útil en canales simples, en canales con altos retardos de transmisión, y permite altas velocidades en la comunicación.
