Universidad Nacional de Ingeniería Comunicaciones II
Confe Conf erenc rencia ia 18: 18: Capacidad Capacid ad de Canal Canal UNIDAD VII: CODIFICACIÓN DE CANAL Instru Inst ruct ctor or:: Israel M. Zamo Zamora, ra, P.E., .E., MS Telecommu elecom muni nicati cation ons s Management Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones. Universidad Nacional de Ingeniería
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
1
Contenido • • • • • • • •
Lim itaciones Limit aciones en el el diseño d iseño de d e DC DCS S Canal Ca nal Discr Dis creto eto Sin Me Memo mori ria a (DM (DMC) C) Cana anall Simétr Simétrico ico Binari B inario o Entropía Condicional Infor mación Mutua Mutua Pro ropi pie edades de la Info Inform rmación ación Mutua Mutu a Ilus lustr tración ación de las relacio relaciones nes ent entre re divers diversas as ent entro ropía pía de canal Capacidad de Canal –
•
Teorema de la Capacid Capacidad ad de Inf Infor ormaci mación ón –
•
Ejempl Eje mplo o1 Ejempl Eje mplo o2
Fron teras e Imp Fronteras Implilicaci cacion ones es del 3er 3er Teorema Teorema de Shannon 2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
2
Limi Li mitacion tacione es en el el dis d ise eño de un DCS DCS
Limitaciones:
El requerimiento requerimi ento de mínimo ancho d e banda teóri teórico co de Nyqui Nyquist st
El teorema de la capaci capacidad dad de d e Sha Shann nnon on-H -Hartl artley ey (y el límite límit e de Shanno Shannon) n)
Regul gula acio ciones nes de d el Gobierno
Limitacione Limi taciones s tecnológica tecnológic as
Otr tros os requerimeint os de d e sis temas (e (e.g .g órbit as satelitales)
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
3
Limitaciones en el diseño de un DCS •
El mínimo ancho de banda teórico W necesario para transmisión bandabase R símbolos por segundos es R/2 hertz. H ( f )
h (t )
1
T
1 2T 2S 2009 - I. Zamora
t / sinc(
0
1
f
2T T 0
T 2T
t
2T Uni VII-Conf 18: Codificación de
4
Canal Discreto Sin Memoria (DMC) En la conferencia #4 estudiamos las fuentes discretas sin memoria (DMS) generadoras de información y la manera como se cuantificaba la cantidad de infor mación. En esta ocasión estudiamos el aspecto de la transmisión de esa información a su destino a través de un canal discreto sin memoria. Un adelanto de este estudio se planteó rápidamente en la conferencia #2 (Canal Simétrico Binario). Fuente Discreta de Información
DMS estudiada en Conferencia #10
Fuente Discreta de Información
L X
X
x2 x1 x0 x1 x2
X Alfabeto Fuente
2S 2009 - I. Zamora
x2 x1 x0 x1 x2
Canal DMS
y2 y1 y0 y1 y2
Destino de Información
P Y / X
DMC que estud iaremos en esta conf erencia
Uni VII-Conf 18: Codificación de
Y Alfabeto Destino
L Y 5
Canal Discreto Sin Memoria (DMC) •Un
canal discreto sin memoria es un modelo estadístico con una entrada X y una salida Y que es una versión ruidosa de X. •X e Y son variables aleatorias. L X L Y
{ x0 , x1 ,..., x J 1 }
Alfabeto Fuente de J símbolos
{ y0 , y1 ,..., y K 1 }
Alfabeto Destino de K símbolos
Muestras del alfabeto destino
Muestras del alfabeto fuente
x0 x1 L X x J-1 2S 2009 - I. Zamora
Matriz de probabilidades que caracterizan el canal
y0 X
P ( Y X )
p( y k x j )
Y
y K-1 Uni VII-Conf 18: Codificación de
L Y
y1
6
Canal Discreto Sin Memoria (DMC) Las probabilidades de ocurrencia de cada símbolo para X y
Y son:
J 1
P(Y y k )
p(y k )
para tod a k
p(x j ) 1
Para toda j
j 0 K 1
P(X x j )
p(x j )
para tod a j
p(y k ) 1
Para toda k
k 0
El conjunt o de probabilidades de transición (condicionales) está dado por: K 1
P(Y y k X x j ) p(y k x j )
para oda t j y k
p(y k x j ) 1
k 0
Para toda j
Matriz (J x K) de canal o de transici ón.
p( y0 x0 ) p( y1 x0 ) p( y K 1 x0 ) p( y0 x1 ) p( y1 x1 ) p( y K 1 x1 ) P(Y X) p ( y x ) p ( y x ) p ( y x ) J 1 J 1 K 1 J 1 0 1 2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
0
p(y k x j ) 1
Para toda j y k
7
Canal Discreto Sin Memoria (DMC) En la matriz de canal se observa que cada renglón corresponde a una entrada de canal fija, en tanto que cada columna de la matriz corresponde a una salida de canal fija. La probabilidad de distribución conjunta de las variables X e y está dada por: P(X x j ,Y y k ) p(x j , y k ) P(X x j ,Y y k ) P(Y y k ,X x j )
P(Y y k , X x j )
p(y k , x j ) p(y k ,x j ) p(x j ,y k )
donde se cumple que: p(x j ,y k ) P(X x j ,Y y k )
2S 2009 - I. Zamora
P(Y y k X x j )P(X x j )
p(y k x j )p(x j )
Uni VII-Conf 18: Codificación de
8
Canal Discreto Sin Memoria (DMC) La probabilidad de distribución marginal de la variable aleatoria de salida Y se obtiene promediando la dependencia de p(x j ,y k) con respecto a x j , como se indica: p(y k ) P(Y y k ) J 1
P(X x k ) P(Y y k X x j ) j 0 J 1
p(x j )p(y k x j )
para k 0 ,1 ,...,K-1
j 0
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
9
Canal Simétrico Binario El canal simétrico binario es de gran interés teórico y corresponde al ejemplo estudiado en la conferencia #2. Consiste en un DMC con J=K=2 (ambos alfabetos – fuente X y destino Y- poseen dos símbolos: 0’ y 1’), y es simétrico porque la probabilidad de recibir un 1’ si se envió un ‘0 es igual que la probabilidad de recibir un ‘0 cuando se envía un ‘1 la cual denotamos por p.
El diagrama siguiente ilustra este caso. p(x0 )
1 / 2
1
p(y0 ) p(x j )p(y0 x j ) j 0
p(y0 x0 ) 1 p
“0”
“0” p(y1 x0 )
p Ver conferencia #2 !!!
p(y1 x0 )
“1” p(x1 )
1 / 2
p
“1” p(y1 x1 )
1
p
1
p(y1 ) p(x j )p(y1 x j ) j 0
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
10
Entropía Condicional •
Cuando tenemos dos alfabetos X Y podemos medir la incertidumbre de X después de observar Y defini endo la entr opía condicional de X elegida del alfabeto X, dado que Y=y k , utilizando la fórmula sigui ente: 1 H ( X Y y k ) p(x j y k ) log2 p(x y ) j 0 j k J 1
•
Esta misma cantidad es una variable aleatoria que toma los valores H(X|Y=y 0), H(X|Y=y 1 ),…, H(X|Y=y K-1) con probabilidades p(y 0), p(y 1 ), …,p(y K-1), respectivamente. La media de la entropía H(X|Y=yk ) sobre el alfabeto de salida Y está dado por: H ( X Y )
K 1
H ( X Y y
k
) p( y k )
k 1
1 p(x j y k )p( y k ) log2 p(x y ) k 1 j 0 j k K 1 J 1
1 p(x j , y k ) log2 p(x y ) k 1 j 0 j k K 1 J 1
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
H(X|Y) es la entro pía condic ional qu e representa la cantidad de incerti dumb re que queda acerca de la entrada del canal después de que se ha observado la salida del canal.
donde:
p( x j , y k ) p( y k ) p( x j y k )
11
Información Mutua •
Sabemos que H(X) representa nuestra incertidumbre en torno a la entrada del canal antes de obs ervar la salida del m ismo, y H(X|Y) representa nuestra incertidumbre con respecto a la entrada del canal después de observar la salida de éste, se puede concluir que la diferencia H(X)- H(X|Y) debe representar nuestra incerti dumbre en torno a la entrada del canal que se resuelve al observar la salida del mismo.
•
Esta import ante cantidad se denomina la información mutua del canal que denotamos I(X,Y), o en general:
I ( X ,Y )
I ( Y , X)
H ( X ) H ( X Y )
H ( Y ) H ( Y X )
donde H(Y) es la entropía de la salida del canal y H(Y|X) es la entropía condicional de la salida del canal dada la entrada del mismo. 2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
12
Propiedades de la Información Mutua •
Propiedad 1: La información m utua de un canal es simétrica, esto es I ( X ,Y) I ( Y , X )
•
Propiedad 2: La información mutua es siempre no negativa, es decir, I ( X ,Y) 0
•
Propiedad 3: La información mut ua de un canal se relaciona con la entropía conjunta de la entrada y la salida del mismo mediante I ( X ,Y) H ( X ) H ( Y ) H ( X ,Y )
donde la entropía conjunta H(X,Y) está definida por
1 H ( X ,Y ) p( x i , y k ) log2 p ( x , y ) j 0 k 1 i k J 1 K 1
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
13
Ilustración de las relaciones entre diversas entropía de canal H ( X ,Y )
H ( X Y )
I ( X ,Y )
H ( Y X )
H ( X )
2S 2009 - I. Zamora
H ( Y )
Uni VII-Conf 18: Codificación de
14
Capacidad de Canal •
•
Definimos la capacidad del canal de un canal discr eto sin memoria como la información mutua máxima I(X,Y) en cualquier uso simple del canal (es decir, el intervalo de transmisión de señales), donde la maximización es sobre todas las dis tribuciones de probabilidad de entrada posibles {p(x j )} en x. La capacidad de canal se denota com únmente por medio de C. De este modo escribimos:
C máx I(X,Y )
{p(x j )}
La capacidad del canal C se mide en bits por uso del canal o bits por transmisión. Advierta que la capacidad de canal C es una funci ón exclusiva de las probabilid ades de transición p(yk,x j ), las cuales definen el canal. El cálculo de C implica la maximización de la información mutua I(X,Y) sobre J variables sujeta dos rest ricciones:
p( x j ) 0
para toda j
J 1
y
p(x j ) 1
j 0
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
15
Ejemplo 1 •
Con base en el caso estudiado en la diapositiva #8 (Canal Discreto Simétrico Binario) determinaremos la Capacidad de ese modelo de canal. Tenemos que H(X) es máximo si p(x 0)=p(x 1)=p=1/2 (Ver Conferencia #4, diapositiv a #15), por lo que podemos escribir:
C
I(X,Y) p(x
0
) p(x1 ) 1 / 2
Por tanto, sustituyendo estas probabilidades de transición del canal con J=K=2, e igualando después la probabilidad de entrada p(x 0)=p(x 1)=1/2 de acuerdo con la ecuación de C, encontramos que la capacidad del canal simétrico binario es:
C 1 p log2 p ( 1 p) log2 ( 1 p) 1
2S 2009 - I. Zamora
H ( p ) Uni VII-Conf 18: Codificación de
16
Ejemplo 1 C 1 p log2 p ( 1 p) log2 ( 1 p) 1
H ( p )
Observaciones: 1.
2.
Cuando el canal no tiene ruido, lo que nos permite dejar p=0, la capacidad C del canal alcanza su valor máximo de un bit po r uso de canal, lo cu al es exactaemtneo la info rmación en cada entrada del canal. A este valor p, la funci ón de entrop ía H(p) llega a su valor mínimo de cero. Cuando la probabilidad condicional de error p=1/2 debido al ruido , la Capacidad C del canal alcanza su valor mínimo de cero, en tanto que la fun ción d e entropía H(p) llega a si valor máxim o de la unidad; en un caso de este tipo s e dice que el canal será inút il.
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
17
Teorema de la Capacidad de Información •
Formularemos el teorema de la Capacidad de Información correspondiente a canales gaussianos limitado en potencia y limitado en frecuencia. X k
Y k
Señal transmitida
Señal recibida Para el mo delo de c anal con ruid o AWGN
Ruido N k AWGN
Y k
X k
N k , k
1
,2 ,..., K
Modelo de canal con ruid o AWGN
Muestra de ruido gaussiana con media cero y varianza: 2
Proceso aleatorio con media igual a cero y varianza: σ
2
Y
2
2
σ X σ N
S
2
σ N
N
N 0 BW tx
Proceso aleatorio con media cero que está limitado en frecuencia a B T hertz, y cuya varianza es la potencia de transmisión limitada a S watts: 2
X
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
S
2
E[X k ] 18
Teorema de la Capacidad de Información •
La capacidad de información del canal bajo las condiciones anteriores es:
C máx { I ( X k ,Y k ) : E [ X k2 ]
f X k ( x )
•
Se puede demostrar que la entropía diferencial d e Yk se calcula como: H (Y k )
•
1 2
log 2 2 e( X N ) 2
2
1 2
log 2 2 e(S N 0 BW tx )
Se puede demostrar que la entropía diferencial de N k se calcula como: H ( N k )
•
S }
1
2
log 2 (2 e N 2 )
1
2
log 2 (2 eN 0 BW tx )
De los resultados anteriores y c on base en la definic ión de la capacidad de información tenemos que:
2 1 S C log 2 1 2 log 2 1 2 N BW 2 0 1
X
N
2S 2009 - I. Zamora
tx
Uni VII-Conf 18: Codificación de
Bits por transmisión
19
Teorema de la Capacidad de Información •
Si multiplicamos este resultado por el núm ero de transmisiones /segundo , el cual es 2W obtendremos la capacidad de canal en bits por segundos (bps):
S C log 2 1 N BW 2 0 1
tx
2 BW
tx
C BW tx
S log 2 1 N 0 BW
tx
Bits por segundos
•
Con base en los resul tados anteriores, es posible establecer el tercero y mas famoso teorema de Shannon, el TEOREMA DE LA CAPACIDAD DE LA INFORMACIÓN, dado por:
•
La capacidad de información de canal conti nuo de ancho de banda BW tx hertz, perturbado por ruido blanco gaussiano aditivo c on densidad espectral de potencia N0/2 y limitado en ancho de banda a BWtx , está dado por:
S C W log 2 1 N BW 0
tx
2S 2009 - I. Zamora
Bits por segundos
Note que la razón señal a ruido SNR del canal está dado por:
Uni VII-Conf 18: Codificación de
SNR
S
N 0 BW tx 20
Teorema de la Capacidad de Información •
El teorema de Shannon pone un límite en la tasa de transmisión de datos, no en la probabilidad de error: –
Es teóricamente posible transmitir información a cualquier tasa R , con una probabilidad b arbitrariamente pequeña de error al utilizar un esquema de codificación lo suficientemtne complejo Rb C .
–
Para una tasa de información Rb C , NO es posible encontrar un código que pueda materializar una probabilidad de error arbitrariamente pequeña.
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
21
Fronteras e Implicaciones del 3er Teorema de Shannon C/W [bits/s/Hz]
Region no alcanzable
Región práctica
SNR 2S 2009 - I. Zamora
[bits/s/Hz]
Uni VII-Conf 18: Codificación de
22
Ejemplo 2 •
Encuentre la capacidad de un canal telefónico con ancho de banda de transmisión de 3,000Hz y SNR de 39 dB.
Tenemos que : SNR dB
39
ó SNR 7 ,943
Por tan to: C 3 ,000 log2 1 7 ,943 38 ,867 bps
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
23
ron eras e mp cac ones e de Shannon •
er eorema
Consideremos un sistema ideal definido como uno que transmite datos binarios a una tasa de bits Rb igual a la capacidad de información C (Rb =C). Entonces podemos expresar la potencia promedio tr ansmitida como: S E b R b E bC
•
Donde Eb es la energía transmitida por el bit. Por tanto, el sistema ideal se define mediante la ecuación: C
BW tx •
E b C log 2 1 N 0 BW tx
De esta manera equivalente, podemos definir la relación de la energía de la señal por bit a la densidad espectral de la potencia de ruido E b /N0 en términos de la razón C/BT para el sistema como: E b N 0 2S 2009 - I. Zamora
2
C / BW tx
1
CBW tx
Uni VII-Conf 18: Codificación de
24
Fronteras e Implicaciones del 3er Teorema de Shannon •
El diagrama de la relación Rb/BW en función de Eb/N0 recibe el nomb re de diagrama de eficiencia de ancho de banda.
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
25
Capacidad de Canal de Shannon con AWGN
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
26
Fronteras e Implicaciones del 3er Teorema de Shannon 1.
Para un ancho de banda infinito, la razón Eb /N0 tiende al valor límite
E b E b lim log 10 2 0.693 1.6 dB N 0 W N 0 •
El valor límite correspondiente de la capacidad de canal se obtiene dejando que el ancho de banda W del canal tienda a infinito; consecuentemente encontramos: S C lim C log 2 e
–
–
Límite de Shannon para un canal AWGN
W
N 0
Existe un valor limitante de E b / N 0 bajo el cual NO PUEDE HABER TRANSMISIÓN LIBRE DE ERRORES a cualquier tasa de transmisión de información. El hecho aisl ado de incrementar meramente el ancho de banda por sí , no signfica que la capacidad aumentada a algún valor deseado.
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
27
Fronteras e Implicaciones del 3er Teorema de Shannon W/C [Hz/bits/s]
Región Práctical
Region No alcanzable
-1.6 [dB] 2S 2009 - I. Zamora
/ N E b 0 [d Uni VII-Conf 18: Codificación de
28
Fronteras e Implicaciones del 3er Teorema de Shannon 2.
La frontera de la capacidad, definida por la curva para la tasa de bits crítica Rb =C, separa las combinaciones de parámetros del sistema que tienen el potencial para soportar una transmisión sin errores (Rb C).
3.
El diagrama subraya los compromisos potenciales entre Eb /N0, Rb /W y la probabilidad del error de símbolo P e. En particular, podemos observar el movimiento del punto de operación a lo largo d e una línea horizontal como el intercambio de Pe en función Eb /N0 para una Rb /W fija. Por otra parte, es posible advertir el movimiento del punto de operación a lo largo de unalínea vertical como el int ercambio de Pe en función de Rb /W para una Eb /N0 fija.
2S 2009 - I. Zamora
Uni VII-Conf 18: Codificación de
29
