ENTROPÍA DE UN CANAL SIN RUIDO Eduardo Israel Brito Vivanco
[email protected] Eduardo Luis Campoverde Encalada
[email protected] Luis Gerardo Hidalgo García
[email protected] Mauricio Fernando Román Rodríguez
[email protected]
RESUMEN: El presente trabajo tiene como objetivo presentar una aplicación de entropía utilizada para comparar la cantidad de información mutua que se obtiene en un canal sin ruido cuando las probabilidades de la matriz de ingreso son independientes respecto de una matriz con entradas equiprobables (Capacidad), determinando así en donde existe menor menor redundancia y mayor eficiencia. PALABRAS CLAVE: Canal sin ruido, capacidad de un canal, entropía a priori, entropía a posteriori, eficiencia de un canal, información mutua, redundancia de un canal.
1. INTRODUCCIÓN Como parte de la materia de Probabilidad y Procesos Estocásticos el presente informe hace mención al tema de entropía aplicada a un canal sin ruido con entradas tanto independientes como equiprobables.
2. CANALES DE INFORMACIÓN Un canal de información viene determinado por un alfabeto de entrada A={ai} donde i=1,2,3,4,...,r; un alfabeto de salida B={b j} donde j=1,2,3,4,...,s; y un conjunto de probabilidades condicionales prospectivas P(b j/ai). P(b j/ai) es la probabilidad de recibir a la salida el símbolo b j cuando se envía el símbolo ai [1]. Un canal de información está completamente definido por su matriz de probabilidades prospectivas P cuando la matriz de probabilidades tiene el siguiente prototipo:
P( b /a/a2)) P(P(bP(bb22/a/a2)) ⋯⋯ PP((bbss/a/a2)) P( b = [P(b⋮/ar) P(b2⋮/ar) …⋮ P(bs⋮/ar) ]
El tamaño de la matriz que representa al canal de información es de rxs donde r es el número de entradas que se tiene y s es el número de salidas que se obtienen al pasar por dicho canal de información.
2.1. TEOREMA DE BAYES El teorema de Bayes es empleado en los canales de información para en base a las entradas, las salidas y los elementos de la matriz de probabilidades prospectivas poder obtener la matriz de probabilidades retrospectivas del canal de información representado. El enunciado del teorema de Bayes es el siguiente [2]:
P(ai/b/bj) = P(bj/a/P(aib).)j.)P(ai)
Y la matriz de probabilidades retrospectivas queda definida de la siguiente manera:
P( a /b ) P( a /b ) ⋯ P( a /b ) 2 r = [P(P(aa⋮/b/b2s)) P(P(aa22⋮/b/b2s)) …⋯⋮ PP((aarr⋮/b/b2s)) ]
El tamaño de la matriz de probabilidades retrospectivas es de sxr donde s es el número de entradas que se tiene y r es el número de salidas.
2.2. ENTROPÍA A PRIORI La entropía a priori es la cantidad de información que se tiene a la entrada de un canal o a la salida del mismo. La expresión matemática matemática que define la entropía a priori en la entrada de un canal es [1]:
1 ()=∑()l o g 2 ()
Mientras que la entropía a priori en la salida del canal es [1]:
1 ()=∑()l o g 2 ()
La redundancia de un canal hace alusión a la información repetida que se obtiene a la salida del canal y viene determinada por [1]:
2.3. ENTROPÍA A POSTERIORI La entropía a posteriori es la cantidad de información que se tiene al pasar por un canal determinado; así se tiene que la entropía a posteriori de la salida B dada la entrada A es [1]:
Donde:
1 (/)=∑(, )l o g 2 (/) , (,)=(/).()=(/).() 1 (/)=∑(/). ()l o g 2 ( /) , MUTUA
DE
UN
La información mutua de un canal es la cantidad de información resultante de atravesar un canal con ruido y con pérdidas; la cantidad de información de un canal viene dada por [1]:
(,(,)=()−(/) )=()−(/) (,)=(,)
Una de las propiedades de la información mutua es la simetría que tiene; ésta viene dada por [1]:
2.5. CAPACIDAD DE UN CANAL La capacidad de un canal es la cantidad de información máxima que se tiene al atravesar dicho canal; al ser la capacidad del canal la cantidad de información máxima, ésta se da cuando la entropía en la entrada del canal es máxima y ello se presenta al tener entradas equiprobables [1].
= (, )= (,) á
á
2.6. REDUNDANCIA DE UN CANAL
Porcentaje que indica que cuán útil es un canal para trasladar información y viene dado por [1]:
2.8. CANAL SIN RUIDO
Mientras que la entropía a posteriori de la entrada A dada una salida B es [1]:
2.4. INFORMACIÓN CANAL
2.7. EFICIENCIA DE UN CANAL
= (|) 100%
Por lo tanto:
1 (/)=∑(/). ()l o g 2 (/) ,
, ) + |( )|) ℛ =1− ( +(
Un canal sin ruido es aquel canal definido por una matriz con un elemento y solamente uno, distinto de cero en cada columna [1]. En un canal sin ruido se cumple que la entropía de la entrada A dada la salida B es igual a cero de la siguiente manera [1]:
(/)=0
Por consiguiente, se tendrá que la cantidad de información en un canal sin ruido es igual a la entropía en la entrada: 0
(,)=()−(/) (,)=()
3. DESCRIPCIÓN DEL PROGRAMA Se ha determinado que la matriz de ingreso cuente con tres entradas mientras la matriz del canal sin ruido sea de tres filas por seis columnas. Se adquieren los valores ingresados de cada matriz y luego son transformados a tipo numérico para poderse trabajar. A=get(handles.entrada,'String'); A=str2num(A); %matriz de entradas independientes P=get(handles.matriz_prospect,'String'); P=str2num(P); %matriz de canal sin ruido Ahora se procede a calcular la matriz de salida, la matriz del canal retrospectivo, las entropías a priori H(A), H(B), las entropías a posteriori H(A|B), H(B|A), la información mutua I(A|B) e I(B|A): B=A*P; %matriz de salida %Cálculo de la matriz retrospectiva
P1=[0 0 0;0 0 0;0 0 0;0 0 0;0 0 0;0 0 0]; for (i=1:6) for (j=1:3) P1(i,j)=P(j,i)*A(j)/B(i); % teorema de Bayes end end %Cálculo de la entropía a priori H(A) HA=0; for (i=1:3) HA=HA + A(i)*log2(1/A(i)); end
%Redundancia del canal R=1-((IAB + HAB)/(C + HAB)); %entradas independientes Re=1-((IABe + HAB)/(C + HAB)); %entradas equiprobables %Eficiencia del canal E=IAB/C; %entradas independientes Ee=IABe/C; %entradas equiprobables
4. RESULTADOS OBTENIDOS
%Cálculo de la entropía a priori H(B) HB=0; for (i=1:6) HB=HB + B(i)*log2(1/B(i)); end %Cálculo de la entropía a posteriori H(A/B) HAB=0; for (i=1:3) for (j=1:6) s=P1(j,i)*B(j)*log2(1/P1(j,i)); a=isnan(s); if (a==1) s=0; end HAB=HAB+s; end end %Cálculo de la información mutua I(A,B) IAB=HA-HAB; %Cálculo de la entropía a posteriori H(B/A) HBA=0; for (i=1:6) for (j=1:3) s=P(j,i)*A(j)*log2(1/P(j,i)); a=isnan(s); if (a==1) s=0; end HBA=HBA+s; end end %Cálculo de la información mutua I(B,A) IBA=HB-HBA; Ahora para la matriz con entradas equiprobables se adquieren los valores de ingreso y se repite el código anterior para encontrar el resto de parámetros: A=get(handles.entrada_eq,'String'); %matriz de entradas equiprobables A=str2num(A); Finalmente se calcula la redundancia y eficiencia del canal tanto con entradas independientes como con entradas equiprobables:
En base a la figura se observa que al estar la matriz de ingreso integrada por las entradas independientes [0,2 0,5 0,3] la entropía de A es de 1,48548 bits/símbolo, la entropía de B es 2,36379 bits/símbolo, la entropía de A dado B es de 0, la entropía de B dado A e s de 0,878312 bits/símbolo, la información mutua del canal es de 1,48548 bits, la redundancia del canal es de 0,0627694 y la eficiencia del canal es de 93.7231%. Mientras que al estar la matriz de ingreso formada por entradas equiprobables [1/3 1/3 1/3] la entropía de A es de 1,58496 bits/símbolo, la entropía de B es 2,44302 bits/símbolo, la entropía de A dado B es de 0 , la entropía de B dado A es de 0,858057 bits/símbolo, la información mutua del canal es de 1,58496 bits, la redundancia del canal es de 0 y la eficiencia del canal es de 100%. Además, se puede notar que las matrices de salida cambian para ambos casos pero la matriz del canal retrospectivo es la misma para ambos casos sin importar las entradas y que corresponde a la matriz de un canal determinante.
5. REFERENCIA [1] ABRAMSON Norman, 1981, “TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN ”, PARANINFO SA, Quinta Edición, pág. 111-166. [2] NAVIDI William, 2006, “ESTADÍSTICA PARA INGENIEROS Y CIENTÍFICOS”, McGraw-Hill, pág. 78-79.
