Propiedades de la Entropía Con objeto de deducir algunas propiedades de la entropía consideraremos una propiedad particular del logaritmo. logaritmo. La fig. no. no. 1 representa representa la curva de de variación del del logaritmo natural natural de x, así como la recta definida por la ecuación y = x-1
Fig. no. 1: Logaritmo natural de x y x-1 Fácilmente puede demostrarse que la recta se mantiene siempre por arriba de la curva y=ln(x). Así, pues, podemos escribir la inecuación:
Que será una igualdad si, y solamente si, x=1:
Multiplicando (1) por -1, deducimos una nueva inecuación:
Que será una igualdad si, y solamente si, x=1
Deduciremos Deduciremos finalmente una última inecuación a partir de (1). Sean x1, x2,…,xq e y1, y2,…,yq dos conjuntos de probabilidades. Es decir:
Haciendo uso de:
escribiremos: escribiremos:
( )
y aplicando la inecuación (1) a cada término de la suma,
O
Que será una igualdad para cualquier valor de i, solamente si xi = yi Como se dijo anteriormente, la entropía de una fuente podía interpretarse como la información media por símbolo emitida por la fuente. Es lógico, por lo tanto, analizar en qué modo la entropía depende de la probabilidad de los diferentes símbolos de la fuente. En particular, sería interesante conocer cuanta información puede suministrar una, fuente de información de memoria nula. Supongamos una fuente de memoria nula, definida por su alfabeto S= {S i}, i = 1, 2, .., q, y sus probabilidades P(Si), i=1,2, ..,q. La H(S) bien dada por:
( )
Consideremos la expresión:
El último miembro se dedujo haciendo intervenir la relación: Aplicando las inecuaciones (2) a (5), se llega a la expresión:
Así, pues, H (S) es siempre menor o igual que log q. De la condición que transforma (2) en una igualdad se deduce la igualdad de (6) si, y solamente si, Pi = l/q. Es decir , hemos demostrado que en un a f uente de inf ormación de memoria nu la con un al f abeto de q símbolos, el valor máxi mo de la entropía es precisament e log q, al canzá ndose solam ente si todos los sí mbol os de la f uente son equipr obables. Un ejemplo particularmente importante de fuente de información de memoria nula corresponde a una fuente binaria de memoria nula. En tal fuente, el alfabeto se reduce a {O, 1). La
̅
∑
probabilidad de un 0 es w y la de un 1, 1 – w. Llamaremos partir de la fórmula:
a 1 - w. Calcularemos la entropía a
La entropía tiene las siguientes propiedades: 1. La entropía es no negativa. Esto es evidente ya que al ser .
Por
tanto
podemos
decir
una probabilidad entonces
que
y
por
tanto
2.
Es decir, la entropía H está acotada superiormente (cuando es máxima) y no supone pérdida de información. 3. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn,
la
función
es
máxima
en
el
caso
de
que
. El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje, cuando los valores posibles de la variable son equiprobables 4. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn, la función
es nula en el caso de que
para todo i,
excepto para una clase, tal que: . De forma intuitiva podemos pensar que cuando uno o más estados tienen una probabilidad alta, disminuye significativamente la entropía porque, como es lógico, existe una menor incertidumbre respecto al mensaje que se recibirá.
