UNIVERSIDAD NACIONAL DE LOJA ÁREA DE LA ENERGÍA, LAS INDUSTRIAS Y LOS RECURSOS NATURALES NO RENOVABLES CARRERA DE INGENIERÍA EN ELECTRÓNICA Y TELECOMUNICACIONES TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN
INECUACIÓN DE MCMILLAN TEORIA DE LA INFORMACIÓN Y CODIFCACIÓN CODIFCACIÓN
Docente: Ing. Paulo Samaniego. Estudiante: Jenny J. Luzuriaga Jiménez. Ciclo: 6to “B”
Loja- Ecuador
12/01/2016
Inecuación de McMillan
Inecuación de McMillan La desigualdad de McMillan es un teorema de la teoría de códigos que reduce la existencia de códigos unívocamente descifrables al cumplimiento de la desigualdad de Kraft. Es decir, si existe un código unívocamente descifrable con longitudes de palabra prescritas entonces es un código instantáneamente descifrable que satisface la desigualdad de Kraft. Tenemos:
− ≤1 ∑ =
1
Donde:
q: es la cantidad de mensajes de la fuente.
r: es la cantidad de símbolos diferentes en el alfabeto del código y
: es la longitud de las palabras código.
Esta inecuación constituye una condición suficiente que deben cumplir las longitudes de palabras de un código in st ant áneo , construyendo un código con tales longitudes. Puesto que lo códigos instantáneos son una subdivisión de los códigos unívocos, la condición suficiente se aplica también a ellos; es decir, si las longitudes
, , … ,
satisfacen la relación de Kraft, puede construirse con ellas un código u n ívo c o .
La demostración de la necesidad de la inecuación de Kraft, por el contrario, no puede extenderse a los códigos unívocos. Realmente la condición necesaria de la inecuación sugiere el análisis de los requisitos que deben cumplir las longitudes de las palabras códigos unívocos. Se sabe que la inecuación de Kraft expresa una condición necesaria para los códigos instantáneos. ¿Es válida la misma condición para los códigos unívocamente decodificables de carácter general?, contestando a la pregunta se llegó a probar que la condición de la inecuación de Kraft es igual de válida para los códigos unívocos, y esto fue probado primeramente por McMillan en 1956, y luego Karush en 1961 simplifico la demostración. Partiendo de la demostración de la inecuación de Kraft consideremos la expresión:
Jenny Luzuriaga
2
Inecuación de McMillan
− − − + +⋯+− ) ∑ ( = −−−⋯.− −
Su desarrollo tendrá
2
términos, de la forma
3 4
Donde, por definición tenemos
+ +⋯+
Si tenemos que es la mayor de las longitudes , k puede entonces tomar un conjunto de valores comprendido entre n y nl. Y si definimos (2).
como el número de términos de la forma
−
existente en la ecuación
Entonces:
− − ∑ ∑ = =
Ahora con la ecuación (4), vemos que
5
representa también el número de porciones
de n palabras código que pueden formarse de modo que cada porción tenga una longitud de exactamente K símbolos. Si el código es unívocamente decodificable, debe ser mayor de tanto
no
, número de secuencias de orden r distintas de longitud k. Por
− − ∑ ≤∑ = =
≤+1 ≤
La ecuación (6) es la prueba que se buscaba, ya que si
>1, >
6 , con tal de tomar
un valor n suficientemente grande. La expresión (6) se cumple para cualquier valor entero de n, de modo que tendremos:
− ≤1 ∑ =
7 Jenny Luzuriaga
3
Inecuación de McMillan
Ejemplos: 1. Tenemos el siguiente alfabeto código
{,, … , } ,,, {,, … , }
con sus respectivas longitudes de palabra código
,,,
usando la desigualdad determinar si es un código unívocamente
decodificable.
− ≤1 ∑ = − − − − ∑2 2 +2 +22 ≤1 =
11
Lo que indica que es un código unívocamente decodif icable y por ser igual a uno también se denomina compacto.
2. Se desea diseñar un código unívocamente decodificable ternario (r=3) con sus respectivas longitudes de palabra código 1, 1, 2, 2, 3, 3. Ya que un código unívocamente decodificable satisface la Inecuación de Kraft por el Teorema de McMillan nosotros comprobamos si este es el caso. Usando la inecuación de Kraft tenemos:
− ≤1 ∑ = − − − − ∑3 23 +23 +23 ≤1 =
0.963≤1
Podemos observar que un código unívocamente decodificable se puede encontrar con dichas longitudes. Pero la misma inecuación de Kraft puede satisfacerse para códigos instantáneos y debido a que estos mismos códigos instantáneos pueden construirse de forma sistemática siguiendo un procedimiento se puede decir que el siguiente código instantáneo, que es unívocamente decodificable, puede designarse como:
Jenny Luzuriaga
4
Inecuación de McMillan
0 1 20 21 220 221
Para realizar la construcción de este código, una forma sistemática de hacer esto es enumerar o contar a través del alfabeto código.
3. Diseñamos un código binario con las siguientes longitudes de palabra código: 2, 3, 2, 2, 2. Usando la inecuación tenemos:
− ≤1 ∑ = − − − ∑2 42 +2 ≤1 =
2.125>1
Como podemos observar no se cumple la inecuación por lo que podemos decir que no es un código instantáneo y por lo tanto tampoco es un código unívocamente decodificable.
Conclusiones:
Kraft dice que si satisface la desigualdad entonces existe un código prefijo (instantáneo) de longitud L, en cambio McMillan dice que ese código es unívocamente decodificable.
La desigualdad de Kraft es la misma que la de McMillan, la diferencia radica en que Kraft la definió para códigos prefijo, mientras que McMillan para códigos unívocamente decodificables.
Jenny Luzuriaga
5
Inecuación de McMillan
Bibliografía: [1]
Teoría
de
la
Información.
11/02/2016.
http://ovandos-
blog.blogspot.com/2010/05/desigualdad-de-kraft-mcmillan.html [2] TOGNERI, Roberto, J.S de SILVA, Christopher; Fundamentals of Information Theory and Coding Design; 2006. [3] ABRAMSON, Norman; Teoría de la Información y Codificación; Quinta Edición; 1981.
Jenny Luzuriaga
6
