Home
Add Document
Sign In
Register
US - Osnovi Teorije Informacija i Kodovanje
Home
US - Osnovi Teorije Informacija i Kodovanje
US - Osnovi Teorije Informacija i Kodovanje...
Author:
SanjinStupar
120 downloads
336 Views
5MB Size
Report
DOWNLOAD .PDF
Recommend Documents
osnovi teorije sistema i upravljanja
skripta
-I Osnovi Teorije Organizacije i Menadzmenta.pdf
US - Osnovi računarske tehnike
osnovi racunarske tehnke
Bezbednost i Zastita Informacija
bezbednost
US - Osnovi računarske tehnike (1)
Osnovi računarske tehnike
Teorije i Stilovi Ucenja
Full description
Osnovi elektrotehnike i elektronike.pdf
Full description
Osnovi Farmakologije i Toksikologije (1)
Osnovi Zavarivanja Lemljenja I Lepljenja
Full description
TEORIJE RECEPCIJE
...Full description
Zastita informacija - SKRIPTA
hohohFull description
Osnovi Plovidbe Rekama i Morima
Priručnik za polaganje ispita za dobijanje dozvole za upravljanje motrnim čamcem na vodiFull description
Osnovi Zavarivanja Lemljenja I Lepljenja
Teorije-Bilansa
bilansi -Kata 2013
Zastita informacija - SKRIPTA
hohohFull description
Tehnoloske Operacije, Osnovi Teorije, Primeri i Zadaci - Mihailo Perunicic, Milorad Maksimovic
Tehnoloske Operacije, Osnovi Teorije, Primeri i Zadaci
Diskretna matematika - Osnove kombinatorike i teorije grafova
Univerzitetski udzbenik diskretne matematike, fokusiran na osnove kombinatorike i teoriju grafova.
i Us Naturalism o
Descripción: iusnatralismo
osnovi menadzmenta
Osnovi ekonomije
Osnovi bezbednosti.pdf
Full description
OSNOVI EKONOMIJE
Osnove ekonomije
Osnovi bezbednosti
Seminarski radFull description
Osnovi Akustike.pdf
Full description
UNIVERZITET SINGIDUNUM
OSNOVI T EOR I J E INFO RMACIJA I KO D OVA N JA
Beograd, 2013.
OSNOVI TEORIJE INFORMACIJA I KODOVANJA Autori: ! " UNIVERZITET SINGIDUNUM #$ ! %& '''( # ()( * Godina izdanja: 2013. 370 primeraka Štampa: +/ ) 456 89;<;=<98>&@=
C-F#*6 H &@>%( J # 4 K -( L-) - * ) -O) (
„Dobar naunik je onaj ko misli kao i svi drugi, a vidi nešto što niko drugi nije video. Genije je onaj ko vidi isto što i svi drugi, a misli nešto što niko drugi nije pomislio" Ǧ
SADRŽAJ
ͳǤ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ
1.1.
Pojam informacije ................................................................................................. 11
1.2.
Informacijska hijerarhija ................................................................................... 12
1.3.
Informaciono društvo .......................................................................................... 14
1.4.
Teorija informacija kao akademska disciplina .......................................... 16
ʹǤ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻ
2.1. Entropija – izbori mogunosti sa poznatim verovatnoama ................. 27 ʹǤͳǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͻ ʹǤͳǤʹǤ āǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵ʹ ʹǤͳǤ͵Ǥ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵͵ ʹǤͳǤͶǤ ««ǦǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵͵ ʹǤͳǤͷǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵ͷ ʹǤͳǤǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵ 2.2. Informacija i njena mera .................................................................................... 44 ʹǤʹǤͳǤ ¯ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶͶ ʹǤʹǤʹǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶ ʹǤʹǤ͵Ǥ « Ǧ«ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶͺ ʹǤʹǤͶǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͳ 2.3. Šenonova matematika teorija informacije ................................................ 53 ʹǤ͵ǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͶ ʹǤ͵ǤʹǤ e ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͶ ʹǤ͵Ǥ͵Ǥ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷ ʹǤ͵ǤͶǤ eǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷ 2.4.
Laboratorijski rad ................................................................................................. 60
III
͵Ǥ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹ
3.1. Kodovanje jedne sluajne veliine .................................................................. 73 ͵ǤͳǤͳǤ NǦǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ ͵ǤͳǤʹǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺͲ 3.2. Efikasno Kodovanje .............................................................................................. 83 ͵ǤʹǤͳǤ ǦǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺ͵ ͵ǤʹǤʹǤ eæǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺ ͵ǤʹǤ͵Ǥ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͳ ͵ǤʹǤͶǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͶ 3.3.
Laboratorijski rad ................................................................................................. 96
ͶǤ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͻ
4.1. Komunikacioni kanali ...................................................................................... 100 ͶǤͳǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͶ ͶǤͳǤʹǤ «ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͷ ͶǤͳǤ͵Ǥ «ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ ͶǤͳǤͶǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ 4.2. Kodovanje u prisustvu šuma .......................................................................... 109 ͶǤʹǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͻ ͶǤʹǤʹǤ æǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͲ
ͷǤ
e Ȃ eǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͶ
5.1. Osnove kodova za ispravljanje grešaka ..................................................... 115 ͷǤͳǤͳǤ ā«ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳ ͷǤͳǤʹǤ Ǥͳͳͺ ͷǤͳǤ͵Ǥ æǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͻ 5.2. Linearni kodovi ................................................................................................... 122 ͷǤʹǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹͶ
IV
ͷǤʹǤʹǤ ͷǤʹǤ͵Ǥ ͷǤʹǤͶǤ ͷǤʹǤͷǤ ͷǤʹǤǤ ͷǤʹǤǤ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹ ǣ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͳ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͳ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͷ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͷ
5.3. Ciklini kodovi ..................................................................................................... 138 ͷǤ͵ǤͳǤ «ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵ͻ ͷǤ͵ǤʹǤ «ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͶ͵ 5.4. Konvolucioni kodovi ......................................................................................... 147 ͷǤͶǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͶͺ ͷǤͶǤʹǤ æ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷͲ ͷǤͶǤ͵Ǥ æǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷʹ ͷǤͶǤͶǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷͷ 5.5. Praktina primena zaštitnih kodova ........................................................... 161 ͷǤͷǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳ ͷǤͷǤʹǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵ ͷǤͷǤ͵Ǥ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͶ ͷǤͷǤͶǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷ ͷǤͷǤͷǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ ͷǤͷǤǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͺ ͷǤͷǤǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻ 5.6.
Laboratorijski rad .............................................................................................. 172
Ǥ
Ȃ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͺͺ
6.1. Perfektna tajnost ................................................................................................ 190 ǤͳǤͳǤ æǣ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͳ ǤͳǤʹǤ « æǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻ͵ ǤͳǤ͵Ǥ eǦǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͶ
V
6.2. Neperfektna tajnost i taka jedinstvenosti ............................................... 195 ǤʹǤͳǤ ««ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͷ ǤʹǤʹǤ ©«ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͺ 6.3.
Autentifikacija ..................................................................................................... 199
Ǥ
ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͲͳ
Ȃ~ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͲʹ Ȃ e ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͳͶ , ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹʹ͵
VI
Predgovor
Ȃ ā « Ƿ Dzǡ ā « ǡ æ ͳǡʹǡæ« ǡæ«ǡ Ǥ «ǡā « ǡ ā « Ǥ © « © Ȃ ǡ ȋ āȌǤ Ǥ æ Ǥ e © ǣ æ ǡæ æ©Ǥ Zadatak br. 1: Ǥ āāǡ« ©©ȋȌǤ Zadatak br. 2: Ǥ ā ā «ǡāæǤ Ǥ Zadatak br. 3: Ǥ
VII
āā« ǡ æ © æ © æǤ ææ«ā æ ǡ Ǥæ æȋæā « Ȍ Ǥ æ « æ« Ǥ ææǣ x x x x x x
Šta je informacija, kako se meri? Šta je algoritamska složenost i kako se meri? Šta su granice kompresije jednog skupa podataka ispod koje se ne može ii bez gubitka dela informacije? Šta je uzajamna informacija izmeu dva skupa podataka, odnosno koliko jedan skup podataka sadrži u sebi informacije o onom drugom? Šta je redundansa (suvišnost) jednog izvora informacija i kako se ona može iskoristiti? Kako mogu da konstruišem transformaciju podataka koje šaljem ili memorišem, tako da na prijemu ili prilikom išitavanja mogu da ispravljam greške u prenosu ili prilikom memorisanja?
« āǡ « © ǡ © æ Ǥ ā ǡ © « ǡ © ā « « æ æ © āǤ
VIII
ā «© æ© Ǥ ǡ « Ǥ ǡ ā ā « Ǥ æǤ, ©© © « æǤ ā æǡæ«ā ææǡ Ǥ ǡ ǡ ā āǡ ǡ © æǡ Ǥ æ © ǡ æ « ǡ « Ǥ ǡ āāǤ ǡʹͲͳ͵Ǥ
IX
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
1. UVOD Ǥ ˃˃˃˃ ǡ˃˃«˃˃˃˃ ˃ 毫 Ǥ ˃ ˃˃˃˃˃˃˃˃˃« ˃ ˃ ˃˃ ˃«˃ ˃ǡ ǡ ˃˃ǡ ˃ ˃« ˃˃˃ǡ˃æ˃˃ Ǥ ˃ ˃ ˃ǡ˃˃˃˃æ˃˃ æ æ˃˃ ˃ ˃« ˃ ˃ ˃Ǥ ˃ ˃ ˃ ˃ ˃ ˃ ˃ ˃ ˃«Ǥ ˃ ˃ « ˃ ˃ Ƿin formare“ ˃«˃ ˃˃ ¯ ǡ ǡ ˃˃ ˃ «ǡ ˃ ˃ ˃ ˃«Ǥ
10
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳǤͳǤ
˃˃ ˃ ˃ ˃ ǡ ˃ æ ˃ ˃« æ ˃© ˃ Ǥ æ© ǣ ¾ Ƿ ˃ ˃̶ǡ ¾ Ƿ ˃ ˃ ˃ǡ ˃ǡ ˃ ˃ ¯ ˃ǡ ˃ ˃ ˃ ˃«˃̶ǡ ¾ Ƿ ˃ ˃æ˃˃ǡ˃˃æ˃ « ˃¯˃ǡ˃˃̶ǡ ¾ Ƿ ˃ ˃˃ ˃˃ ©˃˃˃æ˃˃̶ǡ ¾ Ƿ ˃ ˃˃˃ ˃ ˃ ˃ © ˃˃ ˃ ˃ǡ˃˃æ˃̶ǡ ¾ ǷǤǤǤ ˃ā˃ æ ˃ ˃ ˃¯˃˃«˃˃̶ǡ ¾ ǷǤǤǤ˃ ˃˃˃˃˃˃̶ǤǤǤ ˃˃«æ© ˃˃ ˃ǣ ¾ Ƿ ˃ ˃ ˃˃̶ǡ ˃ ˃æ ˃ «©˃ ¾ Ƿ ˃ ˃˃«˃̶ ¾ Ƿ ˃ ˃˃˃˃Ƿ ¾ Ƿ ©dz ˃ā ˃˃ ˃ ¯ ˃˃ ˃ ǡ ˃ « ©Ǥ ˃ ͳ ˃˃ ˃ ˃˃ ˃ ˃«Ǥ Ƿ˃˃ ͳ «˃˃̶ ˃ ˃ ˃ ˃«Ǥ ˃ ā ˃ ˃ ˃ ˃ ˃˃ ˃«˃ Ǥ
11
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳǤʹǤ
Ȃ ǡ ǡǡȋǤData, Information, Knowledge, WisdomȌ ǡ ǡ ¯ Ǥ ¾ ǡ ¾ ǡ ¾ ǡ ¾ æǤ ȋͳǤͳȌǤ
ͳǤͳ
ǣ ¾ podatak¯āǡ ¾ informacija¯ǡ ¾ znanje© ǡ
12
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¾ mudrostǡ æǤ æ© æ ǡ ǡǡ ā©Ǥ ā ȋ Ȍ «ǣ ǡ ǡ ǡ ȋ « æȌǤ«æ ææǤǡǡ© āæǡ Ǥ Ǥæ© Ǥ©©ā ǡǡ æ © ©Ǥ¯¯« Ǥ
13
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳǤ͵Ǥ
e
«Ǥ © «Ǥ ©« Ǥ æ © « æǤ ā ǡ © « « Ǥ © ǡ «ǡ ǡ ǡ ǡ Ǥ ¯ «ǡ « ǡ Ǥ æ æ æǤ « āǡ æ«ǡ ǡ « © ǡ ǡ ǡ æǤ āæ Ǥ e «ǫ « « æ æ ǡǡ Ǥ © æ æ ǡ ȋǡǡȌǤ ā æ ǡ
14
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© Ǥ ¯ © © ǡ æ « ǡǤ ǡ āǤ ǡ æ ǡ « ¯ æ Ǥ « ¯ ā ǡ © «Ǥ « ǡ «ǡ e Ǥ e æ Ǥ æ ǡ ȋ«Ȍ ā æ ǡ e Ǥ
15
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳǤͶǤ
e ȋClaude ShannonȌ ȋͳͻͳǦʹͲͲͳȌǤ eā« Bell LaboratoriesȋͳͻͶͳǦͳͻͷȌǡ Massachusetts Institute of TechnologyȋͳͻͷǦͳͻͺȌǤ
ͳǤʹeȋͳͻͳǦʹͲͲͳȌ
eā ǣ ͳǤ āȋǣ Ȍǫ ʹǤ e ȋǣ Ȍǫ Odnos teorije informacija i telekomunikacija - ȋ ȌǤ e © © æǤ e ͳͻͶͺǤ « æ æ © Ǥ 16
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
eǣ •
e ȋC. E. ShannonȌǡ ǷA mathematical theory of communication”, Bell System Technical JournalǡǤʹǡǤ͵ͻȂͶʹ͵ʹ͵Ȃͷǡ ǡͳͻͶͺǤ
•
e ȋͳͻͶͻȌǤ ǷCommunication Theory of Secrecy Systems̶Ǥ Bell System Technical Journal,ʹͺȋͶȌǣͷȂͳͷǤ
e æ Ǥ Ǥǡ ǡ © ææǤ ā e ȋ © Ǧ ǡ æ ȌǤ ǤȋǤNetwork coding)ā ǡ æ « ā«æ Ǥ Odnos teorije informacija i raunarske nauke - ǡ , ā © « æ Ǥ ā ȋ ȌǤ «Ǥ ā e ǡ ««« © Ǥ ¯ e Ǥ Odnos teorije informacija i fizike - « ¯ Ǥ Ǥ Ǥ 17
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Odnos teorije informacija i matematike - « ǣ ǡ ǡ ©Ǥ« æ « « « © ©¯ȋ Ȍǡ æȋǤerror exponentȌ«Ǥ Odnos teorije informacija i filozofskih nauka - «ǣ æ Ǥ , ā æ Ǥ «ǡ©ā Ǥ Odnos teorije informacija i ekonomije - āæ Ǥ āæǤ « ¯ āæ Ǥ Odnos teorije informacija, raunarstva i komunikacija - « « Ǥ « ǡ « Ǥ «Ǥ
18
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
2. ENTROPIJA I INFORMACIJA ©«¯æ©ǡ «©Ǥ ¯¯æ© æǤ «¯ ǡ« Ǥ ܵ ©݉« Ǥ « © ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉Ǥ © © « ܵሺ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉ሻǡ « æǤ « æ ©Ǥ ¯ æ ܵǡ æ © ©݉Ǥ Na koji nain možemo izmeriti koliinu neodreenosti u datoj šemi izbora ܵ? © æ © ȁܵȁܵǡ ǡ©¯Ǥæ ȁܵȁ ¯ǫ ©ǡ ©Ǥ © ǣ © ܵሺ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉ሻǡ daȀneǡææǤ © ā « ͳǡ ʹǡ ǥ ǡ ݉ ൌ ȁܵȁǡ «©ǣ Da li je zamišljeni broj paran? Da li je zamišljeni broj manji od 20? Da li je zamišljeni broj vei od 12? i tdǤ
19
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ā æ ǡ ¯ æ ܵ ©Ǥ daȀne ¯ æ © ܵǡ ¯æܵǤ āǤæ ͳǡʹǡ͵ǡ ݉© Ǥ « « Ǥ ¯ǡ æ݉Ȁʹǡā « ©Ǥ «ǡ © Ǥ ǡ «©ʹǡā ൌ ʹ୬ Ǥ ā ܵ ȋ æ © ʹ୬ିଵ ǫȌ «ǣሼͳǡʹǡ ǥ ǡ ʹ୬ିଵ ሽሼʹ୬ିଵ ͳǡ ǥ ǡ ʹ୬ ሽǤ ©Ǥ neǡ © æ ሼͳǡʹǡ ǥ ǡ ʹ୬ିଶ ሽሼʹ୬ିଶ ͳǡ ǥ ǡ ʹ୬ିଵ ሽǤ daǡ ¯ ሼʹ୬ିଵ ͳǡ ǥ ǡ ʹ୬ିଵ ʹ୬ିଶ ሽ ሼʹ୬ିଵ ʹ୬ିଶ ͳǡ ǥ ǡ ʹ୬ ሽ Ǥ ©ʹǤͳǤ
ʹǤͳ ©æ©݉ ൌ ʹ ©Ǥ 20
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
«ǡ « © Ǥ « « ©ܵǤ , « ǡ « « « « «ܵǤ«ǤȂne «ͲǡȂda«ͳǤ «©ǡæ ݊ « Ǥ ݊ æ ൌ ʹ୬ ʹǡ ൌ ଶ Ǥ « ݉Ǥ « ¯ æ ܵ© ©ȁȁ ൌ ʹ୬ Ǥ ¯ æ ܵ« ሺȁȁሻǡ ሺȁȁሻ ൌ ȁȁǡȁȁʹǤ Šta e se desiti u opštem sluaju kada je kardinalnost skupa ܵ proizvoljan prirodan broj? ā æ ǡ æ © ʹ݇ ͳǡ © æ«݇݇ ͳǤ ʹǤʹǤ
ʹǤʹǦ ©æ©æ«
21
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© æ ܵǡ ¯ ʹǡ Ǥʹ୬ ȁȁ ൏ ʹ୬ାଵ ǡā © ʹ୬ © ʹ୬ାଵ ©Ǥ «݊ǡ݊ ͳæ « Ǥ « ¯ ܵ ¯ ǡǤ ȁȁ ൏ ݊ ͳǤāሺȁȁሻ ൌ ȁȁ ¯æ«ǡ« «© ǣ DEFINICIJA 2.1 Koliina neodreenosti šeme izbora. æ ܵȁȁ ©ǡ«¯ሺȁȁሻሺȁȁሻ ൌ ȁȁǤ PRIMER 2.1ȋeȌæǤ ൌ Ͷ ൌ ʹ ©Ǥ©æ ā ൌ ሼͳǡʹǡ ǥ ǡͶሽǡ« æǤ«¯ æሺȁȁሻ ൌ ȁͶȁ ൌ Ǥ ǡ æ ¯ Ǥ « «æ¯Ǥ© ¯ ā © ǡ «Ǥ āæ© Ǥ ʹ© Ǥ « æ ݉ © ݇ ୫ ā Ǥ ȁȁ ൌ ୬ ǡ ୩
« ൌ ୩ ȁȁǤǡ ሺȁȁሻ ൌ ୩ ȁȁǤ © ୩ ȁȁ ൌ ୩ ʹ ȉ ଶ ȁȁǡ æ«Ǥ
22
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܵ © ǡ æ ȋʹǤͳȌǡ ¯ © Ǥ © Ͳ ͳ ©Ǥ © ǡ ©Ǥ ā © © © © ሺȁȁሻ ൌ ሺȁȁሻǤ©¯ ¯Ǥ PRIMER 2.2 Ǥ © ൌ ሼͳǡ ʹǡ ͵ǡ Ͷǡ ͷሽǤ«¯ሺȁȁሻ ൌ ͷ ൎ ʹǡ͵ʹͳͻǤ
© ȋ ʹǤ͵ȌǤ ͲͲͳ ©ሼʹሽǡ « ā ͵ © ሺȁȁሻǤ ©ሼ͵ሽ ā ʹǡሼͶሽ āʹǤ
ʹǤ͵Ǧͷ ©Ǥ
©¯ሺȁȁሻǣ ͳǤ ܵͳܵʹ © ȁܵଵ ȁ ൌ ȁܵଶ ȁǡ ݄ሺȁܵଵ ȁሻ ൌ ݄ሺȁܵଶ ȁሻǤ ¯© Ǥ
23
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ ܵͳܵʹ © ȁܵଵ ȁ ൏ ȁܵଶ ȁǡ ݄ሺȁܵଵ ȁሻ ൏ ݄ሺȁܵଶ ȁሻǡ © © Ǥ æ «ǣ ¯ ©Ǥ ͵Ǥ ܵͳܵʹ©ܵʹæ© ܵͳሺȁܵଶ ȁ ൌ ʹ ȉ ȁܵଵ ȁሻ © ʹǡ ݄ሺȁܵଶ ȁሻ ൌ ݄ሺȁܵଵ ȁሻ ͳǤ « ଶ ʹ ൌ ͳǡ ݄ሺȁܵଶ ȁሻ ൌ ଶ ȁܵଶ ȁ ൌ ଶ ሺʹ ȉ ȁܵଵ ȁሻ ൌ ଶ ʹ ଶ ȁܵଵ ȁ ൌ ͳ ݄ሺȁܵଵ ȁሻǤ ͶǤ ܵ ©ǡ ʹǡ ݄ሺȁܵȁሻ ൌ ଶ ʹ ൌ ͳǤ ȋ ȌǤ ¯ Ǥ © « ©ǡǤ ͷǤ © ܵଵ ൫݁ଵǡଵ ǡ ݁ଵǡଶ ǡ ǥ ǡ ݁ଵǡ ൯ ǡ ܵଶ ሺ݁ଶǡଵ ǡ ݁ଶǡଶ ǡ ǥ ǡ ݁ଶǡ ሻ ǡ ©ǡ « © ݊ ݉ ൛൫݁ଵǡଵ ǡ ݁ଶǡଵ ൯ǡ ൫݁ଵǡଵǡ ǡ ݁ଶǡଶǡ ൯ǡ ǥ ǡ ൫݁ଵǡଶ ǡ ݁ଶǡଵ ൯ǡ ǥ ǡ ሺ݁ଵǡ ǡ ݁ଶǡ ሻൟ Ǥ ǣ ܵଵ ൈ ܵଶ ൌ ൛൫݁ଵǡଵ ǡ ݁ଶǡଵ ൯ǡ ൫݁ଵǡଵǡ ǡ ݁ଶǡଶǡ ൯ǡ ǥ ǡ ൫݁ଵǡଶ ǡ ݁ଶǡଵ ൯ǡ ǥ ǡ ሺ݁ଵǡ ǡ ݁ଶǡ ሻൟǤ © ǡ Ǥ ā © æ Ǥ ©Ǥ « ¯ « ¯ « ©ǫ ©Ǥ TEOREMA 2.1 ¯Ǥ ¯ ¯ ǡ Ǥሺȁଵ ൈ ଶ ȁሻ ൌ ሺȁଵ ȁሻ ሺȁଶ ȁሻǤ ǣ æ© ǡ
24
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ሺȁଵ ൈ ଶ ȁሻ ൌ ȁଵ ൈ ଶ ȁ ൌ ሺȁଵ ȁ ȉ ȁଶ ȁሻ ൌ ȁଵ ȁ ȁଶ ȁ ൌ ሺȁଵ ȁሻ ሺȁଶ ȁሻǤ ¯ā ʹǤͳ ā ¯ ǡ ¯ǡ ʹǤͳ æ ǡ ¯ æ݄ሺȁܵȁሻ ൌ ݈ ݃Ͷ ൌ Ǥ «ǡ ā ¯ ݈ ݃ͺ ൌ ͵Ǥ « ā ¯ ǡ ā ǡǤ ൌ ݈ ݃Ͷ ൌ ݈ ݃ͺ ݈ ݃ͺǤ æ ā æ «݉ Ǥ ā݉ ଵ ൈ ଶ ൈȉȉȉൈ ୫ ൌ ൛൫ଵǡଵ ǡ ଶǡଵ ǡ ǥ ǡ ୫ǡଵ ൯ǡ ǥ Ǥ ൟ ©ǤʹǤͳæ æ«ā¯ā© ሺȁଵ ൈ ଶ ൈȉȉȉൈ ୫ ȁሻ ൌ ሺȁଵ ȁሻ ሺȁଶ ȁሻ ڮ ሺȁ୫ ȁሻǤȋʹǤͳȌ ݉ Ǥ ā ©݉ ଵ ǡ ǥ Ǥ ǡ ୫ ǡ «©ǤȋʹǤͳȌǡ¯ ݉ ǣሺȁଵ ൈ ଶ ൈȉȉȉൈ ୫ ȁሻ ൌ ሺȁଵ ȁሻ ሺȁଶ ȁሻ ڮ ሺȁ୫ ȁሻ ൌ ȉ Ǥ ¯¯ܵǡ ©ǡǤ ¯ā© āǤ«æ ¯ ā ݈ ݃ȁܵȁǤ ǡ ¯Ǥ
25
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¯ ©ǡ ā « © ܵǤ ā ā ¯ ݈ ݃ȁܵȁǤæ©ǡǤ ©¯Ǥ
26
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤͳǤ Ȃ *
*
© © ©ܵǤ Ǥ ǡ «æ© Ǥ © © ൌ ൛ଵ ǡ ଶ ǡ ǥ ǡ ୫ ൟ © ୧ © ୧ ൌ ͳǡʹǡ ǥ ǡ Ǥ © ©ǣ Ͳ ୧ ͳǡ ൌ ͳǡʹǡ ǥ ǡ ǡ σ୫ ୧ୀଵ ୧ ǤȋͳǤʹȌ ܵ © ൌ ሼଵ ǡ ଶ ǡ ǥ ǡ ୫ ሽ Ǥ ǡæ©«Ǥ DEFINICIJA 2.2 ܵ ܲ © ܵ ǡ ȋͳǤʹȌǡ ሺܵǡ ܲሻ Ǥ كǡ © ¯ǡ ©ሺሻ ൌ σୣ א ୧ Ǥ
Kolika je koliina neodreenosti u verovatnosnom sistemu izbora? ā « © Ǥ ¯ǡ«ǡ ©©āǤ Ǥ ©ǡ ̴݁ͳ Ǥ©̴݁ͳǡ ©æ ǤDznedzǤ PRIMER2.3ሺܵǡ ܲሻ ൌ ൛ଵ ǡ ଶ ǡ ǥ ǡ ଼ ൟ ൌ ൛ͲǤ͵ǡ ͲǤʹǡ ͲǤͳǡ ͲǤͲͷǡ ͲǤͲͷǡ ͲǤͳǡ ͲǤͳͷǡ ͲǤͲͷൟ Ǥ © ȋ ʹǤͶȌǡ ©ǡ ȋ ʹǤͷȌǤ «
27
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
««͵ǡ« ©ʹǤͷǤ
ʹǤͶʹǤ͵«͵Ǥ
ʹǤͷʹǤ͵© ©Ǥ«ʹǤͷǤ
« ǤæǤ «©
28
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ©©Ǥ «െ σ୫ ୧ୀଵ ୧ ୧ Ǥ « ǡ ¯ « ¯ ©Ǥ ©୧ ൌ Ͳǡ Ͳ ȉ Ͳ ൌ Ͳǡæ« ୶՜ ൌ ͲǤ DEFINICIJA 2.3 ሺܵǡ ܲሻ ©Ǥ « ¯ ୫
ሺሻ ൌ െ ୧ ୧ Ǥ ୧ୀଵ
ȋʹǤ͵Ȍ¯ǡ© Ǥ ݇ © Ǥ Ǥ« Ǥ PRIMER 2.4 « « ¯ ¯ʹǤ͵Ǥ ଼
ሺሻ ൌ െ ୧ ୧ ୧ୀଵ
ൌ െͲǤ͵ ȉ ͲǤ͵ െ ͲǤʹ ȉ ͲǤʹ െ ͲǤʹ ȉ ͲǤͳ െ ͲǤͳͷ ȉ ͲǤͲͷ െ ͲǤͳͷ ȉ ͲǤͳͷ ൎ ʹǤͲͺ
Ǥ ܪሺܲሻ « ā ȋʹǤͷȌǤ ʹǤͳǤͳǤ © ǡ æ© Ǥ © © ©
29
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© ൌ ൛ଵ ǡ ଶ ǡ ǥ ǡ ୫ ൟ « ሺሻ ൌ ൫ଵ ǡ ଶ ǡ ǥ ǡ ୫ ൯Ǥ © æ ¯ © ©Ǥ ܲ݊©ǡ ଵ
ଵ
ଵ
ଵ
ଵ
ଵ
୬
୬
୬
୬
୬
୬
ቀ ǡ ǡ ǥ ǡ ቁ ൌ െ σ୬୧ୀଵ ȉ ൌ െ ൌ ൌ ሺሻǤ OSOBINA 2.1©݊© ¯ © © © © Ǥ ǡæ ¯ǡ©© Ǥ¯ ©©Ǥ © ܵ ȁȁ ൌ ǡ ¯ © ¯ ǡ āሺሻ ሺሻ ൌ Ǥ ā Ǥ©Ǥ LEMA 2.1 ଵ ǡ ଶ ǡ ǥ ǡ ୫ ଵ ǡ ଶ ǡ ǥ ǡ ୫ © ©݉Ǥāǣ ୫
୫
୧ ȉ ୧ ୧ ȉ ୧ ୧ୀଵ
୧ୀଵ
«ā୧ ൌ ୧ Ǥ Ǥ © ൌ ȉ ǡ « ݁ǡ © ǡ ā െ ͳǤ «« « «ǡ « ൌ ͳǡ©ǡȋʹǤȌǤ
30
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ ݔ«ݔαͳǤ
ǣ
୧ ୧ െ ͳǡ ୧ ୧
ǣ ୫
୫
୫
୧ୀଵ
୧ୀଵ
୧ୀଵ
୧ ୧ ȉ ୧ െ ୧ ൌ ͳ െ ͳ ൌ ͲǤ ୧ «ǣ ୫
୫
୫
୧ ȉ ୧ െ ୧ ȉ ୧ ൌ ୧ ȉ ୧ୀଵ
୧ୀଵ
୧ୀଵ
୧ ͲǤ ୧
ā ୧ൗ୧ ൌ ͳǡ ǡ୧ ൌ ୧ Ǥ ʹǤͳǣ ୫
୫
ሺሻ െ ൌ െ ୧ ȉ ୧ ୧ ȉ ୧ୀଵ
୧ୀଵ
ͳ Ͳǡ
31
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ā୧ ൌ ͳൗǤ ©Ǥ TEOREMA 2.2 ሺሻ ൌ ǡ ā © ݉ ©Ǥ ā ©©Ǥ ʹǤͳǤʹǤ ~ ͳǤ ሺܵଵ ǡ ܲଵ ሻሺܵଶ ǡ ܲଶ ሻ © āȁܵଵ ȁ ൌ ȁܵଶ ȁܲଵ ൌ ܲଶ ǡ ܪሺܲଵ ሻ ൌ ܪሺܲଶ ሻǤ ©ǡ ©݁ ©Ǥ ʹǤ ā ܪ൫ଵ ǡ ଶ ǡ ǥ ǡ ൯ ൌ ܪ൫ଵ ǡ ଶ ǡ ǥ ǡ ǡ Ͳ൯ǡæ« Ͳ ȉ Ͳ ൌ ͲǤ © « © ««¯Ǥæ ǡ æ © © Ǥ ͵Ǥ æȋʹǤȌǤǡ © © αͳǦǤ ©ǡ © © ൗǤ©ǡ ݍ © © ൗݍǤ āσୀଵ ൌ ǡ σୀଵ ݍ ൌ ݍǤ ଵ ଶ ڮ୬ ଵ ଶ ڮ୫ ൌ ͳǡ ǡ ሼଵ ǡ ଶ ǡ ǥ ǡ ୬ ǡ ଵ ǡ ଶ ǡ ǥ ǡ ୫ ሽ©݊ ݉Ǥā © ¯ ሺଵ ǡ ଶ ǡ ǥ ǡ ୬ ǡ ଵ ǡ ଶ ǡ ǥ ǡ ୫ ሻ ൌ ሺǡ ሻ ൬ 32
୬ ୫ ଵ ଶ ଵ ଶ ǡ ǡ ǥ ǡ ൰ ൬ ǡ ǡ ǥ ǡ ൰Ǥ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ© ©©αͳǦǡ© ݍ © ൗ ©©ൗݍǤ
ʹǤͳǤ͵Ǥ ͳǤ ܪ൫ଵ ǡ ଶ ǡ ǥ ǡ ൯ ൌ ܪሺగሺଵሻ ǡ గሺଶሻ ǡ ǥ ǡ గሺሻ ሻǡ ߨǤ ʹǤ ܪ൫ଵ ǡ ଶ ǡ ǥ ǡ ൯ Ǥ ͵Ǥ ā ܪ൫ଵ ǡ ଶ ǡ ǥ ǡ ൯ ൌ ܪ൫ଵ ଶ ǡ ଷ ǡ ǥ ǡ ൯ ൫ଵ ଶ ൯ܪሺ భ ǡ
మ
భ ାమ భ ାమ
ሻǡ
©ଵ ǡ ଶ ǡ ǥ ǡ ǡ݊ ʹǤ ଵ
ଵ
ଵ
ͶǤ ܪቀ ǡ ǡ ǥ ǡ ቁ© Ǥ
ʹǤͳǤͶǤ , , Ǧ , ā Ǥ ā ǡ ǡ ©ǡ ¯ «Ǥ æ © « ¯ ¯ǡ
33
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« ¯ Ǥ © Ǥ DEFINICIJA ««Ǥ © ȋπǡ ǡȌ ܺ πܴāǣ ͳǤ ሼ߱ȁܺሺ߱ሻ ݔሽ¯ܴݔܨǤ ʹǤ ܲሼ߱ȁܺሺ߱ሻ ൌ െλሽ ൌ ܲሼ߱ȁܺሺ߱ሻ ൌ λሽ ൌ ͲǤ ܺ««Ǥ ȋͳȌ © « © ¯ « «Ǥ ȋʹȌ finitnost ȋ«Ȍ « «ܺǤ æ Ǥ « ā Ͷ ¯ܪǡ æ ¯Ǥ æ© © Ǥ ©ሺܵǡ ܲሻā ā « « ܺǡ ୧ ሺଵ ǡ ଶ ǡ ǥ ǡ ୫ ሻǤ © ൌ ୧ ଡ଼ ሺ୧ ሻǡ ܲ © « ܺǤ « « ©Ǥ © ā « «ǡ ««ܺܵǡ ሺሻ ൌ െ
୶אୗ
ଡ଼ ሺሻ ଡ଼ ሺሻ Ǥ
ā ¯ ««ܺǤ « ሺܺ ൌ ͳǡ ܺ ൌ Ͳሻ ȋ ʹǤͺȌǤ
34
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤͺ«
ȋʹǤͻȌǡ«¯««Ǥ
ʹǤͻ«¯««
ʹǤͳǤͷǤ ©ሺܵǡ ܲሻ ««ܺǤ كǤ Kako poznavanje ove injenice utie na neodreenost sistema?
35
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¯ ©ሺǡ ሻǤ ©ଡ଼ȁ ሺሻ ൌ
୮ ሺ୶ሻ
୮ ሺሻ
ǡ אǤ
¯ ««ܺܧǣ ሺȁሻ ൌ െ
୶א
ଡ଼ȁ ሺሻ ଡ଼ȁ ሺሻ Ǥ
ܺ««©ሺܵǡ ܲሻǡ ൌ ሼͳǡʹǡ͵ǡͶሽǡ ൌ ൛ͲǤͷǡ ͲǤʹͷǡ ͲǤͳʹͷǡ ͲǤͳʹͷൟ ൌ ሼͳǡ͵ሽ ¯Ǥ ǣ ܪሺܺሻ ൌ െͲǤͷͲǤͷ െ ͲǤʹͷͲǤʹͷ െ ͲǤͳʹͷͲǤͳʹͷ െ ͲǤͳʹͷͲǤͳʹͷ ൌ ͳǤͷ Ǥ ǣ ଡ଼ ሺሻ ൌ ͲǤʹͷǡ ଡ଼ȁ ሺͳሻ ൌ
ଡ଼ ሺͳሻ ሺ͵ሻ ൘ ሺሻ ൌ ͲǤͺǡ ଡ଼ȁ ሺ͵ሻ ൌ ଡ଼ ൘ ሺሻ ൌ ͲǤʹ ଡ଼ ଡ଼
ǣ ܪሺܺȁሻ ൌ െȁா ሺͳሻȁா ሺͳሻ െ ȁா ሺ͵ሻȁா ሺ͵ሻ ൌ െͲǤͺͲǤͺ െ ͲǤʹͲǤʹ ൎ ͲǤʹͳͻ ʹǤͳǤǤ «©ā© æ © « Ǥ ¯ǡ © « ¯©Ǥ ©ሺܵଵ ǡ ܲଵ ሻ«ܺ ሺܵଶ ǡ ܲଶ ሻ « ܻǤ ā 36
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ā ൫ଵ ൈ ଶ ǡ ൯ ǡ ܲ ā ©ǡ ሺ௫ǡ௬ሻ ǡ ሺǡ ሻ אଵ ൈ ଶ Ǥ ā ǣ ܪሺܺǡ ܻሻ ൌ െ ܺǡ ܻሺݔǡ ݕሻ ܺǡ ܻሺݔǡ ݕሻ ௫אௌభ ௬אௌమ
ܪሺܺሻ ൌ െ ܺሺݔሻ ܺሺݔሻ ௫אௌభ
ܪሺܻሻ ൌ െ ܻሺݕሻ ܻሺݕሻ ௫אௌమ
U kakvom su odnosu ove tri entropije? TEOREMA 2.3 ««ܻܺāǣ ܪሺܺǡ ܻሻ ܪሺܺሻ ܪሺܻሻ ā««ǡǤ ܺǡ ܻሺݔǡ ݕሻ ൌ ܺሺݔሻ ȉ ܻሺݕሻ ¯ ā ¯ « Ǥ « ¯ ȋȌܻܺǡ«¯ Ǥ«ܻܺǡ«¯ǡ āǤ ʹǤ͵āæǤæ«ǡ « ൌ ሺଵ ǡ ଶ ǡ ǥ ǡ ୫ ሻǡ « © ଡ଼ ሺሻǡāǣ ܪሺܺሻ ൌ െ ܺሺݔሻ ܺሺݔሻ ௫
ܺǣ 37
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ݔ ሺݔ ሻ ൌ െ
ܺሺݔଵ ǡ ݔଶ ǡ ǥ ǡ ݔିଵ ǡ ݔାଵ ǡ ǥ ݔ ሻ
௫భǡǥǡ ௫షభ ǡ௫మశభ ǡǥǡ௫
««ଵ ǡ ଶ ǡ ǥ ǡ ୫ ǡāǣ ܺሺݔሻ ൌ ܺଵ ሺݔଵ ሻ ȉ ܺଶ ሺݔଶ ሻ ȉȉȉ ܺ ሺݔ ሻ LEMA 2.2 « æ ȋ« Ȍ ൌ ሺଵ ǡ ଶ ǡ ǥ ǡ ୫ ሻāǣ
ܪሺܺሻ ܪሺܺ ሻ ୀଵ
ā « « ଵ ǡ ଶ ǡ ǥ ǡ ୫ Ǥ PRIMER 2.5 ଵ ǡ ଶ ǡ ǥ ǡ ୫ « « Ͳͳ©ͲǤͷǡǣ ܺ ሺͲሻ ൌ ͲǤͷǡܺ ሺͳሻ ൌ ͲǤͷǡ݅ ൌ ͳǡ Ǥ Ǥ Ǥ ǡ ݊Ǥ ǣ ܪሺܺଵ ǡ ǥ ǡ ܺ ሻ ൌ ݊ ȉ ܪሺܺଵ ሻ ൌ ݊Ǥ ««ܻܺǤ ܻ ൌ ݕǤ Kako ovaj dogaaj utie na neodreenost veliine ܺ? ܻ ൌ ݕଡ଼ ሺሻǣ ܺȁݕሺݔǡ ݕሻ ൌ
ܺǡ ܻሺݔǡ ݕሻ ܻሺݕሻ
ܻܺ ൌ ݕǣ ܪሺܺȁܻ ൌ ݕሻ ൌ െ ܺȁݕሺݔǡ ݕሻܺȁݕሺݔǡ ݕሻǤ ௫
æ©©ǣ 38
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܪሺܺȁܻ ൌ ݕሻ ՜ ܪሺܺȁݕሻǤ «ǡǣ ܺȁݕሺݔǡ ݕሻ ൌ ܺሺݔሻ ܪሺܺȁݕሻ ൌ െ ܺሺݔሻܺሺݔሻ ൌ ܪሺܺሻǤ ௫
ǡ ܺ ܻ ǡ ܻ ¯ ܺǤ ā «ǣ ܪሺܺȁܻሻ ൌ ܻሺݕሻܪሺܺȁݕሻ ௬
æ«ܪሺܺȁݕሻǤ ǣ •
ܪሺܺȁݕሻ Ȃ ܺ ¯ ܻ ൌ ݕǤ
•
ܪሺܺȁܧሻȂܺ¯ܧ
•
ܪሺܺȁܻሻȂ«
TEOREMA 2.4«ܻܺāǣ ܪሺܺǡ ܻሻ ൌ ܪሺܺሻ ܪሺܺȁܻሻ ܪሺܺǡ ܻሻ ൌ ܪሺܺሻ ܪሺܻȁܺሻǤ DOKAZ TEOREME 2.4āܺǡ ܻሺݔǡ ݕሻ ൌ ܻሺݕሻܺȁݕሺݔǡ ݕሻǡǣ
39
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܪሺܺȁܻሻ ൌ ܻሺݕሻܪሺܺȁݕሻ ௬
ൌ െ ܻሺݕሻܺȁݕሺݔǡ ݕሻܺȁݕሺݔǡ ݕሻ ௫
௬
ൌ െ ܺǡ ܻሺݔǡ ݕሻ ௫
௬
ܺǡ ܻሺݔǡ ݕሻ ൌ ܻሺݕሻ
െ ܺǡ ܻሺݔǡ ݕሻሺܺǡ ܻሺݔǡ ݕሻ െ ܻሺݕሻሻ ௫
௬
ൌ ܪሺܺǡ ܻሻ െ ܪሺܻሻǤ KAROLARIJ 2.1««ܻܺāǣ ܪሺܺȁܻሻ ܪሺܺሻǤ
āܻܺǤ DOKAZ KAROLARIJA 2.1 «ǡ ʹǤ͵ ǣ ܪሺܺȁܻሻ ൌ ܪሺܺǡ ܻሻ െ ܪሺܻሻ ܪሺܺሻ ܪሺܻሻ െ ܪሺܻሻ ൌ ܪሺܺሻ «āܻܺǤ KAROLARIJ 2.2ȋ «Ȍଵ ǡ ଶ ǡ ǥ ǡ ୫ « «Ǥāǣ ܪሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ሻ ൌ ܪሺܺଵ ሻ ܪሺܺଶ ȁܺଵ ሻǤ Ǥ Ǥ ܪሺܺ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺିଵ ሻǤ DOKAZ KAROLARIJA 2.2© Ǥαʹǡā ʹǤͶǤāǤܺ ൌ ሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ሻǤ ʹǤͶ ǡǣ ܪሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ǡ ܺାଵ ሻ ൌ ܪሺܺ ǡ ܺାଵ ሻ ൌ ܪሺܺ ሻ ܪሺܺାଵ ȁܺ ሻ ൌ ܪሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ሻ ܪሺܺାଵ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ሻ ൌ ܪሺܺଵ ሻ ܪሺܺଶ ȁܺଵ ሻ ڮ ܪሺܺ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺିଵ ሻ ܪሺܺାଵ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ ሻ ā݉ ͳǡā݉Ǥ 40
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER 2.6 ଵ
ܺǡ ܻሺͲǡͳሻ ൌ ܺǡ ܻሺͳǡͲሻ ൌ ܺǡ ܻሺͲǡͲሻ ൌ ǡ ܺǡ ܻሺͳǡͳሻ ൌ Ͳǡ ܺሺͲሻ ൌ ݕሺͲሻ ൌ ଶ ଷ
ଵ
ଷ
݅ܺሺͳሻ ൌ ܻሺͳሻ ൌ Ǥ ଷ
ǣ ܪሺܺȁܻ ൌ Ͳሻ ൌ െܺȁݕሺͲǡͲሻ ܺȁݕሺͲǡͲሻ െ ܺȁݕሺͳǡͲሻ ܺȁݕሺͳǡͲሻ ܺǡ ܻሺͲǡͲሻ ܺǡ ܻሺͲǡͲሻ ܺǡ ܻሺͳǡͲሻ ܺǡ ܻሺͳǡͲሻ ൌെ െ ܻሺͲሻ ܻሺͲሻ ܻሺͲሻ ܻሺͲሻ ൌ െͲǤͷ ͲǤͷ െ ͲǤͷ ͲǤͷ ൌ ͳǡ ܪሺܺȁܻ ൌ ͳሻ ൌ െ
ܺǡ ܻሺͲǡͳሻ ܺǡ ܻሺͲǡͳሻ ܺǡ ܻሺͳǡͳሻ ܺǡ ܻሺͳǡͳሻ െ ൌ Ͳǡ ܻሺͳሻ ܻሺͳሻ ܻሺͳሻ ܻሺͳሻ
ʹ ͳ ͳ ʹ ܪሺܺሻ ൌ ܪሺܻሻ ൌ െ െ ൎ ͲǤͻͳͺ͵Ǥ ͵ ͵ ͵ ͵ ܪሺܺȁܻ ൌ ͳሻ ൏ ܪሺܺሻ ൏ ܪሺܺȁܻ ൌ ͲሻǤ ܪሺܺȁܻሻ ൌ ܻሺͲሻܪሺܺȁܻ ൌ Ͳሻ ܻሺͳሻܪሺܺȁܻ ൌ ͳሻ ൌ ܪሺܺǡ ܻሻ ൌ െ
ʹ ܾ݅ݐ ͵
ͳ ൎ ͳǤͷͺͷͲܾ݅ݐ ʹ
āāʹǤͶ ܪሺܺǡ ܻሻ ൌ ܪሺܻሻ ܪሺܺȁܻሻ ǣ ͳǤͷͺͷͲ ൌ ͲǤͻͳͺ͵ ͲǤ
ʹǤͳͲ
41
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǣ Ͳ ܻȁݔሺݕǡ ݔሻ ͳǡܫ א ݔǡ ܱ א ݕǡ ܻȁݔሺݕǡ ݔሻ ൌ ͳܫ א ݔ݁ݒݏܽݖǤ ௬
« Ǥ ሺǡ ሻ ൌ ሺሻ ሺȁሻ « ¯ ¯ ܪሺܺሻ¯ܪሺܻȁܺሻǤ PRIMER 2.7ȋ«Ȍ ǣ ܻȁݔሺͲǡͲሻ ۾ൌ൬ ܻȁݔሺͲǡͳሻ
ܻȁݔሺͳǡͲሻ ͳെԪ ൰ൌቀ ܻȁݔሺͳǡͳሻ Ԫ
Ԫ ቁ ͳെԪ
Ԫæ Ǥ ܺሺͲሻ ൌ ǡ ܺሺͳሻ ൌ ݍൌ ͳ െ Ǥ ǣ ܪሺܺሻ ൌ െ െ ሺͳ െ ሻ ሺͳ െ ሻ ܻሺͲሻ ൌ ܻȁݔሺͲǡͲሻ ȉ ܺሺͲሻ ܻȁݔሺͲǡͳሻ ȉ ܺሺͳሻ ൌ ሺͳ െ Ԫሻ Ԫሺͳ െ ሻǡ ܻሺͳሻ ൌ ܻȁݔሺͳǡͲሻ ȉ ܺሺͲሻ ܻȁݔሺͳǡͳሻ ȉ ܺሺͳሻ ൌ Ԫ ሺͳ െ Ԫሻሺͳ െ ሻǤ ܪሺܻȁͲሻ ൌ െܻȁݔሺͲǡͲሻ ܻȁݔሺͲǡͲሻ െ ܻȁݔሺͳǡͲሻ ܻȁݔሺͳǡͲሻ ൌ െሺͳ െ Ԫሻ ሺͳ െ Ԫሻ െ Ԫ Ԫ ǡ ܪሺܻȁͳሻ ൌ െܻȁݔሺͲǡͳሻ ܻȁݔሺͲǡͳሻ െ ܻȁݔሺͳǡͳሻ ܻȁݔሺͳǡͳሻ ൌ െԪ Ԫ െ ሺͳ െ Ԫሻ ሺͳ െ Ԫሻ ൌ ܪሺܻȁͲሻ ܪሺܻȁܺሻ ൌ ܺሺͲሻܪሺܻȁͲሻ ܺሺͳሻܪሺܻȁͳሻ ൌ ܪሺܻȁͲሻ ሺͳ െ ሻܪሺܻȁͲሻ ൌ ܪሺܻȁͲሻ ൌ ܪሺܻȁͳሻǤ 毫Ǥ¯ āāǣ ܪሺܺǡ ܻሻ ൌ ܪሺܺሻ ܪሺܻȁܺሻ ǣ
42
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ԫ ൌ ͲǤͳǡ ܺሺͲሻ ൌ ൌ ͲǤʹǡ ܺሺͳሻ ൌ ݍൌ ͲǤͺǤ ǣ ܪሺܺሻ ൌ െͲǤʹ ͲǤʹ െ ͲǤͺ ͲǤͺ ൎ ͲǤʹͳͻܾ݅ݐǡ ܻሺͲሻ ൌ ͲǤͻ ȉ ͲǤʹ ͲǤͳ ȉ ͲǤͺ ൌ ʹǤͶǡ ܻሺͳሻ ൌ ͲǤͳ ȉ ͲǤʹ ͲǤͻ ȉ ͲǤͺ ൌ ͲǤͶǡ ܪሺܻȁܺሻ ൌ ܪሺܻȁͲሻ ൌ െͲǤͻ ͲǤͻ െ ͲǤͳ ͲǤͳ ൎ ͲǤͶͻͲܾ݅ݐǤ ܺǡ ܻሺͲǤͲሻ ൌ ܻȁݔሺͲǤͲሻܺሺͲሻ ൌ ͲǤͻ ȉ ͲǤʹ ൌ ͲǤͳͺǡ ܺǡ ܻሺͳǤͲሻ ൌ ܻȁݔሺͲǤͳሻܺሺͳሻ ൌ ͲǤͳ ȉ ͲǤͺ ൌ ͲǤͲͺǡ ܺǡ ܻሺͲǤͳሻ ൌ ܻȁݔሺͳǤͲሻܺሺͲሻ ൌ ͲǤͳ ȉ ͲǤʹ ൌ ͲǤͲʹǡ ܺǡ ܻሺͳǤͳሻ ൌ ܻȁݔሺͳǤͳሻܺሺͳሻ ൌ ͲǤͻ ȉ ͲǤͺ ൌ ͲǤʹǡ ܪሺܺǡ ܻሻ ൌ െͲǤͳͺ ͲǤͳͺ െ ͲǤͲͺ ͲǤͲͺ െ ͲǤͲʹ ͲǤͲʹ െ ͲǤʹ ͲǤʹ ൎ ͳǤͳͻͲͻܾ݅ݐ
43
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤʹǤ Šta je informacija i kako se ona meri? ¯Ǥ ǡ «¯Ǥ « « ¯ « « Ǥ « « « ¯ © ¯Ǥ Ǥ ʹǤʹǤͳǤ 0 « æ © ሺܵǡ ܲሻǡ « ܺǡ אǡ ©ଡ଼ ሺሻǤ « ¯Ǥ ¯ ǣ ܪሺܺሻ ൌ െ ሺݔሻ ሺݔሻǤ ௫אௌ
æǡ¯ אǤ æ ¯Ǥ ¯ ܪሺܺሻ ¯ ͲǤ ܪሺܺሻȂ Ͳ ൌ ܪሺܺሻ « ¯ Ǥ « « « Ǥ ©āāǣ ͳǤ © ǡ ǡʹǡ Ǥ
44
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ « © « «ܺǡ© Ǥ PRIMER 2.8« « «ܺǡ Ͳ ͳ © ݍ ൌ ͳ െ ǡ Ǥ « ǣ ܪሺܺሻ ൌ െ݈݃Ȃ ݍ݈݃ݍǤ ǡ «©ǡ « ͳǤ
æ Ǥ © « ܺ ©ሺܵǡ ܲሻǤ « ¯ ܪሺܺሻǤ© Ǥ© « «ܺǡ © ¯ كǤ Ǥ Šta je sada njena mera? ¯ ܺ« « ܧȁǡ ©ሺǡ ሻǤ « ©ǣ ȁா ሺݔሻ ൌ
ሺ௫ሻ
ǡ ݔൌܧ אǤ
ሺாሻ
ǡ ¯ǡ¯ ǣ ܪሺܺȁܧሻ ൌ െ ȁா ሺݔሻ ȁா ሺݔሻǤ ௫אா
¯ܧǡ ¯ «ܪሺܺሻ ܪሺܺȁܧሻǤ« ܪሺܺሻ െ ܪሺܺȁܧሻǤ
45
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
©æ«ǡ©ܪሺܺȁܧሻā © ܪሺܺሻ ǡ ¯ ܧā © ¯ǡæ Ǥ ܺ© « ܧǡ ܪሺܺȁܧሻ ൌ Ͳǡ ܪሺܺሻ െ ܪሺܺȁܧሻ ൌ ܪሺܺሻȂ Ͳ ൌ ܪሺܺሻ« Ǥ « « « ȋǤSelf-informationȌǤ«« « ««Ǥ ā ǣ ͳǤ ǡ ʹǤ Ǥ ʹǤʹǤʹǤ ā ©ሺଵ ൈ ଶ ǡ ሻ ā « « ܺ ܻ Ǥ ൌ אଶ Ǥ æ ¯ ܻ ǡ ā ሺǢ ሻ ൌ ሺሻ ǡܻǤ « © ǡ ««ܻ««ܻ Ǥ ¯ ܻ ൌ ݕǡ © « «ܺǡ æ ȁ௬ ሺݔǡ ݕሻ ൌ ܵ א ݔଵ Ǥ
ǡೊ ሺ௫ǡ௬ሻ ೊ ሺ௬ሻ
ǡ
«¯¯«ܺǤ ܻ ൌ ݕǡ ā ܺ Ǥ « ሺǢ ሻ ൌ ሺሻ െ ሺȁሻǤ
46
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« © « «ܻܺǡ ܻ ൌ « ݕ «ܺǤ ¯ « « Ǥ ܫሺܺǢ ܻሻ ൌ ሺݕሻ݅ሺݕǢ ܺሻ ൌ ሺݕሻ൫ܪሺܺሻ െ ܪሺܺȁݕሻ൯ ൌ ܪሺܺሻ െ ܪሺܺȁܻሻǤ ௬
௬
«ܫሺܺǢ ܻሻ ¯ « «ܻܺǤ Ǥ © © « « ܻܺǤ ʹǤ͵ܪሺܺȁܻሻ ܪሺܺሻǤ TEOREMA 2.5ܫሺܺǢ ܻሻ Ͳǡ ሺǢ ሻ ൌ Ͳǡܻܺ¯ ««Ǥ ሺǢ ሻāǡ ««Ǥ ܪሺܺȁܻሻ ൌ ܪሺܺǡ ܻሻ െ ܪሺܺሻǡ ā ܫሺܺǢ ܻሻ ൌ ሺሻ ሺሻ െ ሺǡ ሻǤ ©Ǥ TEOREMA 2.6 ܫሺܺǢ ܻሻ ൌ ܫሺܻǢ ܺሻ Ǥ « Ǥ TEOREMA 2.6a ሺǢ ሻ ൌ ሺሻ െ ሺȁሻ ሺǢ ሻ ൌ ሺሻ െ ሺȁሻ ሺǢ ሻ ൌ ሺሻ ሺሻ െ ሺǡ ሻ ሺǢ ሻ ൌ ሺǢ ሻ ሺǢ ሻ ൌ ሺሻ
47
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤʹǤ͵Ǥ , ,
Ǧ
«Ǥ« ܻܺǡe ǣܪሺܺሻǡ ܪሺܻሻǡ ܪሺܺȁܻሻܫሺܺǢ ܻሻǤ ǦǤܺ෨ܻ෨ǡ ܻܺǡ Ǥܺ෨ ܻ ෨© πǡ ρ כɐǦǣ ~
~
~
~
~
~
~
~
~
~
~
~
F {( X Y ), X , Y , ( X Y ), ( X Y c ), ( X c Y ), ( X Y )c , I} ǣ ~
~
P *( X Y ) H ( X , Y ) ~
P *( X ) H ( X ) ~
P *(Y ) H (Y ) ~
~
P *( X Y ) I ( X ; Y ) ~
~
~
~
P *( X Y ) H ( X | Y ) P *(Y X ) H (Y | X ) ~
~
P *((Y X )c ) H ( X | Y ) H (Y | X ) ǣ
P * (I )
0
© æ ā e X Y ǡæǣ
48
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
H /I oP ,o ;o
|o . Ǥ«¯ « Ǥ Ǥ « X Y ā e F Ǥ P * IǦ« X
Y Ǥ X Y ǡā ©Ǥ ǡ ǣ
H ( X , Y ) { H ( X ) H (Y ) I ( X ; Y ), ǣ ~
~
~
~
~
~
P ( X Y ) { P ( X ) P (Y ) P ( X Y ). « eǡȋͳͻͻͳȌǤ « « X Y ǡ ā H ( X , Y ) Ǥ « ǡ © « H ( X ) H (Y ) H ( X , Y ) ǡǡȋʹǤͳͳȌ.
ʹǤͳͳ« 49
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǣ
H ( X , Y ) d H ( X ) H (Y ) ǣ
0 d H ( X ) d log 2 n
n © X Ǥ ʹǤ X Y ȋ« Ȍ« Y Ǥǣ
H (X |Y )
H ( X , Y ) H (Y ).
« «ǡȋʹǤͳʹȌǤ
ʹǤͳʹ
ǣ
H ( X | Y ) d H ( X ), H (Y | X ) d H (Y ).
͵Ǥ « © ǡǤ«ā ǡ ā © « ¯ Ǥ « «ǡȋʹǤͳ͵ȌǤ 50
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤͳ͵
ǣ ܫሺܺǢ ܻሻ ൌ ܪሺܺሻ െ ܪሺ݈ܻܺሻܫሺܺǢ ܻሻ ൌ ܪሺܻሻ െ ܪሺܻ݈ܺሻ ʹǤʹǤͶǤ © ©Ǥ«ǡ«ǣ ܭሺܲ ǡ ܴ ሻ ൌ ܺሺݔሻ ௫אௌ
ܺሺݔሻ ܻሺݔሻ
ȋǦ Ȍ ¯ « « Ǥ ǡā«ǡǣ ݀൫ܲǡ ܲ ൯ ് ݀ሺܲ ǡ ܲ ሻǤ ǣ ܭሺܲ ǡ ܲ ሻ ൌ ܭሺܲ ǡ ܲ ሻ ൌ Ͳǡ ǣ ܲ ൌ ܲǤ 51
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ ǣ ͲሺͲȀͲሻ ൌ Ͳǡ ͲሺͲȀݍሻ ൌ Ͳǡ ሺȀͲሻ ൌ λǡ ሺܲ ǡ ܲ ሻ ൌ λǡ ݔଡ଼ ሺሻ Ͳǡଢ଼ ሺሻαͲǤ ā © ሺ ൈ ǡ ሻ « « ǡ אǤ ሺǡ ଡ଼ ሻ ሺǡ ଢ଼ ሻ ©ǣ ܺሺݔሻ ൌ ܺǡ ܻሺݔǡ ݕሻǡ ܻሺݕሻ ൌ ܺǡ ܻሺݔǡ ݕሻǤ ௬
௫
«ଡ଼ ȉ ଢ଼ ©ܺሺݔሻ ȉ ܻሺݕሻǤāǣ ܫሺܺǢ ܻሻ ൌ ܫሺܻǢ ܺሻ ൌ ܭሺܲǡ ܲ ȉ ܲ ሻ ܫሺܺǢ ܻሻ ൌ ܻሺݕሻ݅ሺݕǢ ܺሻ ൌ ܻሺݕሻ൫ܪሺܺሻ െ ܪሺܺȁݕሻ൯ ൌ ܪሺܺሻ െ ܪሺܺȁܻሻǤ ௬
௬
ܪሺܺሻܪሺܺȁܻሻǣ ܫሺܺǢ ܻሻ ൌ ܺሺݔሻ ܺሺݔሻ ܻሺݕሻ ܺȁܻሺݔǡ ݕሻ ܺȁܻሺݔǡ ݕሻ ௫
௫ǡ௬
ൌ ܺǡ ܻሺݔǡ ݕሻሺ ௫ǡ௬
ൌ ܺǡ ܻሺݔǡ ݕሻ ௫ǡ௬
ܺǡ ܻሺݔǡ ݕሻ െ ܺሺݔሻ ܻሺݕሻ
ܺǡ ܻሺݔǡ ݕሻ Ǥ ܺሺݔሻܻሺݕሻ
ܫሺܺǢ ܻሻ ā © ሺܺǡ ܻሻ ©«Ǥ « ¯««Ǥ
52
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ͵Ǥ e , e ȋClaude E. ShannonȌ ȋͳͻͶͺȌ Ǥ e Ǥ « «ܪǤ« ǡ«ǡ « Ǥ e © ǡ©«ܪ ܪǤ ǡ e « ǡ «ǣDz«¯ǡ Ǥ Ǧ ȋͲ ͳȌ «ǡ ܪ Ǥdz ¯ǡe Ǥ æ Ǥ ǡ Ǥ ǡ ܦǡāæǤe¯ « ǡ ܴሺܦሻ Ǥāܦ «ǡܴሺܦሻǤ ȋǤ ܦൌ ͲȌǡ © ܴሺͲሻ ൌ ܪȋ ǡ « ȌǤ«ǡ© ܪǤ « Ǥ « Ǥ ǡ æ Ǥ ¯ǡ 53
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ © e « Ǥ ʹǤ͵ǤͳǤ ̶̶Ǥǡ ͷͲ Ǥ ͷͲ ȋȌǤ ©««Ǥ ǡ © Ǥ «ǡ «©«ǣ
X
{ X 1 , X 2 , X 3 ,...}.
X ǡ X 1 ǡ X 2 Ǥ © æ « A ȋȌæ Ǥ ܣൌ ሼܽǡ ܾǡ ܿǡ ݀ǡ ݁ǡ ݂ǡ ݃ǡ ݄ǡ ݅ǡ ݆ǡ ݇ǡ ݈ǡ ݉ǡ ݊ǡ ǡ ǡ ݍǡ ݎǡ ݏǡ ݐǡ ݑǡ ݓǡ ݔǡ ݕǡ ݖǡ ݇ܽ݉ݖܽݎሽ ©ā Ǥ æ ǡ « A Ǥ« « ȋ« ȌǤ « ā «Ǥ ʹǤ͵ǤʹǤ e Ǧ« ©ʹǤ «ǡȋ ȋǡͳͻͶͺȌȌǣ xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd
54
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
©Ǥæ «Ǥ Ǧ «æ© Ǥ ǡ ǷDz ǷDz «æ©ǷDzǷDzǤǡǡ ǡ © Ǥ«ǣ ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl Ǧ «©Ǥ āǤǡ «æ©Ǥ«¯Ǥ ǡæǡ Ǥ ǡ Ƿ̶ ȋ© α ͲǤͲʹʹȌǤ ¯ǡ Ƿ̶ǡ © Ƿ̶ © ȋ© α ͲǤͻͻͷȌǤ « ©ǣ on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at teasonare fuso tizin andy tobe seace ctisbe © Ǧ © Ǥ ǡ Ǥ ǡ æǤ«©ǣ in no ist lat whey cratict froure birs grocid pondenome of demonstures of the reptagin is regoactiona of cre « « « « Ǥ æ - ǡ « Ǥ«æ «ǤæǤ 55
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ͵Ǥ͵Ǥ « Ǥ ǡ ā «Ǥ ǣ ܺ ൌ ሼܺଵ ǡ ܺଶ ǡ ܺଷ ǡ ǥ ሽǡ «©Ǥ Ǧ«ǡ ā©Ǥ«Ǥ «ǡ¯ǣ ܪൌ ʹ݉ǡ Ǥǡ«݉ ൌ ʹǤǡ ǡ ܪൌ ͶǤͷ Ǥ Ǧ«ǡ « © iǦ Ǥ«ǣ
ܪൌ ʹ Ǥ ୀଵ
© ǡͶǤͲ ǡ©Ǥ Ǧܲȁ ©æ ݆ǡ©݅Ǥǣ
ܪൌ ܲ ܲȁ ʹܲȁ ǡ ୀଵ
ୀଵ
© ǡ © ͵Ǥ͵ǡǤ 56
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© -ܲȁǡ ©æ ݇ǡ©݅ǡ ݆Ǥǣ
ܪൌ ܲ ܲȁ ܲȁǡ ʹܲȁǡ ǡ ୀଵ
ୀଵ
ୀଵ
æ - ܤ ݊Ǥ æ «ǣ ͳ ܪൌ ሺܤ ʹሺܤ ሻሻ ௫՜ ݊ ©݉ ©ܤ Ǥ«©« Ǥ©ǡe ʹǡ ʹǤ͵ Ǥ æ ǡ © © eǤ ʹǤ͵ǤͶǤ e e Ǥ ǡ ǣ ܣൌ ሼܽǡ ܾሽ Ȃ Ǥ
ሺ ሻ «
0.5
0
0.5
1
αͳ
57
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER
a a a a a a a a a a b b b b b a a a a a
0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0
« ʹͲ ʹͲ Ǥ « ͳǤ Ȃ ā ǡǤ
ሺ ሻ «
0.45
Ͳ
0.45
ͳͲ
0.05
ͳͳͲ
0.05
ͳͳͳ
αͲǤͳ PRIMER
58
aa
aa
aa
aa
aa
bb
bb
ba
aa
aa
0
0
0
0
0
10
10
111
0
0
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« ͳͶ ʹͲ Ǥ « ͲǤǤ © Ȃ āæǤ
ሺ ሻ «
aaa
0.405
0
bbb
0.405
10
aab
0.045
1100
abb
0.045
1101
bba
0.045
1110
baa
0.045
11110
aba
0.005
111110
bab
0.005
111111
αͲǤͷͷ PRIMER
aaa
aaa
aaa
abb
bbb
aaa
0
0
0
1101
10
0
« ͳͲ ͳͺ Ǥ « ͲǤͷͷǤ
59
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤͶǤ VEŽBA 1. « ǡǣ © ©ǡ ā « Ǥ « ā ݔ ǣ ܫ௫ ൌ ʹ
ͳ ൌ െ ʹ௫ ǡ ௫
୶ ©ݔǤ ǡ « Ǥ æ Ͷ ©ͳΤͶǤ « ā « «Ǥ αଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ α ౦భ
౦మ
౦య
౦ర
α ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ α ర
ర
ర
ర
ൌ ʹ ʹ ʹ ʹ ൌ ͺܾ݅ܽݒݐ ǡ ā Ͷ ǡ © ȋʹȌǣ Poruke M1
60
ͲͲ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
M2
Ͳͳ
M3
ͳͲ
M4
ͳͳ
æǦǤ ©ǣ εεαȏͲǤʹͷǡͲǤʹͷǡͲǤʹͷǡͲǤʹͷȐǢ « ǣ εεǦʹȋȋͳȌȌ αʹ « ǣ εεǦʹȋȋͳȌȌǦʹȋȋʹȌȌǦʹȋȋ͵ȌȌǦʹȋȋͶȌȌ αͺ VEŽBA 2 ǡǣ « « ǡ ିଵ
ܪൌ െ ǡ ୀ
Ǥ
61
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ © ©ǣ ሼͳΤͶ ǡ ͳΤͶ ǡ ͳΤͺ ǡ ͳΤͺ ǡ ͳΤͺ ǡ ͳΤͺሽǤ « « ǡ« Ǥ « « ā « ǣ α ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ Ϊ ଶ భభ α ర
ర
ఴ
ఴ
ఴ
ఴ
ൌ ʹ ʹ ͵ ͵ ͵ ͵ ൌ ͳܾ݅ܽݒݐ ǣ ଵ
ଵ
ଵ
ଵ
ଵ
ଵ
ସ
ସ
଼
଼
଼
଼
= െ ଶ భర െ ଶ భర െ ଶ భఴ െ ଶ భఴ െ ଶ భఴ െ ଶ భఴ= αǦͲǤʹͷ ଶ ͲǤʹͷǦͲǤʹͷ ଶ ͲǤʹͷǦͲǤͳʹͷ ଶ ͲǤͳʹͷǦͲǤͳʹͷ ଶ ͲǤͳʹͷǦ ͲǤͳʹͷ ଶ ͲǤͳʹͷǦͲǤͳʹͷ ଶ ͲǤͳʹͷǦα αͲǤͷΪͲǤͷΪͲǤ͵ͷΪͲǤ͵ͷΪͲǤ͵ͷΪͲǤ͵ͷαʹǤͷ ǡ ā ǡ © ȋ ͵ Ǥ ā͵ͺǤ
62
Poruke
Kodovi
M1
ͲͲͲ
M2
ͲͲͳ
M3
ͲͳͲ
M4
Ͳͳͳ
M5
ͳͲͲ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳͲͳ
M6
ǣ αܯͳܯͶܯʹܯǢ αͲͲͲͲͳͳͳͲͳͲͲͳǢ αܯͳܯͶܯʹܯǢ æǦǤ ©ǣ
εεαȏͲǤʹͷǡͲǤʹͷǡͲǤͳʹͷǡͲǤͳʹͷǡͲǤͳʹͷǡͲǤͳʹͷȐǢ « ǣ εεǦʹȋȌ αʹʹ͵͵͵͵ « ǣ εεȋȌ αͳ ǣ εεǦȋǤȗʹȋΪȋααͲȌȌȌ αʹǤͷͲͲͲ
63
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
VEŽBA 3. ǡǣ ǡ æ ǡ © Ǥ ǣ ܪൌ െ െ ሺͳ െ ሻ ሺͳ െ ሻǤ
ʹǤͳͶǤ©
æ ©ǣሼ͵ΤͶ ǡ ͳΤͶሽǤ «ǣ ଷ
ଷ
ଷ
ସ
ସ
ସ
ܪൌ െ ଶ యరെሺͳ െ ሻ ଶ ሺͳ െ ሻൌ ൌ െͲǤͷ ଶ ͲǤͷȂ ͲǤʹͷ ଶ ͲǤʹͷ ൌ ൌ ͲǤ͵ͳͳ ͲǤͷ ൌ ͲǤͺͳͳbitova inf./bit æ©ǣ ሼͳΤʹ ǡ ͳΤʹሽǡ æ ȋʹǤͳͶȌǤ©©ǣ ଵ
ଵ
ଵ
ଶ
ଶ
ଶ
ܪαെ ଶ భమെሺͳ െ ሻ ଶ ሺͳ െ ሻα 64
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ൌ െͲǤͷ ଶ ͲǤͷȂ ͲǤͷ ଶ ͲǤͷ ൌ ൌ ͲǤͷ ͲǤͷ ൌ ͳܾ݂݅݊݅ݐǤȀܾ݅ݐ æܪȋͳȌǤ æǦǤ ©ǣ εεͳαȏͲǤͷǡͲǤʹͷȐǢ εεʹαȏͲǤͷǡͲǤͷȐǢ ǣ εεͳαǦȋͳȋͳȌȌȗʹȋͳȋͳȌȌǦȋͳǦȋͳȋͳȌȌȌȗʹȋͳǦͳȋͳȌȌ ͳαͲǤͺͳͳ͵ ǣ εεͳαǦȋʹȋͳȌȌȗʹȋʹȋͳȌȌǦȋͳǦȋʹȋͳȌȌȌȗʹȋͳǦʹȋͳȌȌ ͳαͳ VEŽBA 4. ܣā ͷͲ Ǥ««ǡæ© æǤ ൌ ሾͲͲͳͲͲͲͲͲͳͳͳͲͳͲͳͲͳͳͲͲͳͲͲͲሿ ǡ © « ȋͲͲǡ Ͳͳǡ ͳͲǡͳͳȌǤ©ͶǤ© ܵ ൌ ሼͲͲǡ Ͳͳǡ ͳͲǡ ͳͳሽǤ ௦ ©ܵǤ
pS00
0.24, pS01
0.12, pS10
0.48, pS11
0.16; 65
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¯ « ʹǡ ʹ«Ǥ
H
ps00 log 2( ps00 ) ps01 log 2( ps01 ) ps10 log 2( ps10 ) ps11 log 2( ps11 ) 0.24 log 2(0.24) 0.12 log 2(0.12) 0.48 log 2(0.48) 0.16 log 2(0.16)
1.7925 / 2
0.8962bit
Ͳ ܪǡͺͻʹ « « āǦǤā ܪൌ Ͳǡͺͻʹǡ©ͶͶǤͺͳ Ǥā««ǡ « ͳǤ āææ© ©««Ǥ« «Ǥ æ « Ǥ « Ǥǡ ā ǡ«Ǥ VEŽBA 5: ǡǣ ǷeDzeͳͻͶͺǤ æ« ā¯Ǥ © ¯ǡ ā « ǣ
ܪൌ െ ൫ ሺݔ ሻ൯ǡ ୀଵ
©Ǥ ǡ ʹ æ āǤ ā « ¯Ǥ
66
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« ¯ Ǥ Ǥ © Hi ݅ ൌ ݉ ʹ݊ כǤ ¯ Ǥāʹǡ« ¯ ͳǤ «Ǥ «©e Ǥ ©©«Ǥ ©ā« ʹ Ǥ © « Ǥ ȋǤImage processing). ǣ
ʹǤͳͷȋʹͶȌ
āāǣ εεαȋ̵Ǥ ̵ȌǢ εεȋȌ
67
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͺǦȋǤGray-scaleȌǣ εεαʹȋȌǢ εεȋȌ
ʹǤͳ Ǧ ȋͺȌ
ͺ ȋ Ͳ ʹͷͷȌǤ © Ǥ εεȋȌǢ
ʹǤͳͺǦ
68
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¯© ǣ εεȏ ǡȐαȋȌǢ εεα Ȁȋʹͷͷȗ͵ͶͳȌǢ ǡā ©ǣ εεαǦȋǤȗʹȋΪȋααͲȌȌȌ αͷǤͺ͵ͷͻ « « ܪ Ǥ ൫ሺʹͷͷ ȉ ͵Ͷͳሻ ȉ ͺ൯ ൌ ͻͷͶͲǡ « ǡ ൫ሺʹͷͷ ȉ ͵Ͷͳሻ ȉ ͷǤͺ͵ͷͻ൯ ൌ ͷͲͶͲǤ « © ǡ æ ͳͺͺͳͺͲǤ ©©ʹ Ǥ ©©ǣ Koji regioni slike sadrže najmanji informacioni sadržaj? « « ȏͻ ͻȐ ǣ εεαȋͻȌǢ εεαȋȌǢ εε ȋȌǢȋ ȌǢ
69
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤͳͺ
« © ǡ Ǥ ͵ǡā « Ǥ εεȋȌǢȋ ȌǢ
ʹǤͳͻ͵
70
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤʹͲ «ͷǤ
ǡ©Ǥ 71
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
3. EFIKASNO KODOVANJE INFORMACIJA Ǥ ǡ Ǥ «©æ©e ¯ Ǥ © « ǡ¯«āǤ ǡǣ Šta je razlog da uopšte nešto kodujemo? ǣ ͳǤ ȋ Ȍ ʹǤ æ ȋȌ ͵Ǥ Ǧ © Ǥ
72
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵ǤͳǤ , , Ǥ
͵Ǥͳ
æ ȋǤ Source codingȌǣ ୲ æ©«୲ ǡȋ͵ǤͳȌǤ alfabetǤ je diskretan«Ǥ arnostǤ © « āǤ ǡ ǡǡ Ǥ ækodne reiǤ « kodnog alfabetaǡ æ « «Ǥ ǡ ܷ௧ ǡܷݐ ǡ « ߥ Ǥ
«ǡ««ߥ Ǥ ܲ©ݐሺܷ௧ ൌ ݑ ሻǤ ǡ © ݑ æ ǣ ௧ ͳ௨ ߥ א ܲሺܷ௧ ൌ ݑ ȁܷଵ ǥ ܷ௧ିଵ ሻ ൌ ܲሺܷ௧ ൌ ݑ ሻ 73
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ © ܲሺܷ௧ ൌ ݑ ሻݐǤ ā ൌ ሺሻ ɋ «ɋ Ǥ «« כ ɋ ǡ « כǤ DEFINICIJA 3.1Ǥ ǡ «««Ǥ ǡ ୧ ് ୨ ՜ ୧ ് ୨ ǡ « ୧ « ୧ Ǥ ©Ǥ PRIMER 3.1«Ǥ ā«Ǥ «ǣ«ȋȉȌ ȋǦȌǤǡǡ Dzȉ DzǡDzȉǦdzDzǦȉǦdzǡǤ © ǡ«ǡ « Ǥ « Ǥ « « Ǥ DEFINICIJA 3.2 «Ǥ «ǡ « «« Ǥ PRIMER 3.2«Ǥ
74
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
aǡbcǤ ǡǤaaabcaaccǤ ՜ ͳ ՜ ͲͲ ՜ ͳͳ «Ǥǡaaaaǡ©« ͳͳͳͳǡæccǤ« ©æaaaaccǤ PRIMER 3.3 «Ǥ Ǥ ܽ ՜ ͳܾ ՜ ͲͲܿ ՜ ͳͲ ā «Ǥ Ǥ ͳͲͲͲͲ abbǡͳͲͲͲcbǤ¯««Ǥ ȋǤPrefix – Free CodeȌǤ
ݖā݊ሺ݊ ͳሻ ᇱ ݊ ᇱ ݖǤǤܾܾܾܾܾܽܽܽܽܿǤ DEFINICIJA 3.3Ǥ ā« «Ǥ PRIMER 3.4Ǥ ܽǡܾܿǤ ǡ ܽ ՜ ͳܾ ՜ ͳͲܿ ՜ ͳͳ ǣ ܽ ՜ ͳܾ ՜ ͲͲܿ ՜ ͳͲ ǡ©ͳaǡͳͲǡ «cǤ
75
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Odakle potie naš interes za prefiksnim kodovima? āǡ͵Ǥͳ͵ǤʹǤ OSOBINA 3.1 « Ǥ ā «ǡæ͵Ǥ͵Ǥ DEFINICIJA 3.4Ǥ « «ā«Ǥ OSOBINA 3.2 Ǥ « « © Ǥ æ Ǥ ¯ȋ͵ǤʹȌǤ
͵Ǥʹ
76
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵ǤͳǤͳǤ NǦ ««nǦǤ ȋ͵Ǥ͵ȌǤ
͵Ǥ͵
DEFINICIJA 3.5 N-Ǥ N-æ«݊ǡ ݊«Ǧ Ǥ n- n- Ǥ PRIMER 3.5NǦǤ
͵ǤͶȋαʹȌǡȋα͵Ȍǡ
77
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
,ଵ «ଶ ǡଶ ā«ଵ Ǥ OSOBINA 3.3 n- ݀ Ͳǡ « ߜሺͲ ߜ ݀ሻ «ୢିஔ Ǥ DEFINICIJA 3.6 n- « « ǡ« «Ǥ « ā Ǥ PRIMER 3.6Ǥ
͵Ǥͷ
ǣ « ͳ acǡ ʹ «cǡȋ͵ǤͷȌǤ DEFINICIJA 3.7N-Ǥ «݊n-Ǥ OSOBINA 3.4 n- n- « Ǥ ǡæǤ 78
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
«¯ Ǥ ǡǤ PRIMER 3.7 ͵ǤͶ ܽ ՜ Ͳܾ ՜ ͳͲܿ ՜ ͳͳ
͵Ǥ
ǡ«ǡ « Ǥ © ǡ «Ǥ æ©Ǥ ǡ ሼͲǡͳͲͳሽ æ©Ǥ
79
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵Ǥæ©
ͳͳͳͲͲ«Ǥ DEFINICIJA 3.8Ǥ æ© © n- ǡ Ǥ ͵ǤͳǤʹǤ Ǥ Ǥ TEOREMA 3.1Ǥ Ǧܰ««ā ሼଵ ǡ ଶ ǡ ǥ ǡ ሽǡāǣ ே
ିܦ ͳ ାଵ
ǡ ā « ǡ «āǤȋ͵ǤͳȌāǡ Ǥ PRIMER 3.8 80
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ȋ ܦൌ ʹȌ͵ǤͶሼͲǡͳͲǡͳͳሽāǣ
ି୪ ൌ ʹିଵ ʹିଶ ʹିଶ ൌ ୧ୀଵ
ͳ ͳ ͳ ൌ ͳ ʹ Ͷ Ͷ
ā« ā«ͳǡʹǡʹǡͶǡæāǣ ͵ିଵ ͵ିଶ ͵ିଶ ͵ିସ
Ͷͺ ؆ ͲǤͷ ൏ ͳ ͺͳ
Ǥ «æ ā « Ǥ āǤ ǡ͵ǤͶȓͳǡͲͲǡͳͲȔǣ ିܦ ൌ ʹିଵ ʹିଶ ʹିଶ ൌ ͳ ͵Ǥͳ ā ā «ǡ ͵ǤͶǡǤȓͲǡͳͲǡͳͳȔǤ PRIMER 3.9 Da li postoji binarni prefiksni kod sa dužinama kodnih rei ݈ଵ ൌ ʹ, ݈ଶ ൌ ʹ, ݈ଷ ൌ ʹ, ݈ସ ൌ ͵݈݅ହ ൌ Ͷ? ǡæǣ ହ
ʹି ൌ ୀଵ
ͳ ͳ ͳ ͳ ͳ ͳͷ ൌ ൏ ͳǤ Ͷ Ͷ Ͷ ͺ ͳ
ȋ͵ǤͺȌǤ
81
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵Ǥͺ
ࢁ ࢆ
࢛ ͲͲ
࢛ Ͳͳ
࢛ ͳͲ
࢛ ͳͳͲ
࢛ ͳͳͳͲ
PRIMER 3.10 Da li binarni prefiksni kod sa dužinama kodnih rei 1,2,2,3,4 postoji? ǡ©āǣ ହ
ʹି ൌ ୀଵ
82
ͳ ͳ ͳ ͳ ͳ ͳͻ ൌ ͳǤ ʹ Ͷ Ͷ ͺ ͳ ͳ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵ǤʹǤ ā Ǥ æ ǡ ǡ ā «āǤ DEFINICIJA 3.9«āǤ ǡ « ୧ ©୧ ǡሺͲ ሻ ୧ ā«Ǥ«āǡ«ā «ǣ ே
ܧሾܮሿ ൌ ݈ ୀଵ
æ ¯ܧሾܮሿæ©Ǥ ©«Ǥ Kako odrediti dužine kodnih rei? Koja je najmanja teorijska vrednost za ܧሾܮሿ? ͵ǤʹǤͳǤ Ǧ n- « ǡǤ © ¯ ©ǡ © «ǡǡ«¯©Ǥæ© ©ͲǤ « © ©ǡ ā « ©æ«ǡǡ© © « © Ǧ «Ǥ n-Ǥ
83
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
DEFINICIJA 3.10n-Ǥ n- n- « « ©©«ǣ ͳǤ ©ͳǡ ʹǤ © «ǡ «© ǡ © Ǧ«Ǥ PRIMER 3.11 ͵Ǥͻǡ © « ଵ ൌ ଶ ൌ ͲǤͳǡ ଶ ൌ ସ ൌ ͲǤʹǡଷ ൌ ͲǤͶǤ ǣ
͵Ǥͻæ͵Ǥͳͳ
n- © ͳǤ LEMA 3.1āǤ
84
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
n-ǡ«ȋ«Ȍ © æ « ȋ« «ȌǤ PRIMER 3.12ā͵ǤͳͳǤ ǡ « ͳ ͲǤ͵ ͲǤ ͲǤ͵ ͲǤͳ ൌ ʹǤͶǤ ǡ « ā « ʹ ͲǤͳ ʹ ͲǤʹ ʹ ͲǤͶ ͵ ͲǤʹ Ͷ ͲǤͳ ൌ ʹǤͶǤ DEFINICIJA 3.11n-Ǥ ܰ n- ଵ ǡ ଶ ǡ ǥ ǡ ©Ǥ © ǣ ܪൌ
OSOBINA 3.5 n- ǡāǣ ܪൌ ܪሺܷሻ DOKAZ OSOBINE 3.4 ܼ ܷǤ ©୧ © Ǧ «ǡ ܪൌ ሺሻǤ © ǡ ܼ ൌ ݂ሺܷሻǡܪሺܼሻ ൌ ܪሺܷሻǤ ܪൌ ܪሺܷሻǤ DEFINICIJA 3.12Ǥ ܯæ«Ǧଵ ǡ ଶ ǡ ǥ ©Ǥ ݍଵ ǡ ݍଶǡǥǡ ݍ ǡ © ୧ «Ǧ ȋ«©Ȍæ««©୧ Ǥ ୧ «ǣ 85
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ୀଵ
ୀଵ
ݍ ݍ ܪ ൌ ǡܲ ൌ ݍ Ǥ ܲ ܲ PRIMER 3.13 ܯൌ ͷ«͵Ǥͻ ଵ ൌ ͳǡଶ ൌ ͲǤ͵ǡଷ ൌ ͲǤǡସ ൌ ͲǤ͵ǡହ ൌ ͲǤͳǤǣ ହ
ܪൌ െ ؆ ʹǤͳʹʹܾ݅ݐǤ ୀଵ
݊ଵ ൌ ʹǡݍଵଵ ൌ ͲǤ͵ǡݍଵଶ ൌ ͲǤǡ ܪଵ ൌ െͲǤ͵ ͲǤ͵ െ ͲǤ ͲǤ ؆ ͲǤͺͺͳܾ݅ݐǤ ݊ଶ ൌ ʹǡݍଶଵ ൌ ͲǤͳǡݍଶଶ ൌ ͲǤʹǡ ܪଵ ൌ െͲǤ͵ ͲǤ͵ െ ͲǤ ͲǤ ؆ ͲǤͻͳͺܾ݅ݐǤ ܪଷ ؆ ͲǤͻͺͷܾ݅ݐǡ ܪସ ؆ ͲǤͻͳͺܾ݅ݐǡ ܪହ ൌ ͲǤ TEOREMA 3.2Ǥ n- æ « «© ǡ « ā©ǡǤǣ ெ
ܪൌ ܲ ܪ ୀଵ
PRIMER 3.14 ͵Ǥͳ͵ǡ͵Ǥʹāǣ ܪൌ ͳ ȉ ܪଵ ͲǤ͵ ȉ ܪଶ ͲǤ ȉ ܪଷ ͲǤ͵ ȉ ܪସ ͲǤͳ ȉ ܪହ ؆ ͲǤͺͺͳ ͲǤ͵ ȉ ͲǤͻͳͺ ͲǤ ȉ ͲǤͻͺͷ ͲǤ͵ ȉ ͲǤͻͳͺ Ͳ ؆ ʹǤͳʹʹܾ݅ݐ eā«͵Ǥͳ͵Ǥ
86
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
TEOREMA 3.3 ǡ © « ā © Ǥ ©Ǥ ͵ǤʹǤʹǤ e e © æ ǡ « Ǥ TEOREMA 3.4e « ܪሺܷሻǡ «āǦܧሾܮሿǡǣ ܧሾܮሿ
ܪሺܷሻ ܦᇱ
͵ǤͶ « ā Ǥ Kakva je ta granica? Da li ima i drugih granica (npr 1)?
ā © Ǥ ǡ « « ā « «ā Ǥ ©ǡæ « ā « «Ǥ ݀ā୧ «୧ āǣ ݈ ൌ െ
൨ǡ ܦ 87
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ሾ ݔሿ« ǣ ݔ ሾ ݔሿ ݔ ͳǤ eǦ ǡ©e ͳͻͶͺǡ Ǥ •
Da li ovakav kod uvek postoji?
Ǥ ǣ ݈ െ
ǡ ܦ
ǣ ୪୭
ିܦ ܦ୪୭ ൌ ܦ୪୭ವ ൌ ൌ ͳǤ
©ā«āǤ āǣ ݈ ൏ െ
ͳǤ ܦ
ā୧ ݅ǡǣ ݈ ൏
െ σ ǡ ܦ
ܧሾܮሿ ൏
ܪሺܷሻ ͳǤ ܦ
««eǦ æ ͵ǤͶǤ « «æ© Ǥ¯ ©©Ǥ TEOREMA 3.5eǡ 88
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ « ܪሺܷሻǡ Ǧ««ā«ܧሾܮሿ ǣ ܧሾܮሿ ൏
ܪሺܷሻ ͳǤ ܦ
PRIMER 3.15 ሺ ܦൌ ʹሻeǦ ܷ « « © ͳൌ ͲǤͶǡ ʹൌ ͲǤ͵ǡ ͵ൌ ͲǤʹͶ ൌ ͲǤͳǤ «āǣ ݈ூ ൌ െ ڿଶ ͲǤͶ ۀൌ ʹǡ ݈ଶ ൌ െ ڿଶ ͲǤ͵ ۀൌ ʹǡ ݈ଷ ൌ െ ڿଶ ͲǤʹ ۀൌ ͵ǡ ݈ூ ൌ െ ڿଶ ͲǤͳ ۀൌ ͶǤ æǤ Kako se konstruiše kodno stablo ሺܶௗ ሻ ? ā«ଵ ǡଶ ǡǤǤǤǡ ൌ ୧ ͳ ୧
ሺ௧௨ ሻǤ ««æ© «Ǥ
89
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵ǤͳͲ
͵ǤͳͷǤ
͵Ǥͳͳ͵ǤͳͷǤ
āǡǣ ܴ ሾܮሿ ൌ ͳ ͲǤ ͲǤ͵ ͲǤ͵ ͲǤͳ ൌ ʹǤͶǡ «ǣ ܪሺܷሻ ൌ ͲǤͶ ͲǤͶ ͲǤ͵ ͲǤ͵ ͲǤʹ ͲǤʹ ͲǤͳ ͲǤͳ ؆ ͳǤͺܾ݅ݐǤ ǣ 90
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܧሾ ܮሿ ൏
ܪሺܷሻ ͳǤ ܦ
ʹǤͶ ൏ ͳǤͺ ͳ ൌ ʹǤͺǤ ¯ǤͶ« āʹǡ©«āܧሾܮሿ ൌ ʹǤ ͵ǤʹǤ͵Ǥ ǡ © Ǧ ǡ © « «Ǥ ܷ ݊ ͳݑǡ ʹݑǡ Ǥ Ǥ Ǥ ǡ ݊ݑǡ © © ͳǡ ʹǡ Ǥ Ǥ Ǥ Ǥ ǡ ݊Ǥ Hafmanov kod ͳǤ «ǡ © Ǥ ǡ «ͳ െ ݊ ܦെ ͳǤȋ݊ǡ©ݎ Ȍ«݊«ǷaktivnimdzǤ ʹǤ «ǡ « Ǧ« Ǧ «ݎæ©«ȋȌǤ
͵Ǥͳʹ
91
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« Ǧ « ǷneaktivnedzǤ « « ǷaktivandzǤ « © Ǧ«Ǥ ͵Ǥ « «Ǥ « « Ǥ ǡ ݎൌ Ͳ © ʹǤ ǡ© ͷͲǦǤ PRIMER 3.16Ǥ ܷǣ ࢁ
࢛ ͲǤͲͷ
࢛ ͲǤͳ
࢛ ͲǤͳͷ
࢛ ͲǤʹ
࢛ ͲǤʹͲ
࢛ ͲǤʹ͵
ܷǣ
͵Ǥͳ͵
ࢠ ࢠ ࢠ ͲͲͲͳ ͲͲͳ
ࢠ Ͳͳ
©æ«ǣ 92
ࢠ ͳͲ
ࢠ ͳͳ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
࢜ ൌ ࢛ ْ ࢛
࢜ ൌ ࢜ ْ ࢛
Ǥ
ͲǤ͵Ͳ
࢜ ൌ ࢛ ْ ࢛
࢜ ൌ ࢜ ْ ࢛
࢜ ൌ ࢜ ْ ࢜
ͲǤͷ
ͳ
ͲǤͶ͵
ǣ ܧሾܮሿ ൌ ʹሺͲǤʹ ͲǤʹ͵ ͲǤʹሻ ͵ሺͲǤͳͷሻ ͶሺͲǤͳ ͲǤͲͷሻ ൌ ʹǤͶͷ ©āǣ ܧሾܮሿ ൌ ͳ ͲǤͷ ͲǤͶ͵ ͲǤ͵Ͳ ͲǤͳͷ ൌ ʹǤͶͷ ܷǣ
ܪሺܷሻ ൌ ൌ ʹǤͶʹܾ݅ݐǤ ୀଵ
PRIMER 3.17Ǥ ܷǡ ͵ǤͳǤ ܦൌ ͵ǡͳ െ ݊ ͳ െ ൌ ͷ ܦെ ͳ ൌ ͵ െ ͳ ൌ ʹ ݎൌ ͳǤȋെͷ ൌ െ͵ ʹ ͳȌǤ æ© Ǥ«ǣ
͵ǤͳͶ͵Ǥͳ
93
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ࢠ ࢇࢇ࢈
ࢠ ܽܽܿ
ࢠ ܾܽ
ࢠ ܿ
ࢠ ܽܿ
ࢠ ܾ
࢜ ൌ ࢛ ْ ࢛
࢜ ൌ ࢜ ْ ࢛ ْ ࢛
Ǥ
ͲǤͷͲ
࢜ ൌ ࢜ ْ ࢛ ْ ࢛ ͳ
ܧሾܮሿ ൌ ͳ ͲǤͷ ͲǤͳͷ ൌ ͳǤͷ ܪሺܷሻ ʹǤͶʹ ൌ ൌ ͳǤͷʹǤ ͵ ͳǤͷͻ ͵ǤʹǤͶǤ ā ǡ « « « ā « «ā«Ǥ ā « Ǥ ǡ Ǥ «ǡ ¯ Ǥ æ Ǥ ©Ǥ ©©σ୬୧ୀଵ ୧ ୧ © ǡ ୧ « ā«୧ ©୧ Ǥ LEMA 3.2 ݊©ǡāǣ ୧ ୨ ฺ ୧ ୨ ǡ ǡ ൌ ͳǡʹǡ ǥ Ǥ LEMA 3.3
94
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǧͳ ݇ሺ ܦെ ͳሻǡ݇æ«ǡ «©Ǥ LEMA 3.4 ܷǡǦ ܷǡ æ ܦെ ʹæ© Ǥ e æǡ Ǧ ܷǡ æ© ǡ «Ǥ LEMA 3.5 æ©Ǧ ܷ݊ ݊ െ ͳ ܦെ ͳǤ LEMA 3.6 Ǧܷ ሺ݊ ʹሻ Ǧ«ǡ ͳݎെ ݊ ܦെ ͳȋ ܦെ ݎ ʹȌǤ TEOREMA 3.6 ǡ æ « ܼ ܷ ǡ ܺ « ǡ ሾଡ଼ ሿ ሾ ሿǤ
95
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵Ǥ͵Ǥ VEŽBA 6. Ȃǡǣ ¯ « āǤ ā ©© Ǥ ©©©ǡ ©āǤ ܵ æ © ©ǣ ൌ ሼͲǤͶͻǡ ͲǤʹǡ ͲǤͳʹǡ ͲǤͲͶǡ ͲǤͲͶǡ ͲǤͲ͵ǡ ͲǤͲʹሽǤ ©ǡ ܪൌ ʹሺሻǡ «͵ǣ ܪൌ ʹǤͺͲͶܾ݅ܽݒݐ ©ǣ ୗ ൌ ʹǤͲͳʹͺܾ݅ܽݒݐ « ǣ ୗ ൌ ͳǤͲ͵ ͳǤͻͶ ͵ǤͲ ͶǤͶ ͶǤͶ ͷǤͲ ͷǤ͵ ൌ ʹǤͲܾ݅ܽݒݐ Ǥ «Ǥ
96
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æǦǤ ©ǣ εεαȏͲǤͶͻǡͲǤʹǡͲǤͳʹǡͲǤͲͶǡͲǤͲͶǡͲǤͲ͵ǡͲǤͲʹȐǢ ǣ εεα ȋ ȋ̵ͳ̵ǡ̵ʹ̵ǡ̵͵̵ǡ̵Ͷ̵ǡ̵ͷ̵ǡ̵̵ǡ̵̵ȌȌǢ
«ǣ εεȏ ǡȐα ȋǡȌǢ
͵Ǥͳͷ«
97
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ȋ ͵ǤͳͷȌǡ «ǡ Ǧ huffmandict(). ܯൌ ሼͳǡ ʹǡ ͵ǡ Ͷǡ ͷǡ ǡ ሽǡ« Ǥ «ǣ ǣ ͳͳ͵ͳͳ͵ͳͷͷͳͷͳ͵ͳ ǣ εεα ȋ ȋ̵̵ǡ̵̵ǡ̵̵ǡ̵ͳ̵ǡ̵̵ǡ̵̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵ͳ̵ǡ̵̵ǡ̵̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵ͳ̵ǡ̵ͷ̵ǡ̵ͷ̵ǡ̵ͳ̵ǡ̵̵ǡ̵ͷ̵ǡ̵̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵̵ǡ̵ͳ̵ ȌȌǢ εε̴α ȋǡ ȌǢ ǣ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ͳ Ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ Ͳ ͳ Ͳ ͳ ͳ ǣ εεȋ̴Ȍ αͲǤͻͻͻ ǣ εε̴α ȋ̴ǡ ȌǢ ǣ εε̴ ̵̵̵̵̵̵̵ͳ̵̵̵̵̵̵ͳ̵̵͵̵̵ͳ̵̵̵̵̵̵ͳ̵̵͵̵̵ͳ̵̵ͷ̵̵ͷ̵̵ͳ̵̵̵̵ͷ̵̵̵̵ͳ̵̵͵̵̵̵̵ͳ̵
98
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
4. KANALI ZA PRENOS INFORMACIJA ǣ ͳǤ ǡ«æǤ ʹǤ ͵Ǥ «æǣ Ǥ ͶǤ ææǤ
99
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͶǤͳǤ æ« æǤ æ« ¯ āǡæ ā ǡ æ« ©Ǥ «ǡ© ǡ æ ǡ Ǥ æ © «ǣ ͳǤ æ æ © Ǥ ʹǤ æ© æǤ ͵Ǥ ©©æā« ā æǤ æǡ æ ā æ Ǥ
ͶǤͳ 100
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ © ǡ æ ā ȋͶǤͳȌǤ ǤǤ « Ǥ ଵ ǡ ଶ ǡ ǥ ȋ Ȍ ¯ Ǥ ଵ ǡ ଶ ǡ Ǥ Ǥ ȋ Ȍ ¯ © Ǥ « ¯ © « ǡ æǡ ሺଵ ǡ ଶ ǡ ǥ ǡ ୬ ȁଵ ǡ ଶ ǡ ǥ ǡ ୬ ሻǤ DEFINICIJA 4.1 ȋ Ȃ Discrete Memoryless ChannelȌ Ǥ ¯«Ǥȯଡ଼ ǡ« Ǥ ȯଢ଼ ǡ « © Ǥ אȯଡ଼ ǡ©ሺȁሻȯଢ଼ ǡ ݊ ൌ ͳǡʹǡ͵ǡ Ǥ Ǥ ǤǤ ሺ୬ ȁଵ ǡ ଶ ǡ ǥ ǡ ୬ ǡ ଵ ǡ ଶ ǡ ǥ ǡ ୬ିଵ ሻ ൌ ሺ୬ ȁ୬ ሻ ©Ǥ ͶǤͳǤ« « Ǥ æ © Ǧ æ© æ݊ െ ͳǤ ǡ æ © ሺ୬ ȁ୬ ሻ݊Ǥ ȯଡ଼ ȯଢ଼ «ǡāǣ ͳǤ «ߓ ǡ ʹǤ «ߓ ǡ 101
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
͵Ǥ «ݔ ݅ݕ «© ሺݕ ȁݔ ሻǡ«©Ͳ ©Ǥ PRIMER 4.1«ȋȂBinary Symmetric ChannelȌǤ « ȋȌ ȯଡ଼ ൌ ȯଢ଼ ൌ ሼͲǡͳሽ ǡ ܻȁܺୀ ሺͳሻ ൌ ܻȁܺୀଵ ሺͲሻ ൌ ܻȁܺୀ ሺͳሻ ൌ ܻȁܺୀଵ ሺͲሻ © æ ȋǤ error rateȌ ǡ © ൌ ܻȁܺୀ ሺͳሻ ൌ ܻȁܺୀଵ ሺͲሻǤ ©Ǥ
ͶǤʹ«ȋȌ
PRIMER 4.2æǤ ā ǣ ͲͲͲǡ ͲͲͳǡ ͲͳͲǡ Ͳͳͳǡ ͳͲͲǡ ͳͲͳǡͳͳͲǡͳͳͳǤǡæǡ ͳͲǦ ȋͲ ͳ ͳ ͲȌǤ ൌ ͲǤͳǤ Kolika je verovatnoa da prenesemo jednu poruku korektno? æ©ǣ ሺͳ െ ሻଷ ൌ ͲǤͻଷ ൌ ͲǤͳͻ 102
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
e © æǤ ©©æͳǦͲǤͳͻαͲǤʹͺͳǡ«Ǥ ȋȌǤ Poruka Kod
000
001
010
011
100
ͲͲͲͲͲͲ ͲͲͲͲͳͳ ͲͲͳͳͲͲ ͲͲͳͳͳͳ ͳͳͲͲͲͲ
…
111
ǥ
ͳͳͳͳͳͳ
© « ሺͳ െ ሻ ൌ ͲǤͷ͵ͳǤ © æͲǤͶͻǡ æ © «Ǥ ¯ǡ æ æǡ © æāǤ ǤǡǤͲͲͲͲͲͲ ͳͳͲͲͲͲǤ æ « ʹǡ Ͷ æā«Ǥ ©ǣ ͵ ൬ ൰ ଶ ሺͳ െ ሻସ ൌ ͵ଶ ሺͳ െ ሻସ Ǥ ͳ © Ͷ ͵ସ ሺͳ െ ሻଶ ǡ « © Ǥ © æ ā ǣ ͵ଶ ሺͳ െ ሻସ ͵ସ ሺͳ െ ሻଶ ൌ ͲǤͲʹͲǤ ©«Ǥ«© āææǤ ā© ǡǣ ܺ ȁݔଵ ǡ ǥ ǡ ݔିଵ ǡ ݕଵ ǡ ǥ ǡ ݕିଵ ൌ ܺ ȁݔଵ ǡ ǥ ǡ ݔିଵ TEOREMA 4.1 āǣ 103
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܪሺܻଵ ǥ ܻ ȁܺଵ ǥ ܺ ሻ ൌ ܪሺܻ ȁܺ ሻ ୀଵ
ͶǤͳǤͳǤ Ǥ «« āǤ DEFINICIJA 4.2 Ǥ ܥǣ ܥൌ ܫሺܺǢ ܻሻǡ ܺǡ©ଡ଼ ሺሻǡܻǤ PRIMER 4.3 Ǥ ǣ ܥൌ ൫ܪሺܻሻ െ ܪሺܻȁܺሻ൯Ǥ
©ǣ ܲሺܻ ് ܺሻ ൌ ܲሺܻ ൌ ܺሻ ൌ ͳ െ ǡ ǣ ܪሺܻȁܺሻ ൌ െ ሺሻ െ ሺͳ െ ሻ ሺͳ െ ሻ ൌǣ ݄෨ǡ ሺݔሻǡ«ǣ ܥൌ ൫ܪሺܻሻ൯ െ ݄෨ሺሻǤ
ܻ«ǡāሺሻ ʹǡሺሻ ͳǤ Da li se ova granica može dostii za neku raspodelu ሺݔሻǫ ǡܺǤ 104
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǣ ሺͲሻ ൌ ȉ ሺͳሻ ሺͳ െ ሻ ȉ ሺͲሻ ൌ ͲǤͷ ͲǤͷሺͳ െ ሻ ൌ ͲǤͷ e « ܻ¯ ǡ ܪሺܻሻ ൌ ͳǤ ܪሺܻሻ ൌ ͳǡǡ« ܥൌ ͳ െ ݄෨ሺሻȋȌǤ ͶǤͳǤʹǤ , DEFINICIJA 4.3 «©æ ǡሼȁ௫ ሺݕሻǣ ߥ א ሽݔ PRIMER 4.4 «Ǥ
ͶǤ͵««Ǥ
ͶǤͶ««Ǥ
«Ǥ 105
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
LEMA 4.1 «ǡܪሺܺȁܻሻଡ଼ ሺሻǡ ܪሺܻȁܺሻ ൌ ܪሺܻȁݔ ሻ ݔ ߥ א Ǥ ā © ā « ǡ ā ¯Ǥ OSOBINA 4.1 «ǡāǣ ܥൌ ሾܪሺܻሻሿ െ ܪǡ ೣ
ܪ ൌ ܪሺܻȁܺ ൌ ݔ ሻݔ ߥ א Ǥ ͶǤͳǤ͵Ǥ , ««©æ ȋ ȌǤ © © ȋ ȌǤ DEFINICIJA 4.3a«Ǥ «ሼȁ௫ ሺݕ ሻǣ ߥ א ݔ ሽ୧ Ǥ PRIMER 4.5 ͶǤͳ«Ǥ LEMA 4.2
106
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« ǡ © ሺଡ଼ ሺݔ ሻ୧ ሻ© ሺଢ଼ ሺݕ ሻ୧ ሻǤ OSOBINA 4.2 «āǣ ܪሺܻሻ ൌ ȁߥ ȁ Ǥ
DEFINICIJA 4.4«Ǥ « « « Ǥ TEOREMA 4.2 «ǣ ܥൌ ȁߥ ȁ െ ܪ ǡ ܪ ൌ ܪሺܻȁܺ ൌ ݔ ሻݔ ߥ א Ǥ PRIMER 4.6 ͶǤͳ«ǣ ܪ ൌ ݄෨ሺሻ ൌ െ െ ሺͳ െ ሻ ሺͳ െ ሻǤ ǣ ܥௌ ൌ ʹ െ ݄෨ሺሻ ൌ ͳ െ ݄෨ሺሻሺሻǤ ͶǤͳǤͶǤ DEFINICIJA 4.5 ȋ Ȍ ܷȁȯ ȁ ǡ««āǣ
107
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܴ ൌ
ȁߥ ȁ Ǥ ݊
ȁȯ ȁ © « « Ǥܾ« Ǥ PRIMER 4.7 ͶǤʹ ȋ ͺ « ā « Ȍǡ ǣ ܴൌ
ͺ ͵ ͳ ൌ ൌ Ǥ ʹ
ǡ©æ æǤ
108
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͶǤʹǤ e « Ƿ æDz ȋǤ Noisy Coding TheoremȌǡ ¯ © Ǥ ©ǣ Koja je maksimalna brzina pouzdanog prenosa po kanalu sa šumom uz upotrebu kodova za ispravljanje grešaka? Koja je maksimalna koliina grešaka koja se ini kada se informacije prenose brzinom veom od maksimalne?
ͶǤʹǤͳǤ © æǤ ā ā © Ǥ ܴ ݊ ൌ ʹ݇ ͳǡ݇ ͲǤ ܴଵ ͶǤʹǤ © ǡ©© Ǥ ©æ© ݇ ͳæǤ Ǥ æ ሺ݊ǡ ሻǤ «æ ൏ ͲǤͷǡ«æ ݇ ͲǤͷǡ æ « © ݇ ͳæ «ā݇ȋ݊Ȍā«Ǥ «©æāǡ© ȋā«Ȍ
109
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡæ Ǥ ¯ǡ ଵ
©Ǥ ǡā݊ ୬
©Ǥ݊ǡǤ ͶǤʹǤʹǤ e TEOREMA 4.3 « ܴ ܴܥ ܥǡ©æୠ ǣ ܥ ܲ ݄෨ିଵ ൬ͳ െ ൰ ܴ ǣ ݄෨ିଵ ሺݔሻ ൌ ሼǣ െ ሺሻ െ ሺͳ െ ሻ ሺͳ െ ሻ ൌ ݔሽǤ ෨ିଵ « ǡ « Ǥ
ͶǤͷ
ā āܴ ܥǡ © æୠ ǡ ā©Ǥ 110
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER 4.9 ǡ ܥൌ ͲǤʹͷǤ æܴ ൌ ͲǤͷǡ ȋܲ Ȍ©æ æͳͳΨǡ©ǣ ͳ ܲ ݄෨ିଵ ൬ͳ െ ൰ ൌ ǤͳͳǤ ʹ « © ͳͳΨ æ æǤ Kako stoji stvar sa DMC sa povratnom spregom? « ǡ āǤ « ā ā © Ǥ¯ǡ««Ǥæ ܴ ൏ ܥǡ ©āæǤ TEOREMA 4.4æǤ ܴ ǡ « ܥǤܴ ൏ ܥɂ Ͳǡ æ ܴæୠ ൏ ߝǤ æ©ā©« ǡ ā © ā æ ǡ Ǥ ©æǡ« ܥൌ ͳ െ ݄ ሺሻǤ Da li za zadate , ܥi ܴ, date u tabeli postoje kodovi koji ispunjavaju ove zahteve? ܥ Kod ܴ ܲ ሺΨሻ Da li postoji?
Kanal
ͳ
ʹȀ͵ ʹǤʹ
ͲǤͺͲͳ ͵ȀͶ ͳ ʹǤʹ
ͳ
ͻȀͳͲ ʹǤʹ
ͳ
ʹȀ͵ ʹǤʹ
Ψ ͲǤͷ ͵ȀͶ ͻȀͳͲ ͳ ʹǤʹ ͳ ʹǤʹ 111
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͶǤ
æǣ ൏ « ܥæ ୠ āǤ େ ܴ ܥǡæā ሺୠ ሻ ൏ ͳ െ Ǥ ୖ
େ ܴ ܥǡ ሺୠ ሻ ͳ െ ǡāæ«ǡæ ୖ
©ȋ ͶǤ͵Ȍ æ«āǤ ǡæ¯Ǥ ܥ Kod ܴ ܲ ሺ Ψሻ ࡾ ൏ ܥǫ െ Ȁࡾ ෩ ሺࡼ࢈ ሻ ࢎ Postoji!
Kanal
112
ʹȀ͵ ʹǤʹ da da da ͳ
Ψ ͲǤͺͲͳ ͵ȀͶ ͳ ʹǤʹ da da da
ͻȀͳͲ ʹǤʹ ne ͲǤͳͲͻ ͲǤͲͺͳ ͲǤͳͷ͵ ne možda ͳ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܥ Kod ܴ ܲ ሺ Ψሻ ࡾ ൏ ܥǫ െ Ȁࡾ ෩ ሺࡼ࢈ ሻ ࢎ Postoji!
Kanal
ʹȀ͵ ͳ ʹǤʹ da da da
ͳͲΨ ͲǤͷ ͵ȀͶ ͻȀͳͲ ͳ ʹǤʹ ͳ ʹǤʹ ne ne ͲǤͳͲͲ ͲǤʹͷͲ ͲǤͲͺͳ ͲǤͳͷ͵ ͲǤͲͺͳ ͲǤͳͷ͵ ne možda ne ne
ͶǤͶǤ ¯ e ȋC. E. Shannonǣ A mathematical theory of communicationǤ Bell System Technical Journalǡ Ǥ ʹǡ Ǥ ͵ͻȂͶʹ͵andʹ͵ȂͷǡJuly and OctoberǡͳͻͶͺȌǡͳͻͶͺǤǤ ǡ©ȀæǤ e æ © ǡ © ā ǡ ȀæǤ « Ǥ Ǥ ǡ æ ā ā « ԪǤ « ȋǤ Coding TheoryȌǡ « æ ǡ æ ©ææǤ
113
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
5. ZAŠTITNI KODOVI – KODOVI ZA ISPRAVLJANJE GREŠAKA ©ǣ Šta su blok kodovi? Kako se meri rastojanje izmeu kodnih rei? Šta je težina kodne rei? Šta je minimalno rastojanje i minimalna težina jednog koda? Kako se odnose ove veliine prema broju grešaka koje kodovi mogu da detektuju ili isprave?
114
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͳǤ e «୧ æ ොǡ©æ ൌ ො Ǧ୧ Ǥ « «æā© æ Ǥ PRIMER 5.1 Ǥ Ǥāǣ ͳͳͲͳͳ െ ͲͳͳͲͳ ൌ ͳͲͳͳͲ « © ͷǤͳ ʹǡ © ܨܩሺʹሻǤ « ā݊ « ሺʹሻ୬ Ǥ æ Ǧ æ© Ǥ DEFINICIJA 5.1Ǥ Ǧ ā݊ Ǧ
ሺሻ୬ Ǥ «Ǧ«ā݊ Ǥ PRIMER 5.2Ǥ ሼͳͳͲͳǡ ͲͳͳͲǡ ͳͳͳͲሽǤ Ͳǡͳǡʹǡͳ ʹ ൌ Ͳǡ ͳ ͳ ൌ ʹǡͳ Ͳ ൌ ͳǡʹ ʹ ൌ ͳǡʹ Ͳ ൌ ʹȋ ܨܩሺ͵ሻȌǡ « «ሼͳʹͲǡ ʹͲͳǡ ʹʹʹǡ ͲͳͲሽǤሼͲͳͳǡ ͳͳͲǡ ͳͲሽǡ©« āǤ
115
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͳǤͳǤ ~ , DEFINICIJA 5.2Ǥ ሺ୧ ǡ ୨ ሻǡ «୧ ୨ āǡ ā݊ǡȋ Ȍ«Ǥ PRIMER 5.3Ǥ ¯ͳͲͳͲͳͲͳͳͳͲͳͲͳǡ æ « ʹǤ Ǥ ¯ͳͲͳͲͲͳͲͳͶǡæ« Ǥ ¯ ͳͲͳͲ ͳͳͳͲͳͲ ǡ © « «āǤ « ȋ « Ȃ ǡ Ȍ DEFINICIJA 5.3ā«Ǥ ā««Ǥ PRIMER 5.4ā« ā «ͳͲͳͳͲ ͵ǡ ā «ͲͲͲͲͲͲͲͲ ͲǤ ā « ͲͲͲͳͲͲͲͳǤ OSOBINA 5.1 «āǡ ൫୧ ǡ ୨ ൯ ൌ ሺ୧ െ ୨ ሻǡ ݀ሺሻ«ǡݓሺሻā«Ǥ PRIMER 5.5 116
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
āǣ ݀ሺͳͲͳͳͲǡͳͳͲͳͲሻ ൌ ʹ ݓሺͳͲͳͳͲ െ ͳͳͲͳͲሻ ൌ ݓሺͲͳͳͲͲሻ ൌ ʹǤ OSOBINA 5.2 ā«Ǥ DEFINICIJA 5.4 ««Ǥ«ͲǤ OSOBINA 5.3 ā«ǡ««Ǥ OSOBINA 5.4 ā « ǡ ሺ୧ ሻ ൌ ሺെ୧ ሻ ǡ െ୧ «Ǥ PRIMER 5.6āǤ Ͳǡͳǡʹܨܩሺ͵ሻǤ ݓሺെͳʹͲʹͳͲʹሻ ൌ ݓሺʹͳͲͳʹͲͳሻ ൌ ͷ ൌ ݓሺͳʹͲʹͳͲʹሻǤ «െ୧ ൌ୧ ሺെͳ ൌ ͳǡ െͲ ൌ ͲሻǤ OSOBINA 5.5 «୧ ୨ āǣ ሺ୧ ሻ ݓሺݖ ሻ ሺ୧ ୨ ሻǤ PRIMER 5.7 « ݓሺͳͳͲͳͲͳሻ ݓሺͲͳͲͳͲͳሻ ൌ Ͷ ͵ ൌ ͳ ൌ ݓሺͳͲͲͲͲͲሻ ൌ ݓሺͳͳͲͳͲͳ ͲͳͲͳͲͳሻǤ
117
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ͳǡͳǡʹǣ ݓሺͲͳʹʹͳͲʹͳሻ ݓሺʹͳͲͲʹͲͳͲሻ ൌ Ͷ ൌ ͳͲ ͷ ൌ ݓሺͲͳʹʹͳͲʹͳ ʹͳͲͲʹͲͳͲሻǤ Zašto su Hemingova rastojanja i težine rei važna za algebarske kodove za ispravljanje grešaka?
æ ൌ ොǦ୧ ǡ ୧ ො «Ǥæā«݁ǡ ݓሺݖƸ െ ݖ ሻǤ ݀ሺݖƸ ǡ ݖ ሻ¯«Ǥ æ āǡ æ « ݁ǡ ୧ ǡ ©ොǤ ͷǤͳǤʹǤ Na koji nain se dekoduju blok kodovi? æ ǡ ݓሺ݁ሻǤ ā ā « ǡ ݀ሺݖƸ ǡ ݖ ሻǤ ǡ © « ͲͲͲ ͳͳͳǡ « ͲͳͲǡ ǡ « ͲͲͲǡ ݀ሺͲͲͲǡͲͳͲሻ ൌ ͳǡ݀ሺͳͳͳǡͲͳͲሻ ൌ ʹǡͲͳͲā«Ǥ DEFINICIJA 5.5Ǥ ā ܦ ܥ «ොā«ǡǤ ሺො ሻ ൌ אେ ሺǡ ොሻǤ
118
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ Ǥ«ොǡ« © ݖሺ ൌ ȁ ൌ ො ሻǡ ܺǡ ܻ Ǥ © ā « © «ሺ ൌ ୧ ሻǤ « ǡ « ©ȋǤȌǤ āǣ ܲሺܻ ൌ ݖƸ ȁܺ ൌ ݖሻܲሺܺ ൌ ݖሻ ܲሺܻ ൌ ݖƸ ሻ ௭א ൌ ܽܲ ݔሺܻ ൌ ݖƸ ȁ ൌ ሻሺ ൌ ሻ ൌ ܽܲ ݔሺܻ ൌ ݖƸ ȁ ൌ ሻ
ܽ ݔሺ ൌ ȁܻ ൌ ݖƸ ሻ ൌ ܽݔ ௭א
௭א
௭א
,ሺ ൌ ොȁ ൌ ሻ æ « « ሺ ൌ ȁ ൌ ොሻǤ « « ©Ǥ © æǡ « ǣ ሺ ൌ ȁ ൌ ොሻ ൌ ୢሺǡොሻ ሺͳ െ ሻ୬ିୢሺǡොሻ ǡ © ሺǡ ො ሻ æ ݊ െ ሺǡ ොሻ « Ǥ«ሺ ൌ ොȁ ൌ ሻ ݀ሺොǡ ݖ ȌǤ «Ǥ ͷǤͳǤ͵Ǥ e Da li postoji nain da se unapred za zadati kod može rei koliko grešaka može detektovati, a koliko ispraviti?
119
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ā ǣ Ǥ DEFINICIJA 5.6Ǥ ൌ ሼଵ ǡ ଶ ǡ ǥ ǡ ሽ ୫୧୬ ሺሻ¯««ǣ ୫୧୬ ሺሻ ൌ ୧ஷ୨ ሺ୧ ǡ ୨ ሻǤ æ «æǤ TEOREMA 5.1 æǤ ā݊ǡā ݏݐǡ Ͳ ǡ Ͳ െ ǡ æݐææ ͳǡ ǥ ǡ æǡ© ʹ Ǥ OSOBINA 5.6 æǤ ܥǡ ā æ ୫୧୬ ሺሻ െ ͳæǤ DOKAZ ͷǤͳ ൌ Ͳǡ ൌ ୫୧୬ ሺሻ െ ͳǤ OSOBINA 5.7 æǤ ܥ ǡ ā æ ሺ୫୧୬ ሺሻ െ ͳሻȀʹæā æͳ ሺ୫୧୬ ሺሻ െ ͳሻȀʹæǤ
120
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹ Ǥ ȋ ہȀʹۂǡ ȌǤ DOKAZ ͷǤͳ ൌ ሺ୫୧୬ ሺሻ െ ͳሻȀʹǡαͲǤ «ሺ୫୧୬ ሺሻ െ ͳሻȀʹݐā Ǥ PRIMER 5.8 ͺā©ǣ ͳǤ ʹǤ ͵Ǥ ͶǤ
͵æͶæሺ ݐൌ ͵ǡ ݏൌ ͳሻ ʹæ͵ͷæሺ ݐൌ ʹǡ ݏൌ ͵ሻ ͳæʹæሺ ݐൌ ͳǡ ݏൌ ͷሻ æሺ ݐൌ Ͳǡ ݏൌ ሻ
ā©ǣ ͳǤ ʹǤ ͵Ǥ ͶǤ
͵æͶæሺ ݐൌ ͵ǡ ݏൌ Ͳሻ ʹæ͵Ͷæሺ ݐൌ ʹǡ ݏൌ ʹሻ ͳæʹͷæሺ ݐൌ ͳǡ ݏൌ Ͷሻ æሺ ݐൌ Ͳǡ ݏൌ ሻ
PRIMER 5.9 ͳæǡ ͵Ǥ
121
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤʹǤ « Ǥ «©ǣ Šta su ሺ݊ǡ ݉ሻ D-arni linearni kodovi? āǤ Kako se vrši kodovanje pomou generator matrica? Šta je sistematska forma generator matrica ovih kodova? Kako se vrši dekodovanje na osnovu verifikacionih matrica i sindrom tabela? Kako se izraunava minimalno rastojanje linearnih kodova? Šta su binarni Hemingovi kodovi i kako se koriste? DEFINICIJA 5.7Ǥ ሺ݊ǡ ݉ሻǦ ሺͳ ሻ Ǧ ሺሻ୬ Ǧ ܨܩሺܦሻǤ ǡ Ǥ PRIMER 5.10Ǥ ሼͳͳͲͳǡͲͳͳͲǡͳͳͳͲሽͷǤʹǡæͲͲͲͲ «ǡǤ ሼͲͲͲͲǡͳͳͲͳǡ ͲͳͳͲǡ ͳͲͳͳሽ æ « ¯«Ǥǡ ሺͶǡʹሻ æʹǡāͶǤ ʹǡ ā æȋͷǤͳȌǤ 122
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
OSOBINA 5.8 ā«Ǥ« ȋȌǤ Koliko kodnih rei sadrži jedan ሺ݊ǡ ݉ሻ D-arni linearni kod? OSOBINA 5.9 ሺ݊ǡ ݉ሻǦ ā୫ « «ǡ «© «Ǥ æ « ȋ ܦȌ Ǥ ¯ ¯݉ȂǤ DOKAZ æ ݉ǡ « ݉« « ȋ ȌǤሺ݉ǡ ݊ሻǦǡ୫ ««ǡ ୫ © Ǥ OSOBINA 5.10Ǥ ሺ݊ǡ ݉ሻǣ ୫
ൌ Ǥ ୬
DOKAZ Ǧ«ܯ «ā݊ǣ ൌ
୪୭ీ ୬
Ǥ
Koliko se razliitih poruka može kodovati ሺ݉ǡ ݊ሻ linearnim kodom?
123
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
«ǡ୫ Ǥǣ ൌ
୪୭ీ ୈౣ ୬
୫
ൌ Ǥ ୬
TEOREMA 5.2āǤ ܥǣ ୫୧୬ ሺሻ ൌ ୫୧୬ ሺሻǡ ୫୧୬ ሺሻāǡā «ǣ ୫୧୬ ሺሻ ൌ אେ ሺሻǤ ஷ
«ææ«୫୧୬ ሺሻ ୫୧୬ ሺሻǤ PRIMER 5.11 ሺͳͳǡ͵ሻȓͲͲͲͲͲͲͲͲͲͲͲǡͳͲͲͳͳͳͳͲͲͲͲǡͲͳͲͲͲͳͳͳͳͲͲǡͲͲͳͳͳͲͲͳͳͳͳǡ ͳͳͲͳͳͲͲͳͳͲͲǡ ͳͲͳͲͲͳͳͳͳͳͳǡ ͲͳͳͳͳͳͳͲͲͳͳǡ ͳͳͳͲͲͲͲͲͲͳͳȔ āͷǡͷǤ āæͳʹæ ȋͷǤȌǤǤ ͷǤʹǤͳǤ © æ « Ǥ « ሺ݊ǡ ݉ሻ « ଵ ǡ ଶ ǡ ǥ ǡ ୫ ǡ«୧ āǣ ୩ୀ୫
୧ ൌ ୧ǡ୩ ୩ ୩ୀଵ
124
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
୧ǡ୩ ୧ «୩ Ǥǡ© ǣ ୧ ൌ ൫୧ǡଵǡ ǡ ǥ ǡ ୧ǡ୫ ൯ ȉ ൌ ୧ ȉ ǡ ୧ ൫୧ǡଵǡ ǡ ǥ ǡ ୧ǡ୫ ൯ «ଵ ǡ ଶ ǡ ǥ ǡ ୫ Ǥ ǡ୧ ā«୧ ā ܩǤ ܩǤ DEFINICIJA 5.8 Ǥ ݉ ܩ ݊ݔሺ݊ǡ ݉ሻ ܥ ݉ ܥǤ ā݉ā ൌ ȉ Ǥ PRIMER 5.12 Ǥ ሺͶǡʹሻ ͷǤͳͲሼͲͲͲͲǡ ͳͳͲͳǡ ͲͳͳͲǡ ͳͲͳͳሽǤ ««ā«ǣ«« ൌ ͲͲǡ ଵ ൌ ͳͲǡ ଶ ൌ Ͳͳǡ ଷ ൌ ͳͳǤ æ © Ǥ
© ଵ ൌ ͳͳͲͳǡ ଶ ൌ ͲͳͳͲǡ æ ǣ
ൌቂ
ͳͳͲͳ ቃǤ ͲͳͳͲ
ଵ ǣ ͳͳͲͳ ൌ ሺͳͳͲͳሻ ൌ ଵ Ǥ ଵ ȉ ൌ ሺͳͲሻ ȉ ቈ ͲͳͳͲ «ଶ ଶ ǡଷ ͳͲͳͳ ͲͲͲͲǤ «Ǥ ǡ« Ǥ 125
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤʹǤʹǤ © ǡ ǡ Ǥ Ǥ DEFINICIJA 5.9Ǥ
ܩሺ݊ǡ ݉ሻ ā ǣ Ͳͳ ۍǥ Ͳଵǡଵ ǥ ଵǡ୬ି୫ ې ͳͲێǥ Ͳଶǡଵ ǥ ଶǡ୬ି୫ ۑ
ൌ ൣ ୫ ൧ ൌ ێǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ Ǥ ۑǡ ێǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ Ǥ Ǥ ۑ ێ ۑ ͲͲۏǥ ͳ୫ǡଵ ǥ ୫ǡ୬ି୫ ے ୫ « ݉ǡ ܲ݉ݔሺ݊ െ ݉ሻ « ȋǤParity MatrixȌǤ ǡ ǡǤ DEFINICIJA 5.10Ǥ ȋȌǤ ሺ݊ǡ ݉ሻ ǡ ݉ ݊ « ǣ ୧ ൌ ሺ୧ǡଵ ǡ ୧ǡଶ ǡ ǥ ǡ ୧ǡ୫ ǡ ୧ǡ୫ାଵ ǡ ǥ ǡ ୧ǡ୬ ሻǤ «ǡ æ ǡ ሺ݊ െ ݉ሻ æǤ PRIMER 5.13 ͷǤͳʹǤ © ଵ ൌ ͳͲͳͳǡ ଶ ൌ ͲͳͳͲǡ æǣ 126
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ൌቂ
ͳͲͳͳ ቃ ͲͳͳͲ
e Ǥ PRIMER 5.14Ǥ ǡ ǤǤǡͲͳͳͲͳ ͳ ͳ ͳ ൌ ͳǡͲͲͳͲͳͳ ͳ ൌ ͲǤ Ǥ ሺ݉ ͳǡ ݉ሻǡ« ǣ ۍ ێ
ൌ ێ୫ ێ ۏ
ͳ ͳې ۑ Ǥ ۑǡ Ǥۑ ͳے
Ǥʹ ȋͷǤʹȌǡæ«āæ ȋͷǤͳȌǤ ͷǤʹǤ͵Ǥ ǣ Na koji nain linearni kodovi detektuju i ispravljaju greške? æ ܨǡ «ݖā ȉ ൌͲǤǡݖæ݁ǡæ« ො ൌ ǡ ǣ ො ȉ ൌ ሺ ሻ ȉ ൌ ȉ ȉ ൌ Ͳ ȉ ൌ ȉ Ǥ ǡæො ȉ «ݖæ݁Ǥæ ܨǤ Ȁ æǡ 127
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© ܨ ȋȌǤ «« ȉ ൌͲ ǣ ȉ ൌ ͲǤ DEFINICIJA 5.11 Ǥ ܪሺ݊ െ ݉ሻ ݊ݔሺ݊ǡ ݉ሻǦ ܥǡāǣ א ሺሻ୬ ȉ ൌ Ͳ אǤ «ǡ ܥȋȌܥǤ ā æ « Ǥ « Ǥ Kako nai verifikacionu matricu? « Ǥ TEOREMA 6.3 ሺ݉ǡ ݊ሻܥǡ« ǣ
ൌ ൣ ୫ ൧ǡ ǣ ൌ ሾെ ୬ି୫ ሿ Ǥ «ܨܩሺʹሻǡ െܲ ൌ ܲǤ PRIMER 5.15 « ǣ 128
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ܩൌቈ
ͳͲͳͲͳ αቈ ଶ ͲͳͳͳͲ
ͳͲͳ Ǥ ͳͳͳ
ሺ݊ ൌ ͷǡ ݉ ൌ ʹሻǣ ൌ ቂͳͲͳቃ ͳͳͳ
ͳͳͳͲͲ ൨ ൌ ͲͳͲͳͲ ൩ ଷ ͳͳͲͲͳ
© ܥǤ Kako se dobija verifikaciona matrica u opštem sluaju, kada generator matrica nije u sistematskoj formi? ܪሺ݊ǡ ݉ሻǦ ܩǡ « ଵ ǡ ଶ ǡ ǥ ǡ ୫ Ǥ ܪā © © ǣ ͳǤ ݅ ൌ ݉ ͳǡ Ǥ Ǥ Ǥ ǡ ݊ǡݖ ܨܩሺܦሻ ݖଵ ǡ ݖଶ ǡ ǥ ǡ ݖିଵ ǡ ʹǤ « ିܯଵ ݖ«ܯଵ ǡ ݖଶ ǡ ǥ ǡ ݖ ǡ ͵Ǥ ݊ ்ܪെ ݉ ି ܯଵ Ǥ PRIMER 5.16 ͷǤͳʹሺͶǡʹሻǡ« ܩൌቂ
ͳͳͲͳ ቃ ͲͳͳͲ
¯Ǥ ǤͳͲͲͲ ͲͳͲͲǤ ǣ
129
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ېͳͲͳͳۍ ېͲͳͲͲۍ ି ۑͲͳͳͲێଵ ۑͳͲͲͲێ ൌێ ۑǡ αێ ۑ ͳͲͲͲ ͲͳͲͳ ێ ۑ ێ ۑ ےͲͲͳͲۏ ےͳͳͲͳۏ ǣ ېͲͳۍ ͳͲͲͳ ۑͳͲێ Ǥ αۑ ێǡǤ ൌ ቈ Ͳͳͳͳ Ͳͳ ۑ ێ ےͳͳۏ ͷǤʹǤͶǤ ሺ݊ǡ ݉ሻǦ ܥሺ݊ െ ݉ሻܪ ݊ݔ ݇݁ݎሺܪሻܥǣ݇݁ݎሺܪሻ ൌ ܥǤ ݀݅݉ሺ݇݁ݎሺܪሻሻ ݇݊ܽݎሺܪሻ ൌ ݊ǡ ݀݅݉ሺܥሻ ݇݊ܽݎሺܪሻ ൌ ݈݊݅݅݇݊ܽݎሺܪሻ ൌ ݊ െ ݉Ǥ ݊ െ ݉ ܪæ݊ െ ݉ ܩሺܦ ǡǤሺ݊ǡ ݊ െ ݉ሻǤܥȋȌǤ OSOBINA 5.11 ܥܥǤ OSOBINA 5.12
Ǥ ͷǤʹǤͷǤ æ«Ǥ«ݖ ǡ ݁ æ ǡ « ො ൌ Ǥ ܪ æ©æǡǣ 130
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ݖǁ ȉ ்ܪൌ ሺ ݖ ݁ሻ ȉ ்ܪൌ ݖȉ ்ܪ ݁ ȉ ்ܪൌ Ͳ ݁ ȉ ்ܪൌ ݁ ȉ ்ܪ ā« ݖƸ ȉ ்ܪæ݁ǡ «ݖƸ Ǥ «ݖƸ ȉ ்ܪā ȋݖƸ ܪȌǤ ͷǤͳʹǤ «ො ܪො ȉ Ǥ OSOBINA 5.13 ൌො ȉ « ො ܥܪ æ ൌො െ ୧ ǡ æ « ୧ ǡ୧ אǤ
æ݁ ā æ ȋæ Ȍǡ æ ൌ ሺଵ ǡ ǥ ǡ ୬ ሻǡ ǣ ݏሺݖǁ ሻ ൌ ݖǁ ȉ ்ܪൌ ݁ ȉ ்ܪൌ ݁ ݄
݄ Ǧ ܪǡ ܪൌ ሾ݄ଵ ǡ ǥ ǡ ݄ ሿǤ æ ȋ æȌ © «æǤ æææ ©«æǤ æ ǣ ܪ ȋ Ȍǡ © Ǥ PRIMER 5.17 Ǥ ǣ ͳͳͳͲͲ ൌ ͲͳͲͳͲ ൩ ͳͳͲͲͳ 131
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ ©ǡǤ Tabela a Sindrom 101 ͳͲͲͲͲ 111
ͲͳͲͲͲ
100
ͲͲͳͲͲ
010 001
ͲͲͲͳͲ ͲͲͲͲͳ
Tabela b ͲͲͲ ͲͲͲͲͲ ͲͲͳ ͲͲͲͲͳ ͲͳͲ ͲͲͲͳͲ Ͳͳͳ ǫ ͳͲͲ ͲͲͳͲͲ ͳͲͳ ͳͲͲͲͲ ͳͳͲ ǫ ͳͳͳ ͲͳͲͲͲ
æ« ܪǡ ȋ ȌǤ æ ¯ǡȋȌǤ ©ǣ ǡ ͷǤͳͳǤ ͲͳͳͳͳͲǤ ǣ Ͳͳͳ ൌ ͲͳͲ ͲͲͳǡæͲͲͲͳͳሺͲͲͲͲͳ ͲͲͲͳͲሻǡ Ͳͳͳ ൌ ͳͳͳ ͳͲͲǡæͲͳͳͲͲǤ ā « ͵ ā ͳææʹææǤ æǤ ǡ © Ǥ æ ො©ǣ ͳǤ «ݏሺݖƸ ሻ ൌ ݖƸ ȉ ்ܪǤ
132
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ « ܿ ൌ െ݁ ǡ Ǥ ͵Ǥ æ ݖൌ ݖƸ ܿǤ PRIMER 5.18Ǥ ͷǤͳǡ ǣ ͳͲͳͲͳ Ǥ
ൌቈ Ͳͳͳͳͳ ݑൌ ͳͲǤ « ݖൌ ͳͲͳͲͳǡ ሺͷǡʹሻǤ ො ൌ ͲͲͳͲͳǡ æ Ǥ « ሺොሻ ൌ ݖƸ ȉ ൌ ͳͲͳǡæ ൌ ͳͲͲͲͲǡȋȌͷǤͳǤ æො ൌ ͲͲͳͲͳ ͳͲͲͲͲ ൌ ͳͲͳͲͳǡ æ ͳͲǡææ©ǡ æ Ǥ KONTROLNO PITANJE e ǡ ͳͲͳͲͳͳͲͲͳǡ ǣ ېͲͲͲͳͲͳͲͳͳۍ ۑͲͲͳͲͲͳͳͳͲێ ൌێ ۑǤ ۑͲͳͲͲͳͳͲͲͳێ ےͳͲͲͲͳͳͳͲͲۏ ODGOVOR ͳͲͲͲͳǤሺො ሻ ൌ ݖǁ ȉ ൌ ͲͳͲͳǡæ©ܪǡ æ « æ © Ǥ « ͳͲͲͲͳͳͲͲͳȋ © Ȍǡ © « ȋܪȌǡ ͳͲͲͲͳȋ݉ ൌ ͻ െ Ͷ ൌ ͷȌǤ
133
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤʹǤǤ © « Ǥ TEOREMA 5.4 Ǥ ܪሺ݊ǡ ݉ሻǦ ܥሺͲ ݉ ݊ሻǡ ୫୧୬ ሺሻ ܪǤ ܪ ܥǡ « ©ǣ ͳǤ ǡ݀ ሺܥሻ ͳǤ ʹǤ ǡ݀ ሺܥሻ ʹǤ PRIMER 5.19 ǣ ͳͳͳͲͲ ൌ ൦ͲͳͲͳͲ൪ǡ ͳͳͲͲͳ ͵Ǥǡܪǡ ୫୧୬ ሺሻ ʹǤܪଵ ǡ ଷ ହ Ǥ OSOBINA 5.14 ሺ݊ǡ ݉ሻܥǡāǣ ୫୧୬ ȋȌ െ ͳǤ ͷǤʹǤǤ ©« æǤ æ ā æǡ 134
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æǤ ǡ ǤͲͲǤ ǤͲͳ ǡͲͲǤ Ǥ ǤͳͲǡͲͲǤ Ǥ Ǥͳͳ©ǡǤ æ ݇݇Ǧ ܪǤ« æ « Ǥ eæǣ Koju dimenziju treba da ima ova verifikaciona matrica? Da li ova konstrukcija zaista daje verifikacionu matricu koda? Da li ovako konstruisan kod može zaista da koriguje sve vektore grešaka sa ukupno jednom greškom? e « ǡ ሺ݊ǡ ݉ሻ ā݊ െ ݉Ǥ æǡ ʹ୬ି୫ െ ͳ Ǥ ǡ ā «݊ ൌ ʹ୬ି୫ െ ͳǡ æ © Ǥ ©Ǥ ૠ Ǥ Ǥ
Ͷ ͳͳ ʹ ͷ Ǥ Ǥ
࢘ൌെ ͵ Ͷ ͷ Ǥ Ǥ
ā݊ ൌ ݊ ൌ ͳͷǤ Ͳ ܪଷ ൌ Ͳ ͳ
Ͳ ͳ Ͳ
Ͳ ͳ ͳ ͳͲ Ͳ ͳ Ͳ ͳ
ͳ ͳ ͳͳ൩ Ͳ ͳ
135
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ͳ ܪସ ൌ Ͳ Ͳ ͳ
Ͳ Ͳ ͳ Ͳ
Ͳ Ͳ Ͳ ͳ ͳ Ͳ ͳ Ͳ
Ͳ ͳ Ͳ ͳ
Ͳ Ͳ ͳ ͳ ͳ ͳ Ͳ ͳ
ͳ Ͳ Ͳ Ͳ
ͳ ͳ Ͳ Ͳ Ͳ ͳ ͳ Ͳ
ͳ Ͳ ͳ ͳ
ͳ ͳ ͳ ͳ Ͳ Ͳ Ͳ ͳ
ͳ ͳ ͳ ͳ ͳ ͳ Ͳ ͳ
ǡ ǡ © ǡ ݇݊ܽݎሺܪሻ ൌ ݊ െ ݉Ǥ ā æ ā « ܫି ȋͳǤǡʹǤǡͶǤǡ ͺǤǤǤǤǤǤȌǤ ݉ǡæሺ݊ǡ ݉ሻ Ǥ ǣ ā æ æǡ « Ǥ ©ǡā݀ ሺܥሻ ͵Ǥ ͳǡʹ͵Ǥ ͵ ā æ æǤ Ǥ DEFINICIJA 5.13Ǥ ሺʹ୰ െ ͳǡ ʹ୰ െ െ ͳሻ ǡ ሺ ʹሻ ǡ « ǣ Ͳ Ͳ ͳ ڮ ୰ ൌ ሾ୰ ሺͳሻ ୰ ሺʹሻ ǥ ୰ ሺሻ୲ ሿ ൌ ڭ ڰ ڭ ڭ Ͳ ͳ ǥ ͳ ͳ ͳ ǥ ͳ ୬ ሺሻ © Ǧ « ȋǤସ ሺͷሻ ൌ ͲͳͲͳȌǤ OSOBINA 5.15 ā æ æǤ 136
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER5.20Ǥ ݎൌ ͵æሺǡͶሻǤǣ Ͳ ܪଷ ൌ Ͳ ͳ
Ͳ ͳ Ͳ
Ͳ ͳ ͳ ͳͲ Ͳ ͳ Ͳ ͳ
ͳ ͳ ͳͳ൩ Ͳ ͳ
æ ǡ¯Ͷݖǡ ȉ ൌ ͲǤ ȋæ©æȌǣ ݖଵ ൌ ͳͳͳͲͲͲͲ ݖଶ ൌ ͳͳͲͳͲͲͳ ݖଷ ൌ ͳͲͲͲͲͳͳ ݖସ ൌ ͳͳͳͳͳͳͳ æ ǣ ͳͳͳͲͲͲͲ ܩൌ ͳͳͲͳͲͲͳ ͳͲͲͲͲͳͳ ͳͳͳͳͳͳͳ ݑൌ ͳͲͲͳǤ « ൌ ȉ ൌ ͲͲͲͳͳͳͳǤæ©ǡ «ො ൌ ͲͲͳͳͳͳͳǤ Kako se ona dekoduje? ሺͲͲͳͳͳͳͳሻ ൌ ො ȉ ൌ Ͳͳͳǡ ͵ǡ æ « æ ͵Ǥ Ǥ ො െ ͲͲͳͲͲͲͲ ൌ ͲͲͲͳͳͳͳǡ«Ǥ
137
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤ͵Ǥ , «©ǣ Šta su ciklini kodovi? Kako se kodovi prezentuju pomou polinoma? Kako se vrši kodovanje i dekodovanje pomou ciklinih kodova?
DEFINICIJA 5.14 « ୧ « ݊ ୧ ൌ ୧ǡଵ ǡ ୧ǡଶ ǡ ǥ ǡ ୧ǡ୬ ǡ «୧ǡଶ ǡ ୧ǡଷ ǡ ǥ ǡ ୧ǡ୬ ǡ୧ǡଵ « ȋȌ«୧ ǡ « «Ǥ « « « « «Ǥ PRIMER 5.21«Ǥ © «ǣ ଵ ൌ ͲͲͲǡଶ ൌ ͳͲͳǡଷ ൌ Ͳͳͳǡସ ൌ ͳͳͲǤ © «ǣ ଵ ൌ ͲͲͲǡଶ ൌ ͲͲͳǡଷ ൌ ͲͳͲǡସ ൌ Ͳͳͳǡ æ « «ଷ «Ǥ « ā ǡ æ © Ǥ
138
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤ͵ǤͳǤ , « « « ȋ « « «Ȍǡæ« Ǥ « Ǥ ୧ «୧ ൌ ୧ǡଵ ǡ ୧ǡଶ ǡ ǥ ǡ ୧ǡ୬ ୧ ሺሻ ൌ ୧ǡଵ ȉ
୬ିଵ
୧ǡଶ ȉ
୬ିଶ
ڮ ୧ǡ୬ ǡ
݆ ୧ǡ୨ « ୧ ā ݊ ୬ି୨ ©୧ ሺሻǤ Šta je onda ܺ ȉ ݖ ሺܺሻ݈݉ݑ݀ሺܺ െ ͳሻ? © « «୧ Ǥ DOKAZ
ܺ ȉ ݖ ሺܺሻ ൌ ܺ ȉ ቌ ݖǡ ȉ ܺ
ିଵ ቍ
ିଵ
ൌ ݖǡ ȉ ܺ ୀଵ
ୀଵ
ିାଵ
ൌ ݖǡାଵ ȉ ܺ ି ୀ
ିଵ
ൌ ݖǡ ȉ ܺ ݖǡା ȉ ܺ ି ୀଵ
୬ െ ͳǡ « ୬ ͳǡ ୬ାଵ ǡ Ǥ ୧ǡଵ ȉ ୬ ୬ െ ͳ୧ǡଵ ǡǣ ିଵ
ܺ ȉ ݖ ሺܺሻ ൌ ݖǡଵ ݖǡାଵ ȉ ܺ ୀଵ
ିଵ ିଵ
ൌ ݖǡାଵ ȉ ܺ ି ݖǡଵ ȉ ܺ ି ୀଵ
e «୧ǡଶ ǡ ୧ǡଷ ǡ ǥ ǡ ୧ǡ୬ ǡ୧ǡଵ ǡ « «୧ Ǥ
139
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER 5.22 ୬ െ ͳǤ ǣ ሺܺ ଶ ͳሻ ȉ ሺܺ ͳሻ ൌ ܺ ଷ ܺ ଶ ܺ ͳ ൌ ͳ ܺ ଶ ܺ ͳሺܺ ଷ െ ͳሻ ൌ ଶ ሺͳ ͳሻሺ ଷ െ ͳሻ ൌ ଶ ሺ ଷ െ ͳሻ æ«ͳ ͳ ൌ ͲǤ PRIMER 5.23 «Ǥ «ǣ ଵ ൌ ͲͲͲǡଶ ൌ ͳͲͳǡଷ ൌ Ͳͳͳǡସ ൌ ͳͳͲǤ ǣ ݖଵ ሺܺሻ ൌ Ͳ ݖଶ ሺܺሻ ൌ ͳ ȉ ܺ ଶ Ͳ ȉ ܺ ͳ ൌ ܺ ଶ ͳ ݖଷ ሺܺሻ ൌ Ͳ ȉ ܺ ଶ ͳ ȉ ܺ ͳ ൌ ܺ ͳ ݖସ ሺܺሻ ൌ ͳ ȉ ܺ ଶ ͳ ȉ ܺ Ͳ ൌ ܺ ଶ ܺ ǣ ܺ ȉ ݖଶ ሺܺሻ ൌ ݖଷ ሺܺሻሺܺ ଷ െ ͳሻǡ æ«ଷ ««ଶ Ǥ ǣ Šta su polinomijalne prezentacije sledeih kodnih rei? ͳǤ ʹǤ ͵Ǥ ͶǤ
ͲͲͲͲͲͲͲͲ ͳͲͲͲͳ ͲͲͲͲͲͲͳ ͳͳͳͳ
ǣ 140
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳǤ ʹǤ ͵Ǥ ͶǤ
Ͳ ܺ ସ ͳ ͳ ܺ ଷ ܺ ଶ ܺ ͳ
ǣ «ଵ ଶ «Ǥ Šta je onda ݖଵ ȉ ݖଶ u sledeim sluajevima? ͳǤ ݖଵ ൌ ͲͳͲͳͳͲǡ ݖଶ ൌ ͲͲͲͳͲͲ ʹǤ ݖଵ ൌ ͳͲͳͲǡ ݖଶ ൌ ͲͳͲͳ ͵Ǥ ݖଵ ൌ ͳͳͲͲͳǡ ݖଶ ൌ ͲͳͲͳͲ ǣ ͳǤ ሺܺ ସ ܺ ଶ ܺሻ ȉ ܺ ଶ ൌܺ ସ ܺ ଷ ͳ ൌ ͲͳͳͲͲͳǡ ݉݀ሺܺ െ ͳሻ ʹǤ ሺܺ ଷ ܺሻሺܺ ଶ ͳሻ ൌ ܺ ହ ܺ ଷ ܺ ଷ ܺ ൌ ܺ ܺ ൌ Ͳǡ ݉݀ሺܺ ସ െ ͳሻ ͵Ǥ ሺܺ ସ ܺ ଷ ͳሻሺܺ ଷ ܺሻ ൌ ܺ ܺ ܺ ଷ ܺ ହ ܺ ସ ܺ ൌ ܺ ଶ ܺ ܺ ଷ ͳ ܺ ସ ܺαܺ ସ ܺ ଷ ܺ ଶ ͳαͳͳͳͲͳ OSOBINA 5.16 ݖሺܺሻ « « ݖā݊ǡ ሺሻǡ ሺሻ ȉ ሺሻሺ ୬ െ ͳሻ « © « « ȋ « ȌǤ TEOREMA 5.5 «ሺ݊ǡ ݉ሻ ܥେ ሺሻ݊ െ ݉ǡǣ ܥൌ ሼ݃ ሺܺሻ ȉ ǣ ܨܩ א ሺܺሻǡ ሺሻ ൏ ݉ሽ «ā େ ሺሻǤ« ©ܥେ ሺሻǤܥǤ «© «ܥሺሻ ൌ ሺሻ ȉ େ ሺሻǤ 141
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ ǡ ā Ǥ ሺ݊ǡ ݉ሻ « ǡ ©ǣ ͳǤ ā ݑሺܺሻܺ ି ȋ « ݊ െ ݉ȌǤǦǤ ʹǤ ܺ ି ȉ ݑሺܺሻ݃ሺܺሻݎሺܺሻǤ ͵Ǥ ݑሺܺሻ ݖሺܺሻ ൌ ܺ ି ݑሺܺሻ െ ݎሺܺሻ ǡ « ݉ æ ݑǤ PRIMER 5.24 « ሺǡͶሻ «ǣ ݖଵ ൌ ͲͲͲͲͲͲǡ ݖଶ ൌ ͲͲͲͳͲͳͳǡ ݖଷ ൌ ͲͲͳͲͳͳͲǡ ݖସ ൌ ͲͳͲͳͳͲͲǡ ݖହ ൌ ͳͲͳͳͲͲͲǡ ݖൌ ͲͳͳͲͲͲͳǡ ݖൌ ͳͳͲͲͲͳͲǡ ଼ݖൌ ͳͲͲͲͳͲͳǡ ݖଽ ൌ ͳͲͳͲͲͳͳǡ ݖଵ ൌ ͲͳͲͲͳͳͳǡ ݖଵଵ ൌ ͳͲͲͳͳͳͲǡ ݖଵଶ ൌ ͲͲͳͳͳͲͳǡ ݖଵଷ ൌ ͲͳͳͳͲͳͲǡ ݖଵସ ൌ ͳͳͳͲͳͲͲǡ ݖଵହ ൌ ͳͳͲͳͲͲͳǡ ݖଵ ൌ ͳͳͳͳͳͳͳǡ ሺሻ ൌ ଶ ሺሻ ൌ ଷ ͳǤ ݑൌ ͳͳͲͳǡሺሻ ൌ ଷ ଶ ͳǤ ଷ ሺሻ ൌ ହ ଷ ሺሻǤǣ ܺ ଷ ݑሺܺሻ ൌ ሺܺ ଷ ܺ ଶ ܺ ͳሻ݃ሺܺሻ ͳǤ «ǣ ݖሺܺሻ ൌ ܺ ଷ ݑሺܺሻ ͳ ൌ ܺ ܺ ହ ܺ ଷ ͳǤ æ ͳͳͲͳͲͲͳ Ǥ ǣ ͳͳͲͳ ͳͳͲͳͲͲͳ Ǥ « ǡ æ Ǥ • 142
ͳ ȉ ܺ ͳ ȉ ܺ ହ Ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ
య ାାଵ య
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
•
ͳ ȉ ܺ Ͳ ȉ ܺ ହ ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ
•
Ͳ ȉ ܺ ͳ ȉ ܺ ହ ͳ ȉ ܺ ସ Ͳ ȉ ܺ ଷ
•
Ͳ ȉ ܺ ͳ ȉ ܺ ହ Ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ ͳ ȉ ܺ ଶ
•
Ͳ ȉ ܺ Ͳ ȉ ܺ ହ ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ ͳ ȉ ܺ ଶ
•
Ͳ ȉ ܺ Ͳ ȉ ܺ ହ ͳ ȉ ܺ ସ Ͳ ȉ ܺ ଷ ͳ ȉ ܺ ଶ ͳ ȉ ܺ
•
Ͳ ȉ ܺ Ͳ ȉ ܺ ହ Ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ Ͳ ȉ ܺ ଶ ͳ ȉ ܺ
•
Ͳ ȉ ܺ Ͳ ȉ ܺ ହ Ͳ ȉ ܺ ସ ͳ ȉ ܺ ଷ Ͳ ȉ ܺ ଶ ͳ ȉ ܺ ͳ
•
Ͳ ȉ ܺ Ͳ ȉ ܺ ହ Ͳ ȉ ܺ ସ Ͳ ȉ ܺ ଷ Ͳ ȉ ܺ ଶ Ͳ ȉ ܺ ͳ ǦǦǦǦǦǦǦǦǦÆ ͳ
•
ܺ ଷ ݑሺܺሻ ൌ ሺܺ ଷ ܺ ଶ ܺ ͳሻ݃ሺܺሻ ͳ
య ାାଵ య ା మ
య ାାଵ య ା మ ା
య ାାଵ
య ା మ ାାଵ
TEOREMA 5.6
«ā ୬ െ ͳǤ TEOREMA 5.7 ୬ െ ͳ ሺǡ െ ሻ « Ǥ ͷǤ͵ǤʹǤ , «©ǣ ͳǤ « « ȋ æǡ« ««ȌǤ ʹǤ «ȋæȌǤ ͵Ǥ «ǡ«Ǥ 143
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ොሺሻ « ොሺሻ ሺሻǤ ǡ « «ሺሻ ሺሻǤ ሺሻ ሺሻ ሺሻ ሺሻǤ ሺሻ ൌ Ƚሺሻ ȉ ሺሻ ሺሻ ൌ Ⱦሺሻ ȉ ሺሻ ሺሻǡ ǣ ሺሻ ሺሻ ൌ ሾȽሺሻ Ⱦሺሻሿ ȉ ሺሻ ሺሻǡ « ൫ሺሻ൯ ൏ ൫ሺሻ൯Ǥ
ሺሻොሺሻ « ȋ ሺሻȌǤ ݃ሺܺሻǤ ©ǣ x x
æܺ ݅ ൏ ݊ െ ݉ǡܺ ǡ æܺ ି ǡܺ ି െ ݃ሺܺሻǤ
PRIMER 5.25 «Ǥ ǣ ͳͳͲͳ ͳͳͲͳͲͲͳ Ǥǡ «ͳͲͲͳͲͲͳǤ Kako se odvija dekodovanje? ͳͲͲͳͲͲͳො ሺሻ ൌ ଷ ͳǡ«݃ሺܺሻǣ
ଶ ͳǤ 144
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Sindrom ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ
Korektor ͳ ܺ ܺଶ ܺଷ ܺସ ܺହ ܺ
Ͷ āǡ ͵ æ݃ሺܺሻǤ ହ ǡ««ǣ ݖሺܺሻ ൌ ݖǁ ሺܺሻ ܺ ହ ൌ ܺ ܺ ହ ܺ ଷ ͳǡ ՜ ͳͳͲͳͲͲͳǤ © æ© « ǡ Ͷ « «ǣͳͳͲͳǤ PITANJE ሺǡͶሻǡ«ሺሻ ൌ ଷ ଶ ͳǤ Kako e se dekodovati sledee poruke? ͳǤ ͳͲͲͳͲͳͳ ʹǤ ͳͲͳͳͲͲͳ ͵Ǥ ͲͲͲͲͲͲͳ ODGOVORI ͳǤ ͳͲͲͳ ͳͲͲͳͲͳͳ ൌ ଷ ͳ ൌ ሺ ଷ ଶ ͳሻሺ ଷ ଶ ͳሻ «Ͳȋ݃ሺܺሻȌǡ© ǡͶ« Ǥ ʹǤ ͳͲͳͲ
145
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳͲͳͳͲͲͳ ൌ ܺ ܺ ସ ܺ ଷ ͳ ൌ ሺܺ ଷ ܺ ଶ ሻ݃ሺሻ ܺ ଶ ͳ Sindrom ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ ࢄ
Korektor ͳ ܺ ܺଶ ࢄ ܺସ ܺହ ܺ
Ȁሺሻ ൌ ଷ ଶ ͳǤ ǡ « ଶ ͳǡ ଷ Ǥ «æǡǣ ܺ ܺ ସ ܺ ଷ ͳ ܺ ଷ ൌ ͳͲͳͲͲͲͳǤ «ͳͲͳͲǤ ͵Ǥ ͲͲͲͲͲͲͳαͳ ͳǡ¯ͳǡ «ͳ ͳ ൌ ͲͲͲͲͲͲͲǡͲͲͲͲǤ
146
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͶǤ «©ǣ Šta su konvolucioni kodovi? Kako se vrši kodovanje konvolucionim kodovima? Šta je stanje i dijagram stanja? Šta je rešetkasta prezentacija vezana za predstavljanje ovih kodova? Kako koristiti Viterbijev algoritam na rešetkama, u cilju dekodovanja minimalnim rastojanjem? Kako izraunati minimalno rastojanje konvolucionih kodova?
Ǥ Ǥ «Ǥ «Ǥ Ǥ « © « ǤeȋͷǤͳȌǤ Ǥ
ͷǤͳݑ ݖଶିଵ ݖଶ 147
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ୧ ǡ «ଶ୧ିଵ ଶ୧ ǡ ൌ ሺଵ ǡ ଶ ǡ ǥ ǡ ୧ ǡ ǥ ሻ ൌ ሺଵ ǡ ଶ ǡ ǥ ǡ ଶ୧ିଵ ǡ ଶ୧ ǡ ǥ ሻǤͳȀʹǤ ȋͷǤͳȌāǣ ଶ୧ିଵ ൌ ୧ ୧ିଶ ଶ୧ ൌ ୧ ୧ିଵ ୧ିଶ ୧ ՜ ሺ୧ିଶ ୧ ǡ ୧ିଶ ୧ିଵ ୧ ሻ « ͳǡͲǡͳǡͲǡͲǤǤǤͳǡͳǡͳǡͲǡͲǤǤǤǤ « ݕሾ݊ሿ ݔሾ݊ሿ݄ሾ݊ሿ ǣ ஶ
ݕሾ݊ሿ ൌ ݔሾ݇ሿ݄ሾ݊ െ ݇ሿ ୀஶ
ͷǤͶǤͳǤ © ¯ ǡ© ୧ିଶ ୧ିଵ Ǥ ǡ æ « αͲǫ «ǡିଵ ൌ Ͳ ൌ ͲǤ «ǡ « ¯ « Ǥ «ā «Ǥ
148
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
««æ æǤ PRIMER 5.26 Ǥ ݑൌ ͳͲͳ© ȋͷǤͳȌǤ ǡ« «ǤǤ
࢛
ͳ Ͳ ͳ ሺሻ ሺሻ
Stanje ሺ࢛ି ࢛ି ሻ ͲͲ ͳͲ Ͳͳ ͳͲ Ͳͳ
ࢠି ࢠ ͳͳ Ͳͳ ͲͲ Ͳͳ ͳͳ
© Ǥ ©«ͳͳͲͳͲͲͲͳͳͳǤ æ©ȋͷǤͳȌǤ ā ͵ ǡ ൌ ሺଵ ǡ ଶ ǡ ଷ ሻǡ æ « « ൌ ሺଵ ǡ ଶ ǡ ଷ ǡ ͲǡͲሻ Ǥ ā © « ʹ ȉ ͷ ൌ ͳͲǤ « ǡ ©«ǣ ͳ ሺݖଶିଵ ǡ ݖଶ ሻ ൌ ሺݑିଶ ǡ ݑିଵ ǡ ݑ ሻ ȉ Ͳ ͳ
ͳ ͳ൩ ͳ
«ݖā ൌ ሺଵ ǡ ଶ ǡ ଷ ǡ ͲǡͲሻ ǣ ͳͳͲͳͳͳͲͲͲͲ ېͲͲͳͳͳͲͳͳͲͲۍ ێ ۑ ܩଷ ൌ ۑͳͳͳͲͳͳͲͲͲͲێ ۑͳͲͳͳͲͲͲͲͲͲێ ےͳͳͲͲͲͲͲͲͲͲۏ ǡā ൌ ሺଵ ǡ ଶ ǡ ଷ ሻ ǣ
149
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳͳͲͳͳͳͲͲͲͲ ܩଷ ൌ ͲͲͳͳͲͳͳͳͲͲ൩Ǥ ͲͲͲͲͳͳͲͳͳͳ ǡ ݖൌ ݑȉ ܩଷ Ǥ āǡā ൌ ȉ ୫ ǡ ୫ ሺʹ Ͷሻ āǡ Ǥ ͳ Ͳ ͳ
ͳ ͳ൩ ՜ ͳͳͲͳͳͳͲͲͲͲ ͳ
ܩଷ ൌ ͲͲ ൩Ǥ ͲͲͲͲ ͷǤͶǤʹǤ e DEFINICIJA 5.15 ሺ݊ǡ ݇ǡ ݎሻǦ « ǡ « ©ȋ«Ȍǣ ܨ ܨଵ ܨଶ ǥܨ ሾͲሿሾͲሿሾͲሿڮ ܩଷ ൌ ሾͲሿܨ ܨଵ ǥܨିଵ ܨ ሾͲሿሾͲሿڮǤ ሾͲሿሾͲሿܨ ǥܨିଶ ܨିଵ ܨ ሾͲሿڮ
୧ ݇ ݊ݔሾͲሿ݇ ݊ݔǤ ܩ ǡǤ DEFINICIJA 5.15 ā ൌ ሺଵ ǡ ǥ Ǥ ǡ ୫ ሻ ൌ ത ȉ ୫ᇲ ǡ ୫
ത āᇱ ൌ ǡ ൌ ቒ ቓǡ ୩
150
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ത ൌ ሺଵ ǡ ǥ Ǥ ǡ ୫ ǡ Ͳǡ ǥ ǡͲሻǤ ୫ᇲ ǣ ݊ݔ݇ݍሺ ݎ ݍሻǤ ത ൌ ǡᇱ ൌ ǡ݉݇ȋ ā«݇ ൌ ͳȌ ͷǤͳͷǡ݇ ȋ݇ Ȍǡ݊ « ȋ݊Ȍǡݎ ȋāȌǡǤ PRIMER 5.27 ȋͷǤͳȌȋሺʹǡͳǡʹሻ ǣ ݇ ൌ ͳǡ ݎൌ ʹǡ©݊ ൌ ʹ« Ǥ æ ǡ ͵ ǡ ͵ͳͲ Ǥ ͲͲͲͲ ܩଷ ൌ ͲͲͲͲ൩Ǥ ͲͲͲͲ ݇ ൌ ͳǡ æ ʹ Ǥ æ ǡ ଷ āǣ ൌ ൣͳͳ൧ǡ æ ୧ ଵ ൌ ሾͲͳሿǡ ୧ିଵ ଶ ൌ ሾͳͳሿǡ ୧ିଶ Ǥ Ǥ « «ǡ © « «āǡǤ
151
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͶǤ͵Ǥ e ȋāǡ ǤȌ«Ǥǡ ȋ ͷǤͳȌǡ ā ǡ ൌ ሺ୧ିଵ ǡ ୧ିଶ ሻǤ ¯ Ǥ æ ȋǤState machineȌǤ¯Ǥ DEFINICIJA 5.16 Ǥ gtaf « « © æ Ǥ ¯«ܵ ܵ « ܵ ܵ Ǥ « ©Ǥ PRIMER 5.28 ȋͷǤͳȌǣ
ͷǤʹ
152
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ © Ǥ ǡ Ͳͳ ͳǡ ͳͲǡͲͲǤ « ȋǡǡȌ©ā ୫
© āሺ ቒ ቓሻ ǡ ୩
©Ǥ ୫
āሺ ቒ ቓሻ ǡ ୩
æ ȋǡǡȌǤ PRIMER 5.29æ ሺʹǡͳǡʹሻ ǡ æ ͵ǡ ā͵©ǣ
ͷǤ͵æ
ǡ«ǡͳǡ ͲǤ ͵ ǡ æ ǡ ©«Ǥ PRIMER 5.30æǤ ݑൌ ͳͲͳǡæ©ǣ
153
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͶæ
« ݖൌ ͳͳͲͳͲͲͲͳͳͳǤ ææȋ«Ȍǣ
ͷǤͷæ«
«© ǣ
154
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ࡿ̳࢛
000 001 010 011 100 101 110 111
ͲͲͲͲ Ͳͳͳͳ ͳͲͲͳ ͳͳͳͲ ͳͳͲͲ ͳͲͳͳ ͲͳͲͳ ͲͲͳͲ
ͲͲͳͳ ͲͳͲͲ ͳͲͳͲ ͳͳͲͳ ͳͳͳͳ ͳͲͲͲ ͲͳͳͲ ͲͲͲͳ
ͷǤͶǤͶǤ æ « « «æǤā «Ǥ ǡ«æǡ æ Ǥ ā ā ā « ǡ Ǥ «ȋ Ȍǡ© æǤ« ©ǡ «Ǥ ǡ ¯ « Ǥæāǡ ǡ Ǥ ¯ Ǥ
155
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
¯ǤǤ ɀ୧ ሺሻ െ ȋ©æȌā æݏǣ ߛ ሺݏሻ ൌ
௭భ ǡǥǡ௭మ౩ౡ౨ౠౣ౫ೞ
݀ሺݖଵ ǥ ݖଶ ǡ ݖෝଵ ǥ ݖෞ ଶప ሻ
ɀȁොȁ ሺͲͲሻǡȁොȁαΪʹǡ ȁොȁā Ǥ ሺǡ ᇱ ሻāǣ ߛ ሺݏሻ ൌ
௭భ ǡǥǡ௭మ౩ౡ౨ౠౣ౫ೞ
ሺ݀൫ݖଶିଵ ݖଶ ǡ ݖƸଶ ିଵ ݖƸଶ ൯ ߛିଵ ሺ ݏᇱ ሻሻ
ǣ ࢽሺሻ ൌ for i from 1 to ȁࢠොȁ do for all ࢙ do ࢽ ሺ࢙ሻ ൌ
ܖܑܕ
ࢠ ǡǥǡࢠ࢚࢙ܝܕ܍ܒ܉ܚܓ܉ܛ
ሺࢊ൫ࢠି ࢠ ǡ ࢠො ି ࢠො ൯ ࢽି ሺ࢙ᇱ ሻሻ
end for end for ǡ«Ǥ PRIMER 5.31 æ« ݖൌ ͳͳͲͳͲͲͲͳͳͳǡ «ො ൌ ͲͳͲͳͲͳͲͳͳͳǡæǤ© ©©Ǥ
156
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤ
ǡ © ǣ
157
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
x x
ͳǡ æ ͲͲ ͲͳǤ ͳͳæǡ©ͲͳǤ ͲǡæͲͲ ͲͲǤ ͲͲæǡ©ͲͳǤ
ǡȋ Ͷ ȌǤ æ « æ æ ©ȋ¯ȌǤ ǡ¯ͳͲͳͳǡæǡ ©ͳͲǡͲͳǤ æͳͳʹɀଶ ሺͳͳሻ ൌ ͳ ʹ ൌ ͵Ǥ ǡ © Ǥ ā æǤ «¯Ǥ ǡ āæʹǤ ȋ ȌǤ «ͳͳͲͳͲͲͲͳͳͳǤ «ǡǤ ā©ȋͲͳȌ¯ǡ «Ǥ «ǡͳͲͳͲͲǡ ǡ« ͳͲͳǡæ Ǥ
158
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤ
PRIMER 5.31 a ǡͳͲͳͳͳͲͳͲͳͳͳͳͳͳͲͳͳͲͳͲͲͳͳͲͲͲͳͲǤ
ͷǤͺ
159
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͻæǤ«ͲͲͲͲͲͲͳͳͳͳͳͳͲͳͲͳ ͳͳͳͲ Ͳͳͳͳ ͲͲͲͲǡ æ ͲͳͳͲͲͲͲǡ ͲͳͳͲǤ © ǡ ͷǤʹ ǡ āǤ OSOBINA 5.17ā Ǥ ā æǤ ୫୧୬ ሺሻ ൌ ͻǤ æ « ā ©āͻ Ǥ
ͷǤͻ«ā
160
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͷǤ , e ȋ ͷǤͳͲȌ æ æ Ǥ æ ǡ Ǥ æ©Ǥ ͳǤ ȋAutomatic Repeat RequestȌ Ȃ Ǣ ʹǤ ȋForward Error CorrectionȌ Ȃ ā«Ǣ ͵Ǥ Ǣ ͶǤ Ǣ ͷǤ Ǣ Ǥ Ǣ
ͷǤͳͲ
ͷǤͷǤͳǤ æ © æǤ æǡ æ Ǥ 161
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æǡ ǡ© « æ ȋ æ Ȍǡ æ Ǥ Ǥ©āǤ ¯ Ǥ ǡ Ǥ ǡ ǡ © ā æ æ «Ǥ «æ«æ «ǡ««Ǥ ǣ ͳǤ « ʹǤ « Ǥ æ « « ȋȌ ȋȌǡ æ æ «Ǥ« Ǥ « æ « ǡæāǤ ǡ æ « æǤ «Ǧǣ Ǧ ܰ æ « æ « Ǥ ܰ ¯ æǤ ǡ ǡæāǡ ͷͶͲ Ǥ æܰ « ǡæǤ
162
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
- « æǡ « © « ȂܰǤ © « ǡ«©Ǥ ͷǤͷǤʹǤ « Ǥ ȋǤ BroadcastȌ Ǥ æ æǣ ͳǤ ǡ ʹǤ Ǥ ǦǡǦ ǡ Ǥ © æ ǡ ǡ ǡ ȋǤburstȌæǤ ǣ ʹȂͺǡ æ ͳ Ǥ Ȃ ǦǤ «āݎǤ «ݎǤ©ݎǡ āǤ æ ǡ ǡͳͻ Ǥā«¯ Ǥ « ܭǤ ݎǡሺ ݎ൏ ͻሻ «æ© Ǥ
163
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© ǡ æǡ æ «Ǥ
ā © Ǥ æ ȋ Ȍ ā āǤ ͳͻǤ ȋGottfried UngerboeckȌ æ ǡ « æ Ǥ trelis ȋȌǤ ©ͻǤȀ Ǥ ͷǤͷǤ͵Ǥ æǡ «©æ©Ǥæ æ«Ǥǡ Ǥ æ æǤ æ æ « æǤ æǡ æ æ æ æ æ «Ǥ æ © ¯ æ Ǥ
164
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͷǤͶǤ
« æ æ© « æǡ æ æ æ « Ǥ æǣ ͳǤ Ǥ ʹǤ Ǥ ā © «Ǥ ǡ « Ǥ æ © æǤǡ ¯ ā « ¯ æǤ « æāǤ
ͷǤͳͳ
Ǧ«ܮāǤ «ā݊ȋͷǤͳʹȌǤ«ܮæǡ
165
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ « Ǥ « Ǥ æ āܮæͳæ«Ǥ « æ © © æ« æǤ ܮǤ ܮ Ǥ©©« æǤæ Ǥ æǡ æ « Ǥ Ǥ« æ ā ǡæā ȋ ȌǤ
ͷǤͳʹe
Ǧ « ǡ æǤ ǡ Ƿdz Ǥ « ǡ © Ǥ e ȋ ͷǤͳ͵Ȍǡ ǡ ©
166
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ ܦሺͳሻǡ ܦሺʹሻǡ ǥ ǡ ܦሺܰሻ Ǥ ā ܦሺ݇ሻ ǡ ݇ ͳǡ ʹǡ ǥ ǡ ܰǤ
ͷǤͳ͵e
« Ȃ æ ¯«¯ Ǥ « « Ǥ« « © ܮǤ æ « © ǡ © æ© Ǥ « Ǥ æ ¯ æǤ¯ Ǥ æ ǡ « Ǥ ͷǤͷǤͷǤ ǡ ǡ ā©ā ā Ǥ ǡ ā æ ܮܣǷ Dzǡ « Ƿ ǦǦ̶Ǥ Ƿ Dzǡ « 167
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥæ ǡ æǤ «݀ ǡāǡǣ ݀ ൌ ݁ ͳǤ æ æ ǡāǣ ݀ ʹ ݐ ݁ ͳǤ ǡ æ ǡ āʹæʹǤ ͷǤͷǤǤ Ǥ āæ Ǥ ǡ ȋ ͷǤͳͶȌǤ æ Φǡ ܭൌ ǡ ǡ © « æǤ æ ͳ ǡ æǤ
168
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͳͶ ȋǤDeep space standardȌ
ͺ æǤ ǡሺͳȀʹሻሺʹʹ͵Ȁʹͷͷሻ ؆ ͲǤͶͶǤ Ǥ æ Ǥ ǡ æ ā ǡ æ «Ǥ ͷǤͷǤǤ ͳʹͲ « ǡ æ© ȋȌ«Ǥ ͶͶǤͳȀ ǡ«¯ʹͲǤ ʹଵ ȋ«ʹ଼ ȌǤ © ͻ ǡ ͲǤͲͲͷΨǤ
æǣ ͳǤ æǡ©ǡæ Ǥ 169
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ʹǤ ǡǡāæǤ ǡ © © æǤ « æ « ǡ æ ǡ © æ « Ǧ Ǥ « æ æǤæ ǦCross Interleave Reed Solomon CodeǤͶ æǣ ͳǤ ¯ Ǥ ʹǤ æ © ǡ Ǥ ͵Ǥ æ ǡ ¯ Ǥ ͶǤ æ© ǡ æ Ǥ ©Ǥ Performanse kontrole greške CIRC-a Maksimalno ispravljanje ̱ͶͲͲͲȋʹǤͷȌ greške Maksimalna interpolacija ̱ͳʹǤͲͲͲȋͺȌ greške Nedetektovani uzorci greške ͷͲ«ȋͳͲିଷ Ȍ Novi diskovi imaju tipian ̱ͳͲିସ stopu greške (engl. BER) Ǥæܴܵሺ͵ʹǡʹͺሻǡæܴܵሺʹͺǡʹͶሻǤ ͺȂǡΧǤ 170
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ ୫୧୬ ൌ ͷǡ ā æ æ Ǥ æ ୫୧୬ ൌ ͷǡāæǡ æææǤ æ æǤ æ « « Ǥ æ ā æ ͺ æǡ Ǥ
171
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤǤ VEŽBA 7. æȋͳʹǡͺȌǡǣ «æ© æ Ǥ āͳʹ«ͺ Ͷ « Ǥ ǡǡ« Ǥ ͳæ©«ǣ ͳǤ «æͳǤ ʹǤ ʹȋͳǡʹǡͶǡͺȌǤ ͵Ǥ ȋ͵ǡͷǡǡǡͻȌǤ Ǥ ͳ Ǥ ͳǤ
ͷǤͳͷ 172
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳܥൌ ܯ ْ ʹܯ ْ ͳܯͶ ْ ܯͷ ْ ܯ ʹܥൌ ܯ ْ ͵ܯ ْ ͳܯͶ ْ ܯ ْ ܯ ͵ܥൌ ܯ ْ ͵ܯ ْ ʹܯͶ ْ ܯͺ ܥͶ ൌ ܯͷ ْ ܯ ْ ܯ ْ ܯͺ ȋͳʹǡͺȌǣ Ǥ
173
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤͳeȋͳʹǡͺȌ
ȋͳʹǡͺȌǣ «ȋǤparity bitȌ ȋǤcheck bitȌǤ ͲǡæͳǡæǤ 174
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
© Ǥ
ͷǤͳeȋͳʹǡͺȌ
æ«ȋͳʹǡͺȌ Sindrom vrednosti nulta nenulta nenulta
Parnost poruke
Rezultat æ ͳ
175
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
VEŽBA 8. æȋǡͶȌǡǣ « ሺ݊݇ሻǡ « ݇ ǡ݊«Ǥ݊ ൌ ݉ ݇ǡ݉« æǤ«æǡ æ«ǣ ʹ ݇ ݉ ͳǤ ǡ©©ǡæ ©Ǥ © ሺǡͶሻ Ǥæǡ݉ ൌ ͵Ǥ ǣ ʹଷ Ͷ ͵ ͳǡ æǤ ሺǡͶሻǡ « ā Ͷ ǡ ͵ « āǤæ©ā æǡ«©æ Ǥ © ܪǤ æ æ ͳ Ǥ ǡ ͲͲͳ ͳǤ
Ͳ
Ͳ
Ͳ
ͳ
ͳ
ͳ
ͳ
Ͳ
ͳ
ͳ
Ͳ
Ͳ
ͳ
ͳ
ͳ
Ͳ
ͳ
Ͳ
ͳ
Ͳ
ͳ
Ǥ ܼ ൌ ܷ ȉ ܩǡ ܷ ǡ ܩ
176
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ ܼ Ǥ ܩǤ
Ǥ« æ ܪǤ ȋͲͲͳ ൌ ͳǡͲͳͲ ൌ ͳǡ Ͳͳͳ ൌ ͲǡͳͲͲ ൌ ͳǡͳͲͳ ൌ ͲǡͳͳͲ ൌ Ͳǡͳͳͳ ൌ ͳȌ Ǥ ܷ ൌ ͳͲͲͲǤ ā Ǥ ͳ ͳ Ͳ ͳ
ͳ Ͳ ͳ ͳ
ͳ Ͳ Ͳ Ͳ
ࡳ Ͳ ͳ ͳ ͳ
Ͳ ͳ Ͳ Ͳ
Ͳ Ͳ ͳ Ͳ
Ͳ Ͳ ൈ Ͳ ͳ
ࢁ ͳ ͳ ͳ Ͳ Ͳ Ͳ = Ͳ Ͳ Ͳ Ͳ Ͳ Ͳ
ͳ Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ Ͳ
ࢆ Ͳ Ͳ = 1110000 Ͳ Ͳ
© Ǥ ǡ ¯ « ¯ æ Ǥ āܵ ൌ ܼ ȉ « ܪǡ æ«ͲǤ͵ǡ©«æ©Ǥ © Ǥ Ͳ Ͳ Ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ ͳ
ࡴ ͳ Ͳ Ͳ ൈ ࢆ Ͳ
ͳ Ͳ ͳ
ͳ ͳ Ͳ
ͳ ͳ ͳ
=
Ͳ Ͳ ͳ
Ͳ
Ͳ
Ͳ
Ͳ ͳ Ͳ
Ͳ ͳ ͳ
Ͳ Ͳ Ͳ
ࡿ Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ
=
Ͳ Ͳ ʹ α Ͳ ʹ Ͳ ܵ ൌ Ͳǡ æ
ȋͲǡʹǡʹȌ ܪȉ ܼǤ ȋȌ ¯«Ǥ
177
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ © «Ǥ æ æ© Ǥ ¯ «ǡ « «Ǥ Ͳ Ͳ Ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ 0
ࡴ ͳ Ͳ Ͳ ൈ ࢆ Ͳ
ͳ Ͳ ͳ
ͳ ͳ Ͳ
ͳ ͳ ͳ
=
Ͳ Ͳ ͳ
Ͳ ͳ Ͳ
Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ
ࡿ Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ
Ͳ Ͳ Ͳ
=
Ͳ
Ͳ
Ͳ
Ͳ Ͳ ͳ α ͳ ͳ ͳ ܵൌ͵ æ
«ܵ ൌ ሺͲͳͳሻ , ā « æ © Ǥ æǤܷܷ ൌ ܼ ᇱ ْ ܵǡ ܼ ᇱ « æ āæǤ ࢆᇱ ͳ ͳ Ͳ Ͳ Ͳ Ͳ Ͳ ࡿ Ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ࢆ ͳ ͳ ͳ Ͳ Ͳ Ͳ Ͳ
«ࡼ ǡ «ࡵ ܲଵ ܲଶ ܫଶ ܲଷ ܫଶ ܫଷ ܫସ 1
1
1
0
0
0
0
ܫଵ ͳ
ࢁ
ܫଶ ܫଷ Ͳ Ͳ Kraj.
ܫସ Ͳ
æǦǦǣ ©Ǧ©ȋǡͶȌǤ݊Ǧ« ā «ǡݎǦ « ǡ ݇Ǧ Ǥ ǣ εεαʹȋΪͳȌ
178
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
α͵ ǣ εεαǦʹȋΪͳȌ αͶ
«ǣ εεα ʹȋȋͳͲͲȗͶǡͳǡȏͲǡͳȐȌǡȌǢ
ͷǤͳͺ
¯ Ǧǣ εεα ȋǡǡǡ̵Ȁ̵ȌǢ
ͷǤͳͻ 179
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ ǡ æ ¯ æǣ εεαȋΪȋͳͲͲǡǡȏͲͳǢǤʹͷ ǤͷȐȌǡʹȌǢ æ ǡ © æ ǣ εεȏ ǡȐαȋǡȌ αͲ αͲǤͳͲͲͲ æǣ εεα ȋǡǡǡ ̵Ȁ̵ȌǢ ȋǡͶȌ ¯ æȋͳͲΨæȌǣ εεȏ ǡȐαȋǡȌ αͲ αͲ æǦǡ æǣ
ͷǤʹͲ©æͲǡͲʹ
æǣ
180
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷǤʹͳ©Ͳǡͷ
æ« ǣ
ͷǤʹʹ æǡ©æͲǡͲʹ
©æͲǡͲʹǡ ͳǤ sid «« æǤ
181
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ«æǣ
ͷǤʹ͵«æ
ȋ ͷǤʹ͵Ȍ æ æ Ǥ ͳͲͲ æ © ©¯Ǥ æǣ
ͷǤʹͶ
182
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ā Ǥ ā Ͷͳͻ ͳͲͲæǤ æ Ǧ æ « ǡ æ æ Ǥ
ͷǤʹͷ©æͲǡͲʹæǡͶ
ȋͷǤʹʹȌ æ ȋǡͶȌǤ© æǣ
ͷǤʹȋǡͶȌ
183
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æǣ
ͷǤʹ ©Ͳǡͷ
ǡ «Ǥ© ǷFrame-based outputsdz ǷSamples per framedz ͶǤ Ͷ ݇ æǤ
ͷǤʹͺ¯æ¯
ȋ ͷǤʹͺȌǡ æͺͲǤ 184
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
VEŽBA 9. ǡǣ
« æ æ© « æǡ æ æ æ « Ǥ æ ǡ Ǥ © « Ǥ « æ ¯ « ¯ Ǥ « «Ǥ © Ǧ æ æ æǤ « æǡͶǤ Postavka parametara modela sa i bez primene interlivera. æ«ǣ εεͳαʹʹʹͳǢʹαͶͺ͵ͳǢ ¯ǣ εεαǢαͶǢ
æ«ǣ εεαȋȗͷͲͲǡͳǡʹǡͳȌǢ ǣ εε̴α ȋǡǡǡ̵Ȁ̵ȌǢ
185
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ«æǣ εεαȋȋ̴ȌȌǢȋǦʹǣΪ͵ȌαȏͳͳͳͳͳͳȐǢ Rezultat sa primenom interlivera. ǣ εεαȋ̴ǡʹȌǢ æ ǣ εε̴αȋǡȌǢ ǣ εεαȋ̴ǡʹȌǢ ǣ εε̴α ȋǡǡǡ̵Ȁ̵ȌǢ «æǣ εεȋ̵ǡǣ̵ȌǢ εεȏ̴ǡ̴Ȑαȋǡ̴Ȍ ̴αͲ ̴αͲ Rezultat bez primene interlivera. æ ǣ εε̴̴αȋ̴ǡȌǢ ǣ εε̴α ȋ̴̴ǡǡǡ̵Ȁ̵ȌǢ 186
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
«æǣ εεȋ̵ǡǣ̵ȌǢ εεȏ̴ǡ̴Ȑαȋǡ̴Ȍ ̴αͶ ̴αͲǤͲͲʹͲ
187
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
6. KRIPTOGRAFIJA – INFORMACIONO TEORIJSKI UVOD ©ǣ Šta je predmet i cilj kriptografije? Teorijska postavka problema kriptografije u okviru teorije informacija. Šta je perfektan tajnost i kako se postiže? Šta je taka jedinstvenosti i kakav je njen znaaj?
Ǥͳ ¯«Ǥ
æȋǤͳȌǣ ܥൌ ሺǡ ሻ െ æǡ െ ǡ െ «ǡ ሺȁǡ ሻ ൌ Ͳǡ æ«ǡ¯«ܥ ܭܯǤ æǣ ݀ሺ݁ሺܯǡ ܭሻǡ ܭሻ ൌ ܯǡ
188
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ«Ǥæ¯ «ǡǣ ܪሺܯȁܥǡ ܭሻ ൌ Ͳ ā « ሺȁǡ ሻ ൌ Ͳǡ ሺȁǡ ሻ ൌ Ͳ ሺȁǡ ሻ ൌ ͲǤǡ ©æ«ܥܯǤ ¯ǡæȋȌǡ ««āሺȁǡ ሻ ൌ ͲǤ æǣ ͳǤ æ ȋȌǡ © ܥ ܯǡ ܭǤ ʹǤ æ ȋ Ȍǡ © æ ܥܥᇱ ǡܭǤ « Ȁ ǡ āܥ ܭܯǤ« ǣ ͳǤ æ æ ȋ Ȍ «Ǥ ʹǤ «ܭǤ ͵Ǥ ȋܯܭȌǤ ͶǤ ««Ǥ
189
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǤͳǤ DEFINICIJA 6.1 e ǡ ¯ ©ܯæܥǡǣ ሺǢ ሻ ൌ ͲǤ TEOREMA 6.1 æ © « ©Ǥ TEOREMA 6.2 æ ¯ «ሺሻ ¯ሺሻሺሻ ሺሻǤ « æ « Ǥ PRIMER 6.1ǦǦǤ æ Ǥ ǡ ««« ൌ ଵ ǡ ଶ ǥ ୬ ǣ ሺܭ ൌ Ͳሻ ൌ ሺܭ Ͳȁܭଵ ǡ ǥ ǡ ܭିଵ ሻ ൌ ͲǤͷ ݊« © Ǥ e ǣ ୧ ൌ ୧ ୧ Ǥ «Ǥ«æ «ǡǤ
190
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǤͳǤͳǤ e ǣ æ « æ ©Ǥ ݅ǡ݆ǣ ൫ܯ หܥ ൯ ൌ ሺܯ ሻǤ
Ǥʹ « æ
ǣ
݅ǡ ݆ǣܲሺܯ ȁܥ ሻ ൌ ܲሺܯ ሻ eǣ
ܯǡ ܲܥሺܥȁܯሻ ൌ ܲሺܥሻ ǡǣ
ܯǡ ܲܥሺܯȁܥሻ ൌ ܲሺܯሻǡ «ǡ æ ā Ǥ
191
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
PRIMER 6.2 ǦæǤ ݇ ൌ ͲͳͳͲͲͳͲͳͳͲͲͲͳ ݉ ൌ ͳͳͲͲͳͳͲͳͲͳͲͳͲ ܥൌ ͳͲͳͲͳͲͲͲͳͳͲͳͳ TEOREMA 6.3 ǦæǤ DOKAZ ͳ ǣ ሺܥ ൌ Ͳȁܥଵ ǡ ǥ ǡ ܥିଵ ǡ ܯଵ ǡ ǥ ǡ ܯ ሻ ൌ ሺܯ ൌ Ͳȁܥଵ ǡ ǥ ǡ ܥିଵ ǡ ܯଵ ǡ ǥ ǡ ܯ ሻ ȉ ሺܭ ൌ Ͳሻ ሺܯ ൌ ͳȁܥଵ ǡ ǥ ǡ ܥିଵ ǡ ܯଵ ǡ ǥ ǡ ܯ ሻ ȉ ሺܭ ൌ ͳሻ ൌ ͲǤͷሾሺܯ ൌ Ͳȁܥଵ ǡ ǥ ǡ ܥିଵ ǡ ܯଵ ǡ ǥ ǡ ܯ ሻ ሺܯ ൌ ͳȁܥଵ ǡ ǥ ǡ ܥିଵ ǡ ܯଵ ǡ ǥ ǡ ܯ ሻሿ ൌ ͲǤͷ «ǣ ሺܥଵ ȁܯଵ ǡ ǥ ǡ ܯ ሻ ൌ ͲǤͷǡ ሺܥ ȁܥଵ ǡ ǥ ǡ ܥିଵ ሻ ൌ ͲǤͷ ݅ǡ ͳ ݅ ݊ǡ ܲሺܥȁܯሻ ൌ ܲሺܥሻǡǤܫሺܥǢ ܯሻ ൌ ͲǤ
192
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǤͳǤʹǤ , e
©« Ǥ
¯ ܼ ൌ ܺ۩ܻǤ
Ǥ͵¯ 193
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǤͳǤ͵Ǥ e Ǧ
ǤͶǦǦ
āܪሺܭሻ ܪሺܯሻǤ
ǣ ܪሺܭܥ݈ܯሻ ൌ ͲǤ ܫሺܥǢ ܭሻ Ͳ ՜ ܾ ܽǡܽǣ ܪሺܭሻ ܾ െ ܽ ܿ ܽ െ ܽ ܿ ൌ ܪሺܯሻǤ
Ǥͷe 194
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǤʹǤ , « æ ¯ ¯ æ Ǥ e æǡ«« Ǥ Šta možemo rei o praktino upotrebljivijim, ali neperfektnim šifarskim sistemima? eǤ ǡǣ Ƚሺሻ ൌ ሺȁଵ ǥ ୬ ሻǤ æ æ æ ܥǡ © æ «ܭǤ ǡ«ǣ Ƚሺሻ ൌ Ͳ
୬՜ஶ
«æ݊Ƚሺሻ ؆ ͲǤ DEFINICIJA 6.2«Ǥ «݊āǣ ܪሺܭȁܥଵ ǥ ܥ ሻ ؆ ͲǤ ǤʹǤͳǤ , , ǡ « « æ «ǡ««ܭǤ ««æ©Ǥ
195
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ«Ȃæ
TEOREMA 6.4 āǣ ܥ ܯā݊ Ǥ e ā¯ǣ ሺ୬ ሻ ؆ ǡ æāǤ « ሺ୬ ǡ ሻ ൌ ሺ୬ ሻ ሺሻǡ æ«Ǥ« ൎ
ୌሺሻ ୖሺሻȉ୪୭ ୈ
ǡ
ܴሺܯሻܯæǡǣ ሺሻ ൌ ͳ െ
196
ୌಮ ሺሻ ୪୭ ୈ
Ǥ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
DOKAZ: ݊ǡāǣ ሺ୬ ሻ ൎ ȉ ஶ ሺሻǡ ுሺ ሻ
ᇩᇭᇭᇭᇭᇭᇭᇭᇪᇭᇭᇭᇭᇭᇭᇭᇫ ܪሺܭȁܥ ሻ ൌ ܪሺܯ ܥܭ ሻ െ ܪሺܯ ȁܥܭ ሻ െ ܪሺܥ ሻ ൌ ܪሺܯ ܥܭ ሻ െ ܪሺܥ ሻ ൌ ܪሺܯ ܭሻ െ ܪሺܥ ሻ ൌ ܪሺܯ ሻ ܪሺܭሻ െ ܪሺܥ ሻ ൌ ݊ ȉ ܪஶ ሺܯሻ ܪሺܭሻ െ ݊ ȉ ܦ «ǣ ܪሺܭȁܥ௨ ሻ ൌ Ͳǡ ǣ ݑሺܪஶ ሺܯሻ െ ܦሻ ܪሺܭሻ ൌ Ͳǡ ǣ ݑൌ
ܪሺܭሻ ܪሺܭሻ ൌ Ǥ ܦെ ܪஶ ሺܯሻ ܴሺܯሻ ȉ ܦ
PRIMER 6.5«Ǥ ʹ «© ¯ « æ « ʹͲ Ǥ ܪሺܭሻ ൌ ʹͲʹǤ ʹǡ ܴሺܯሻ ൌ ͳ െ ʹȀ݈ʹ݃ ൎ ͲǤͷͺǤ « æ ǣ ݑൌ
ܪሺܭሻ ʹͲ ȉ ሺʹሻ ൌ ؆ ͵ͷ ܴ ܦሺʹሻ െ ʹ
197
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« æ ā ͵ͷ ǡ « ā«Ǥ «ݑǡ ǡ«æ « ¯ «Ǥ ¯ǡ « ā¯«ܭæ« eǤ ǤʹǤʹǤ * , «©« ©ǡæǡ© Ǥ æǤ ©ǣ ሺ୬ ሻ ؆ ǡ ሺሻ ؆ Ͳǡ ՜ λǤ PRIMER 6.6 « æ ͻ ǡ«͵Ȁǡ«͵͵ ǣ ݑൌ
͵͵ ൌ ͻǤʹǡ ͻ െ ͵
ܴ ൌͳെ
͵ ൌ ͷͶǤͶΨǤ ͻ
PRIMER 6.7 «æǡ ʹͷΨǡ«āͳǣ ݑൌ 198
ͳ ൌ ͶǤ ͲǤʹͷ ȉ ͳ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ͵Ǥ «©ǣ Zašto su autentifikacija i tajnost teoretski nekompatibilni? Kako obezbediti autentifikaciju u praksi? ¯ā Ǥ «ܥǡ Ǥ «« Ǥ ©Ǥ TEOREMA 6.7 ©୍ ǡ ǡ«ǣ ୍ ʹି୍ሺେǢሻ ©««ܭܥ «ǡǤ ā«Ǥ « ¯ « Ǥ ǡ Ǥ æ « ǡǣ ܫሺܥǢ ܭሻ ൌ ܫሺܥǢ ܭሻ ܪሺܭሻ െ ܪሺܯሻ െ ܪሺܭȁܯǡ ܥሻǡ
199
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǣ ܫሺܥǢ ܯሻ ൌ Ͳሺȁǡ ሻ ൌ Ͳǡ ǣ ܫሺܥǢ ܭሻ ൌ ܪሺܭሻ െ ܪሺܯሻǡ æ«ǣ ܲூ ʹுሺெሻିுሺሻ Ͳǡ ǣ ൫ܪሺܭሻ ܪ بሺܯሻ൯ǡ æ««Ǥ
©æ ǣ ܫሺܥǢ ܭሻ Ͳ بǡ « Ǥ æ Ǥ
200
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
7. BIBLIOGRAFIJA A. J. Viterbi and J. K. Omura. Ǥ ȏȐǤǦǣ ǦǡͳͻͻǤ Aiden A. Bruen, Mario A. Forcinito ǡ ǡ Ǧ ȏȐǤǦ ǣ ƬǡʹͲͲͷǤ Blahut, Richard E. ȏȐǤǦ ȏǤǤȐǣ Ǧǡͳͻͺ͵Ǥ Dušan B. Draji, Predrag N. Ivaniš ȏȐǤǦǣǡʹͲͲͻǤ F. Bavaud, J.-C. Chappelier, J. Kohlas ȏȐǤǦʹͲͲͷǣȏǤǤȐǤ Lang, Serge.ȏȐǤǦȏǤǤȐǣǦǡͳͻͻ͵ǤǦǤǤ Lin, Shu and Daniel J. Costello, Jr. ǣ ǤȏȐǤǦȏǤǤȐǣ Ǧǡͳͻͺ͵Ǥ N. M. Abramson. ǤȏȐǤǦǣ Ǧ ǡͳͻ͵Ǥ R. Adler. ȏȐǤǦ ȏǤǤȐǣ ǤǤǤ ǡͳͻͳǤǦͳʹǣͻʹͶǦͻ͵ͲǤ Raymond W Yueng ȏȐȀȀ ǤǦͳͻͻͳǤǦǤ͵Ǥ Shannon C. E. ȏ,ȐȀȀ ǤǦͳͻͶͺǤǦǤ͵ͻǦͶʹ͵Ǥ Van Lint, J. H. ȏȐǤǦ ȏǤǤȐǣ Ǧǡ ͳͻͺʹǤ 201
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
DODATAK A – UVOD U MATLAB OKRUŽENJE Ǧ ā ā ̺ Ǥ © ǷMATrix LABaratory̶ ȋǷ ̶ȌǤ ͳͻͲǦ ȋ Ȍǡ æ Ƿ ̶Ǥ © ȋǤ RAD-rapid application developmentȌ Ǥ ̺ ā ¯ « ā ǡ Ǧæ Ǥ Ǥā Ǥ ǦǤ ǣ
ܺǣ
εεαȏͳ͵ͷͻͳͳȐ
ā«ܺ«ǣ
εεαͳǣʹǣͳͳ
αͳ͵ͷͻͳͳ
ܺǣ
εεα̵
α ͳ ͵
202
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͷ ͻ ͳͳ
ܼͷ͵ͲͷǤ εεαͷǣͷǣ͵Ͳ αͷͳͲͳͷʹͲʹͷ͵Ͳ ܼcommand windowǤā © © æ © ǣ εεȋ͵Ȍ αͳͷ « ans Ǥ Ǧ ¯ ǡ ans. Ǧǣ
εε
ǣ ǡǤ ǣ
εε
203
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳͳͺ ͳͶͺ ͳͶͺ ͳͶͺ ā ǡ©ǣ
εεȏǡȐαȋȌ αͳ α
εεȋȌ α
ā« Ǧǡ©ǣ
εε
ǡā«¯ǣ εε ǡā©ǣ
εε
ǡ ā « ǡ ǣ
204
εε
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǣ εεαȏͳ͵ʹͳ͵ǢͷͳͲͳͳͺǢͻͳʹǢͶͳͷͳͶͳȐ α ͳ͵ʹͳ͵ ͷͳͲͳͳͺ ͻͳʹ ͶͳͷͳͶͳ « ǣ
εεȋȌ
α͵Ͷ͵Ͷ͵Ͷ͵Ͷ ǣ εε̵ α ͳͷͻͶ ͵ͳͲͳͷ ʹͳͳͳͶ ͳ͵ͺͳʹͳ «ǣ
εεȋȌ
αͳ ͳͲ
205
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͳ
εεȋȋȌȌ α͵Ͷ
ā ǣ
εεȋʹǡͶȌ αͺ
ǣ εεαȋʹǡ͵Ȍ αͲͲͲ ͲͲͲ
εε αͷȗȋʹǡ͵Ȍ αͷͷͷ ͷͷͷ
εεαͳͲȗȋͳǡͺȌ
αǤͷͷͶͲǤ͵ͷͳͺǤͶͻͳ͵ͻǤ͵͵ͻͻǤͺͶǤͷͶǤͶ͵ͳ͵͵Ǥͻʹʹ͵ ȂǤ ǤǤ©© ā«ǣ αȏͳǤͲ͵ǤͲʹǤͲͳ͵ǤͲ ͷǤͲͳͲǤͲͳͳǤͲͺǤͲ ͻǤͲǤͲǤͲͳʹǤͲ 206
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͶǤͲͳͷǤͲͳͶǤͲͳǤͲȐǢ ǡā«ǡ©©ǣ εε ǣ
εε
αͳ͵ʹͳ͵ ͷͳͲͳͳͺ ͻͳʹ ͶͳͷͳͶͳ ©Ǥ ǣ
εεαȏΪ͵ʹǢΪͶͺΪͳȐ
αͳ͵ʹͳ͵Ͷͺ͵ͷ͵ͶͶͷ ͷͳͲͳͳͺ͵ͶʹͶ͵ͶͲ ͻͳʹͶͳ͵ͺ͵ͻͶͶ ͶͳͷͳͶͳ͵ͶͶ͵͵ ͶͷͳͷͲͳ͵ʹͳͻͳͺʹͻ ͷ͵ͷͺͷͻͷʹͳʹʹʹͶ ͷͷͶͷͷͲʹͷʹʹʹ͵ʹͺ ͷʹ͵ʹͶͻʹͲ͵ͳ͵Ͳͳ
εεαȋͳǣʹǣͳȌ̵Ǣ 207
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
εε αͳ ͵ ͷ ͻ ͳͳ ͳ͵ ͳͷ εεαʹȋȌ αͲ ͳǤͷͺͷͲ ʹǤ͵ʹͳͻ ʹǤͺͲͶ ͵Ǥͳͻͻ ͵ǤͶͷͻͶ ͵ǤͲͲͶ ͵ǤͻͲͻ ā Ǥexcel ǤǤ ȏͶ ͶȐǤ ǷͳDz Ƿ DzǤ æ xlsfinfoȋȌ excelǤ 208
εεȏǡȐαȋ̵ Ǥ̵ȌǢ
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
εε α εε α̵ ̵̵ʹ̵̵͵̵ ā ǡǣ εεαȋ̵ Ǥ̵ǡ̵ ̵ȌǢ εε αͳʹ͵Ͷ ʹ͵Ͷͷ ͵Ͷͷ Ͷͷ æ excelǤ εεαȏΪͳʹǢΪͷΪͺȐǢ εε αͳʹ͵Ͷͳ͵ͳͶͳͷͳ ʹ͵ͶͷͳͶͳͷͳͳ ͵Ͷͷͳͷͳͳͳͺ Ͷͷͳͳͳͺͳͻ ͺͻͻͳͲͳͳͳʹ ͺͻͳͲͳͲͳͳͳʹͳ͵ 209
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ͺͻͳͲͳͳͳͳͳʹͳ͵ͳͶ ͻͳͲͳͳͳʹͳʹͳ͵ͳͶͳͷ εεȋ̵ Ǥ̵ǡǡ̵ ̵ȌǢ
« Ǥ © excel ©āǣ
210
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
©āǣ εεαȋ̵ Ǥ̵ǡ̵̵ȌǢ εεαȋ̵ Ǥ̵ǡ̵ ̵ȌǢ εε αͳʹ͵Ͷ εε αͲǤͷͲͲͲͲǤ͵ͷͲͲͲǤͳʹͲͲͲǤͲ͵ͲͲ ©«ǣ εεα ȋǡȌǢ
211
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
εε αȏͳȐȏͲȐ ȏʹȐȏͳʹȐ ȏ͵Ȑȏͳ͵Ȑ ȏͶȐȏͳ͵Ȑ
Ǥ ©æͷͲǤ εεαȋȏ͵͵ͳ͵͵͵͵͵ʹ͵ȐǡͳǡͷͲȌǢ « ǣ εεαȏͳʹ͵ȐǢ «¯©͵ǣ εε αȏͲǤͳͲǤͳͲǤͺȐǢ «ǣ 212
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
εε α ȋǡ ȌǢ
ǣ εε α ȋǡ ȌǢ
ǣ εε α ȋ ǡ ȌǢ
213
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
DODATAK B – JEDNA PRIMENA GREŠAKA U KRIPTOGRAFIJI
KODOVA
ZA
ISPRAVLJANJE
©æ æ«Ǥ ā « æ« ǡ Ǥ « æ « « æǤ
«æ
« æ ā æ Ǥ ǣ æǤ æ 214
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
« ā ǤͳͳͲǤ Komponenta 1Ǧ ææ« «Ǥ « « « « © © āǤ « ǡ © « « Ǥ « « ā æ «Ǥ Komponenta 2Ǧ æ æ Ǧ Ǥ æ «ܭ Ǧ Ǥ æ ā ǡ ǡ « « ā« ǷdzǤ Komponenta 3 Ȃ Ǥ æ « « ā Ǥ ͵Ǥ«ǡāāā ¯ æ«Ǥ æā Ǧ Ǥ © « « ǡ æ Ǥ ǡ « Ǥ Ǧ ©Ǥ
215
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Komponenta 4 – æ Ǥ « Ǥ æ æ ¯«Ǥæ « ȋǤ Random interliverȌǤ ©Ǥ Komponenta 5 - « Dzdz æ « « Ǥ ©«ǡ ǡ©ǷǦdz Ǥ Komponenta 6 - Ƿdz Ǥ ««««Ǥ ©«Ǥ ææ Ǥ Komponenta 7 - « ā æ « «««Ǥ « ͵Ǥ Komponenta 8 - « ͶǤ ā «ܭǤ « āǤ «ǡ Ǥ Komponente 9 i 10Ǧ ǡ æ«««ͷ 216
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ ǡ « Ƿdz ««ǤǦ æǤ « ȋͳȌǡ « æ © æ æ «Ǥ ©ǡ Ǥ Analiza ekvivalentnog kanala ā « ¯ © ǡ æ ǡ « āǤ æ æ « æ ©Ǥ
« «Ǥ ǡ ā 217
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Ǥ « ā « Ǥ e ā ǡ ǡ ǡ æǤ ǡā æ æ ā Ǥ © æ ǡ Ǧ « æ ǡ æ Ǥ ā æā æǤ ǡ © Ǥæ « ¯ ā Ǥ ǡ ǦæǤ æǤ e āǡǡ Ǥ « ܭæ ǤeǡæǤ ǡ ȋǡȌ æǤ ǡ « ܭǦ æ ¯ æǤ «ܭǦ« ܭԢ«ܭǤ ā « ǡ Ǥ« æ « e ǡ ¯ͳͻͶͺǤǡ ©« ǡā ©āæǡ Ǥ 218
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Uloga zaštitnog koda i interlivera
æ©ǡ© Ǥ ǡ©æ© Ǥ ǡ ǣ x x x
æǢ æǢ æǢ
Izbegavanje grešaka « æ Ǥ ȋȌ« ǡ « ȋ ȌǤ ææ Ǥ Ispravljanje grešaka « æǤ ææǤāā © æǡ æǤ ā æ ȋ« KȌǡ ā æǤ « © « Ǥ æ©ǦǤæ ǡǡ ȋǤburstȌæǤæ «ǤǦ ǡ « Ǥ Ǧ ܴܵሺ݊ǡ ݇ǡ ݐሻ GF (2 n ) Ǥ Ǧ ȋ Ȍ ā æǤ ȋȌǤ ¯ 219
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ǡ © ā© Ǥ Smanjenje grešaka « æ©Ǥæ« Ǥ Ǥ ā Ǥ « æ© «Ǥ« © ǡ © æ© Ǥ Motiv za uvoenje zaštitnih kodova i interlivera æ « Ǥ æ ¯ « Ǥ ǡ Ǥ ©« æǤ «ܭǤ æ « Ǥ ǡæ«ܭæǤ«ǡ « ǣ ܥൌ ሺܭǢ ܭᇱ ሻ ൌ ͳ
220
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
æ
ā©« ǣ Ǥ «ǡ ͳͲΨǦʹͲΨǡ «ͶͲΨͲΨǤ ǡ Ǥ æ æ ȋǤ rror correcting codeȌǡ Ǥ æ « ǡ āǤ ǡ ǡ æ æ « «ܭǡ « ǡ «ܭǡ « æ æ ā « ܭæǡ ܫሺܭǢ ܭᇱ ሻ ൌ ͲǤ ǡ ܭൌൌ ܭԢǡ ܭԢæ«Ǥ ¯ « ܪ « ¯ܫǡ ««ܭǤ
221
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
ææǤ ¯ ā æǤ « æ æǤ ā«« « ǡ ǡ © Ǥ
222
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
RENIK POJMOVA
A Algoritam - æǤ ArnostȂ«Ǥn-ǣnǡ «Ǥ
B BSC – «Ǥ BSS –«Ǥ Blok kodȂ«āǡǤ
G Generator matrica Ȃ ǡ ¯ «Ǥ
D Dekodovanje – «Ǥ
E Entropija – «¯Ǥ
I Informacioni izvor – Ǥ
223
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
K Kapacitet kanala - « « « Ǥ Kodna re- Ǥ Kriptoanaliza - æǤ Komunikacioni kanal - æ æ ¯ Ǥ Kompletan kod-«āæ©Ǥ Kodovanje- «Ǥ Kriptološki klju - © āǡ « Ǥ«ææǤ Kriptograf - æǤ Kriptoanalitiar - æǤ Kriptografija - æǤ Kriptoanaliza - æǤ
L Linearni kod – « Ǥ
M MAC - «Ǥ Minimalna distanca - ȋ Ȍ ¯««Ǥ 224
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
Minimalna distanca dekodovanja - «ā«Ǥ
N Nula kodna re – ««
O One-time pad - ææ««Ǥ «««āǤ« Ǥ Oekivana dužina koda-«ā«Ǥ Jednosmerna funkcija - « «æ©Ǥ
P Poruka - ¯ ǤāæǤ Perfektna tajnostȂ «Ǥ PKI - «Ǥā« ¯ āǤ PRNG - « ¯««Ǥ
225
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
R RSA - «ǡ ǡ e ͳͻǤ ā Ǥ æǡ ǦǤ
S Stacionarni izvorȂ «Ǥ SindromȂ« Ǥ
T TRNG - «Ǥ© Ǥ Težina reiȂ Ǥ
F Faktorizacija - « Ǥ
H Hemingovo rastojanje - ¯ ¯ āǤ Hafmanov kodȂ« āǡ ©Ǥ
226
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
C CRC – ȋǤ Cyclic Redudancy CheckȌǤ æ ǡ æǤ«æǡǤ Ciklini kod-ǡ«¯ «Ǥ
Š Šifra - æǤ « æǤ «ǡ««ǡ« Ǥ Šifrat - æ «Ǥ Šifrovanje - æǤ
227
Osnovi teorije informacija i kodovanja ______________________________________________________________________________________
228
Na osnovu člana 23. stav 2. tačka 7. Zakona o porezu na dodatu vrednost („Službeni glasnik RS”, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Senata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga je odobrena kao osnovni udžbenik na Univerzitetu.
CIP - Каталогизација у публикацији Народна библиотека Србије, Београд 519.72(075.8) 004.22(075.8)
МИЛОСАВЉЕВИЋ, Милан, 1952Osnovi teorije informisanja i kodovanja / Milan Milosavljević, Saša Adamović. - 1. izd. - Beograd : #Univerzitet #Singidunum, 2013 (Loznica : Mladost grup). - 228 str. : ilustr. ; 24 cm
Tiraž 300. - Rečnik pojmova: str. 223-227. Bibliografija: str. 201. ISBN 978-86-7912-506-4 1. Адамовић, Саша, 1985- [аутор] a) Теорија информација b) Кодирање COBISS.SR-ID 200845580
© 2013. Sva prava zadržana. Nijedan deo ove publikacije ne može biti reprodukovan u bilo kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglasnosti izdavača.
×
Report "US - Osnovi Teorije Informacija i Kodovanje"
Your name
Email
Reason
-Select Reason-
Pornographic
Defamatory
Illegal/Unlawful
Spam
Other Terms Of Service Violation
File a copyright complaint
Description
×
Sign In
Email
Password
Remember me
Forgot password?
Sign In
Our partners will collect data and use cookies for ad personalization and measurement.
Learn how we and our ad partner Google, collect and use data
.
Agree & close