US - Osnovi Teorije Informacija i Kodovanje

UNIVERZITET SINGIDUNUM       

   

OSNOVI T EOR I J E INFO RMACIJA I KO D OVA N JA    

Beograd, 2013.

OSNOVI TEORIJE INFORMACIJA I KODOVANJA Autori:                 ! "     UNIVERZITET SINGIDUNUM #$ !  %& '''( # ()(                 * Godina izdanja: 2013.  370 primeraka Štampa:  +/ ) 456 89;<;=<98>&
C-F#*6 H &@>%( J    #  4  K  -( L-) - *   )   -O)    (



„Dobar naunik je onaj ko misli kao i svi drugi, a vidi nešto što niko drugi nije video. Genije je onaj ko vidi isto što i svi drugi, a misli nešto što niko drugi nije pomislio" Ž„‡”–‡–ǦŒ‡”†Œ‹

SADRŽAJ

ͳǤ

ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ

1.1.

Pojam informacije ................................................................................................. 11

1.2.

Informacijska hijerarhija ................................................................................... 12

1.3.

Informaciono društvo .......................................................................................... 14

1.4.

Teorija informacija kao akademska disciplina .......................................... 16

ʹǤ

     ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻ

2.1. Entropija – izbori mogunosti sa poznatim verovatnoama ................. 27 ʹǤͳǤͳǤ ˜‘Œ•–˜ƒ‡–”‘’‹Œ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͻ ʹǤͳǤʹǤ ƒāƒ•˜‘Œ•–˜ƒ‡–”‘’‹Œ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵ʹ ʹǤͳǤ͵Ǥ ƒ”ƒ–‡”‹œƒ…‹Œƒ‡–”‘’‹Œ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵͵ ʹǤͳǤͶǤ Ž—«ƒŒ‡˜‡Ž‹«‹‡Ǧ’‘†•‡–‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵͵ ʹǤͳǤͷǤ •Ž‘˜‡‡–”‘’‹Œ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵ͷ ʹǤͳǤ͸Ǥ œƒŒƒƒ‡–”‘’‹ŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͵͸ 2.2. Informacija i njena mera .................................................................................... 44 ʹǤʹǤͳǤ ’•‡”˜ƒ…‹Œ‡‹†‘‰ƒ¯ƒŒ‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶͶ ʹǤʹǤʹǤ œƒŒƒƒ‹ˆ‘”ƒ…‹ŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶ͸ ʹǤʹǤ͵Ǥ ”ƒˆ‹«ƒ’”‡œ‡–ƒ…‹Œƒ‹ˆ‘”ƒ…‹‘‘Ǧ–‡‘”‹Œ•‹Š˜‡Ž‹«‹ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͶͺ ʹǤʹǤͶǤ ‡Žƒ–‹˜ƒ‡–”‘’‹ŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͳ 2.3. Šenonova matematika teorija informacije ................................................ 53 ʹǤ͵ǤͳǤ ‘†‡Ž‘˜ƒŒ‡‹œ˜‘”ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͶ ʹǤ͵ǤʹǤ e‡‘‘˜‹‘†‡Ž‹ƒ’”‘•‹ƒ…‹Œ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷͶ ʹǤ͵Ǥ͵Ǥ –”‘’‹Œƒ‹œ˜‘”ƒ—‘†‘•—ƒƒ’”‘•‹ƒ…‹Œ—‘†‡ŽƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷ͸ ʹǤ͵ǤͶǤ e‡‘‘˜ƒ–‡‘”‡ƒœƒ‘†‘˜ƒŒ‡„‡œ‰—„‹–ƒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͷ͹ 2.4.

Laboratorijski rad ................................................................................................. 60

III

͵Ǥ

     ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͹ʹ

3.1. Kodovanje jedne sluajne veliine .................................................................. 73 ͵ǤͳǤͳǤ NǦƒ”ƒ•–ƒ„Žƒ‘†‘˜ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤ͹͹ ͵ǤͳǤʹǤ ”ƒˆ–‘˜ƒ‡Œ‡†ƒ‘•–ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺͲ 3.2. Efikasno Kodovanje .............................................................................................. 83 ͵ǤʹǤͳǤ ‡”‘˜ƒ–‘•‘Ǧƒ”ƒ‘•–ƒ„Ž‘ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺ͵ ͵ǤʹǤʹǤ e‡‘‘˜ƒ–‡‘”‡ƒ‘‘†‘˜ƒŒ—„‡œ’”‹•—•–˜ƒ族ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͺ͹ ͵ǤʹǤ͵Ǥ ƒˆƒ‘˜‘†ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͳ ͵ǤʹǤͶǤ ’–‹ƒŽ‘•–ƒˆƒ‘˜‘‰‘†ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͶ 3.3.

Laboratorijski rad ................................................................................................. 96

ͶǤ

    ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͻͻ

4.1. Komunikacioni kanali ...................................................................................... 100 ͶǤͳǤͳǤ ƒ’ƒ…‹–‡–ƒƒŽƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͶ ͶǤͳǤʹǤ ƒƒŽ‹•ƒ•‹‡–”‹«‹—Žƒœ‘ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͷ ͶǤͳǤ͵Ǥ ƒƒŽ‹•ƒ•‹‡–”‹«‹‹œŽƒœ‘ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ͸ ͶǤͳǤͶǤ ”œ‹ƒ’”‡‘•ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲ͹ 4.2. Kodovanje u prisustvu šuma .......................................................................... 109 ͶǤʹǤͳǤ ‘†’‘ƒ˜ŽŒƒŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͲͻ ͶǤʹǤʹǤ ‡‘”‡ƒ‘‘†‘˜ƒŒ——’”‹•—•–˜—族ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͲ

ͷǤ

e   Ȃ     eǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͶ

5.1. Osnove kodova za ispravljanje grešaka ..................................................... 115 ͷǤͳǤͳǤ ‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡‹–‡ā‹‡‘†‹Š”‡«‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳ͸ ͷǤͳǤʹǤ ‡‘†‘˜ƒŒ‡‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒ‹ƒ•‹ƒŽ‡˜‡”‘†‘•–‘Œ‘•–‹Ǥͳͳͺ ͷǤͳǤ͵Ǥ ‡–‡…‹Œƒ‹‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͳͻ 5.2. Linearni kodovi ................................................................................................... 122 ͷǤʹǤͳǤ ‘†‘˜ƒŒ‡Ž‹‡ƒ”‹‘†‘ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹͶ

IV

ͷǤʹǤʹǤ ͷǤʹǤ͵Ǥ ͷǤʹǤͶǤ ͷǤʹǤͷǤ ͷǤʹǤ͸Ǥ ͷǤʹǤ͹Ǥ

‹•–‡•ƒˆ‘”ƒŽ‹‡ƒ”‹Š‘†‘˜ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹ͸ ‡‘†‘˜ƒŒ‡ǣ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳʹ͹ —ƒŽ‹‘†‘˜‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͳ ‹†”‘‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͳ ‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‹˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͷ ‹ƒ”‹‡‹‰‘˜‹‘†‘˜‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵Ͷ

5.3. Ciklini kodovi ..................................................................................................... 138 ͷǤ͵ǤͳǤ ‹Ž‹«‹‘†‘˜‹‹’‘Ž‹‘‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͵ͻ ͷǤ͵ǤʹǤ ‡‘†‘˜ƒŒ‡…‹Ž‹«‹Š‘†‘˜ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͶ͵ 5.4. Konvolucioni kodovi ......................................................................................... 147 ͷǤͶǤͳǤ ‘†‘˜ƒŒ‡‘˜‘Ž—…‹‘‹‘†‘˜‹ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͶͺ ͷǤͶǤʹǤ ’æ–‡†‡ˆ‹‹…‹Œ‡‘˜‘Ž—…‹‘‹Š‘†‘˜ƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷͲ ͷǤͶǤ͵Ǥ ”‡†•–ƒ˜ƒ’”‡‘”‡æ‡–‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷʹ ͷǤͶǤͶǤ ‡‘†‘˜ƒŒ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͷͷ 5.5. Praktina primena zaštitnih kodova ........................................................... 161 ͷǤͷǤͳǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸ͳ ͷǤͷǤʹǤ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸͵ ͷǤͷǤ͵Ǥ ‹„”‹†‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸Ͷ ͷǤͷǤͶǤ –‡”Ž‹˜‡”‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸ͷ ͷǤͷǤͷǤ ‡‘†‘˜ƒŒ‡•ƒ„”‹•ƒŒ‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸͹ ͷǤͷǤ͸Ǥ ‘ƒ–‡ƒ…‹ŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸ͺ ͷǤͷǤ͹Ǥ ‡†ƒ’”‹‡”‘†‘˜ƒŒƒ—ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳ͸ͻ 5.6.

Laboratorijski rad .............................................................................................. 172

͸Ǥ

   Ȃ     ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͺͺ

6.1. Perfektna tajnost ................................................................................................ 190 ͸ǤͳǤͳǤ ‡”ˆ‡–‡拈”‡ǣ†‡ˆ‹‹…‹ŒƒǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͳ ͸ǤͳǤʹǤ ”ƒˆ‹«ƒ’”‡œ‡–ƒ…‹Œƒ’‡”ˆ‡–‡拈”‡ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻ͵ ͸ǤͳǤ͵Ǥ ‘ƒœe‡‘‘˜‡–‡‘”‡‡‘’‡”ˆ‡–‘Œ–ƒŒ‘•–‹ǦǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͶ

V

6.2. Neperfektna tajnost i taka jedinstvenosti ............................................... 195 ͸ǤʹǤͳǤ ˜‹˜‘ƒ…‹ŒƒŽŒ—«ƒ‹–ƒ«ƒŒ‡†‹•–˜‡‘•–‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͷ ͸ǤʹǤʹǤ ‘˜‡©ƒŒ‡–ƒ«‡Œ‡†‹•–˜‡‘•–‹ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤͳͻͺ 6.3.

Autentifikacija ..................................................................................................... 199

͹Ǥ

    ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͲͳ

Ȃ~ ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͲʹ Ȃ      e    ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹͳͶ ,  ǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤǤʹʹ͵ 

VI

Predgovor



•‘˜‡ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ ‹ ‘†‘˜ƒŒƒ Ȃ Œ‡ —†ā„‡‹ ‘Œ‹ Œ‡ ƒ‡Œ‡ •–—†‡–‹ƒ ƒ—Ž–‡–ƒ œƒ ‹ˆ‘”ƒ–‹— ‹ ”ƒ«—ƒ”•–˜‘ ‹˜‡”œ‹–‡–ƒ ‹‰‹†——œƒ’”‹’”‡—‹•’‹–ƒ‹œ’”‡†‡–ƒǷ•‘˜‹–‡‘”‹Œ‡‹ˆ‘”ƒ…‹Œƒ‹ ‘†‘˜ƒŒƒDzǡ ƒ ‘ā‡ •‡ ‘”‹•–‹–‹ ‹ œƒ •ƒ˜Žƒ†ƒ˜ƒŒ‡ ‰”ƒ†‹˜ƒ ‹œ ’”‡†‡–ƒ — ‘Œ‹ƒ ‹ˆ‘”ƒ…‹Œƒ‹‰”ƒŽŒ—«— —Ž‘‰—ǡ ƒ‘斑•—”‹’–‘Ž‘‰‹Œƒ ͳǡ”‹’–‘Ž‘‰‹Œƒʹǡ‡æ–ƒ«ƒ ‹–‡Ž‹‰‡…‹Œƒǡ‹—‘’æ–‡—•˜‹‘‹•–”—«‹’”‡†‡–‹ƒ—‘Œ‹ƒ‡‘”‹•ƒŒ‡ǡ ’”‡‘• ‹ ‘„”ƒ†ƒ ’‘†ƒ–ƒƒ œƒŠ–‡˜ƒ ˜ƒ–‹–ƒ–‹˜‘ ‘†‡Ž‘˜ƒŒ‡ ‹ ƒƒŽ‹œ— ‹ˆ‘”ƒ…‹‘‹Š–‘‘˜ƒǤ •ƒ‘ƒœ‹˜—‘„Žƒ•–‹’‘Œƒ˜ŽŒ—Œ‡•‡–‡”‹ ˆ‘”ƒ–‹«ƒ”ǡ†ƒŽ‡‡‘‘•‡•Ž—ā‹ ‹ˆ‘”ƒ–‹«‹ –‡Š‘Ž‘‰‹Œƒƒ — …‹ŽŒ— ‘„”ƒ†‡ǡ ‡‘”‹•ƒŒƒ ‹ ’”‡‘•ƒ •˜‹Š ˜‹†‘˜ƒ ‹ˆ‘”ƒ…‹‘‹Š •ƒ†”āƒŒƒ — ‘˜‹”— •ƒ˜”‡‡‹Š ”ƒ«—ƒ”•‘ ‘—‹ƒ…‹‘‹Š •‹•–‡ƒǤ ‡© — •ƒ‘Œ †‡ˆ‹‹…‹Œ‹ ‹ˆ‘”ƒ–‹«ƒ”ƒ •—•”‡©‡‘ –”‹ ’‘Œƒ Ȃ ‘„”ƒ†ƒǡ ‡‘”‹•ƒŒ‡‹’”‡‘•‹ˆ‘”ƒ…‹Œƒȋ‹ˆ‘”ƒ…‹‘‹Š•ƒ†”āƒŒƒȌǤ ƒ‹•Ž‹‘ †ƒ •–‡ ’”˜‹ †ƒ ƒ ’‘•Ž— — ˆ‹Ž‹ŒƒŽ‹ Œ‡†‡ ˜‡Ž‹‡ ‘’ƒ‹Œ‡Ǥ ‘•ƒ‘ •–‡ †‘„‹Ž‹ ƒ‘ ‘‰‘ ƒ’‘”ƒ ‹ ”‡æ‡‹ •–‡ †ƒ †ƒ–‡ •˜‡ ‘† •‡„‡Ǥ e‡ˆ ˜ƒ œƒ†ƒŒ‡ •Ž‡†‡©‹ œƒ†ƒ–ƒǣ ƒ’‹æ‹–‡ ’”‘‰”ƒ œƒ •ƒŽ†‹”ƒŒ‡ †‡˜‹Š ”‡œ—Ž–ƒ–ƒ ’‘•Ž‘˜ƒŒƒ ˆ‹Ž‹ŒƒŽ‡ǡ‹†‘•–ƒ˜‹–‡‹œ˜‡æ–ƒŒ…‡–”ƒŽ‹‘’ƒ‹Œ‡—斑”ƒ©‡”‘—Ǥ Zadatak br. 1: ‹•ƒŒ‡’”‘‰”ƒƒǤ ‘ā‡Ž‹†ƒ‘•–ƒ˜‹•ƒāƒ—–‹•ƒ‘Œ’”‘‰”ƒ‘”ƒ„‹–‹ƒŒ„‘ŽŒ‹ǡƒ–‘œƒ«‹†ƒ ‘”‡–‘”ƒ†‹‹†ƒŒ‡’”‹–‘‡ƒŒ”ƒ©‹‘‰—©‹ȋƒŒ‡ˆ‹ƒ•‹Œ‹ȌǤ Zadatak br. 2: „”ƒ†ƒ’‘†ƒ–ƒƒǤ ‘ ā‡Ž‹ †ƒ ‘•–ƒ˜‹ •ƒāƒ —–‹•ƒ ‘”ƒ‘ „‹Š †ƒ œƒ ‘Œ‹ ’‘†ƒ…‹ •— „‹–‹ ‹Ž‹ „‹–‹Œ‹œƒ‘Œ”ƒ«—ǡƒ‘Œ‹‘ā†ƒ—‘’æ–‡‹•—„‹–‹Ǥ‹‡„‹Š—ƒœƒ‘‘’ƒ‹Œ‹ƒ ‡’‘–”‡„‘’”‹—’ŽŒƒŒ‡‡‹Š’‘†ƒ–ƒƒǤ Zadatak br. 3: ŽƒŒ‡’‘†ƒ–ƒƒ—…‡–”ƒŽ—‘’ƒ‹Œ‡Ǥ

VII

‘ā‡Ž‹†ƒ‘•–ƒ˜‹•ƒāƒ—–‹•ƒ‘”ƒ‘„‹Š†ƒœƒ‘Œ‹Œ‡ƒŒ‡ˆ‹ƒ•‹Œ‹ƒ«‹ †‘•–ƒ˜‡ǡ ‘†‘•‘ ƒ‘ †ƒ — 斑 ”ƒ©‡ ”‘— ’‘惎Œ‡ ’‘†ƒ–‡ ‘Œ‹ ©‡ „‹–‹ ’”‹ŽŒ‡‹„‡œ‰”‡æ‡Ǥ‘Œƒ„‹•‡’‘œ‹…‹ŒƒŒ‘昋懗«˜”•–‹Žƒƒ‘„‹Šœƒ‘†ƒƒā‡ †ƒ Ž‹ ’‘†ƒ–‡ –”‡„ƒ œƒæ–‹–‹ ‹ ƒ‘ –”‡„ƒǡ ‘Œ‹ ‡–‘†ƒƒ ‹œ •—’ƒ „‡œ„‡†‘•‹Š •‡”˜‹•ƒǤƒ•‹‰—”‘„‹Š’‘•–ƒ‘œ˜‡œ†ƒ‘’ƒ‹Œ‡ƒ‘„‹ŠƒœƒŠ–‡˜懈ƒ—‡‘†ƒ ’‘†ƒ–‡’‘惎Œ‡ƒ’•‘Ž—–‘–ƒŒ‘ȋ†ƒŽ‡†ƒ’”‹‡Œ‡—拈”—‹‘‡‘ā‡‹•ƒ ƒ˜‹ ”ƒ«—ƒ”•‹ ”‡•—”•‹ƒ ‹ƒ†ƒ ”ƒœ„‹–‹Ȍ ‹ †ƒ ’”‹ –‘‡ ‰ƒ”ƒ–—Œ‡ ƒ’•‘Ž—–—–ƒŒ‘•–Ǥ ”‘‘…‹Œƒ „‹ ‹ „‹Žƒ ‘•‹‰—”ƒƒ ƒ‘ „‹Š œƒ‘ †ƒ ‰‡‡”‹æ‡ ˜‡Ž‹— ‘Ž‹«‹— 拈ƒ”•‹ŠŽŒ—«‡˜ƒ‹†ƒ’”‹–‘‡’‘œƒŒ‡‡–‘†‡œƒŒ‹Š‘˜—•‹‰—”—†‹•–”‹„—…‹Œ—Ǥ ƒ˜‡†‹‘斃Œ‡‡‘’Š‘†‘†ƒœƒ†ƒ„‹Š•˜‡‘˜‡œƒ†ƒ–‡—•’‡æ‘‘„ƒ˜‹‘ǣ x x x x x x

Šta je informacija, kako se meri? Šta je algoritamska složenost i kako se meri? Šta su granice kompresije jednog skupa podataka ispod koje se ne može ii bez gubitka dela informacije? Šta je uzajamna informacija izmeu dva skupa podataka, odnosno koliko jedan skup podataka sadrži u sebi informacije o onom drugom? Šta je redundansa (suvišnost) jednog izvora informacija i kako se ona može iskoristiti? Kako mogu da konstruišem transformaciju podataka koje šaljem ili memorišem, tako da na prijemu ili prilikom išitavanja mogu da ispravljam greške u prenosu ili prilikom memorisanja?

ƒ‘ ‹œ—«ƒ˜ƒŒƒ ‘˜‘‰ —†ā„‡‹ƒǡ «‹–ƒŽƒ… ©‡ †‘„‹–‹ ‘•‘˜ƒ œƒŒƒǡ ‘Œƒ — ‘‘‰—©ƒ˜ƒŒ— †ƒ •ƒ ”ƒœ—‡˜ƒŒ‡ ”‡æ‹ ‘˜‡ œƒ†ƒ–‡Ǥ –‘‰ƒ ƒ–‡”‹ŒƒŽ ‹œŽ‘ā‡ — ‘˜‹”— •‘˜ƒ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ ‹ ‘†‘˜ƒŒƒǡ ‡ ‘„—Š˜ƒ–ƒ •ƒ‘ –‡‘”‹Œ•‘ ”ƒœ—‡˜ƒŒ‡ ‹ˆ‘”ƒ…‹‘‹Š ’”‘…‡•ƒ ‘Œ‡ •—•”‡©‡‘ — •˜ƒ‘ ”ƒ«—ƒ”•‘ ‘—‹ƒ…‹‘‘ •‹•–‡—ǡ ˜‡© ’”‡†•–ƒ˜ŽŒƒ ‹ •ƒāƒ ’”ƒ–‹«‹ ƒ’ƒ”ƒ– ‘Œ‹ •ƒ˜”‡‡‘ ‹ˆ‘”ƒ–‹«ƒ”— ‘Žƒæƒ˜ƒ ”‡æƒ˜ƒŒ‡ ’”‘„Ž‡ƒ ‘Œ‡ — ƒ‡©‡ •˜‡ •Ž‘ā‡‹Œƒ‹œƒŠ–‡˜‹Œƒ’”ƒ•ƒǤ 

VIII

†ā„‡‹ •‡ •ƒ•–‘Œ‹ ‘† ͹ ’‘‰Žƒ˜ŽŒƒ —ŽŒ—«—Œ—©‹ —˜‘† ‹ „‹„Ž‹‘‰”ƒˆ‹Œ— ‘”‹æ©‡‡ Ž‹–‡”ƒ–—”‡Ǥ •‹ –‘‰ƒ ”ƒ†‹ ‘’Ž‡–‘•–‹ǡ ƒ ”ƒŒ— •— ‹ †˜ƒ †‘†ƒ–ƒ •ƒ ”‡«‹‘ ‘•‘˜‹Š ’‘Œ‘˜ƒǤ ”˜‹ †‘†ƒ–ƒ •‡ ‘†‘•‹ ƒ ”ƒ–ƒ —˜‘† — ǡ ƒ‘ ’”‘‰”ƒ•‘ ‘”—ā‡Œ‡ — ‘˜‹”— ‘‰ƒ •‡ ”ƒ†‡ ˜‡ā„‡ ‹œ •˜ƒ‡ ‘† ‹œ—«ƒ˜ƒ‹Š –‡ƒ–•‹Š …‡Ž‹ƒǤ ”—‰‹ †‘†ƒ–ƒ •‡ ‘†‘•‹ ƒ ’”‹‡— –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ — ‘†‡Ž‘˜ƒŒ—‹ƒƒŽ‹œ‹拈ƒ”•‹Š•‹•–‡ƒǤ,‹–ƒŽƒ…©‡”‘œ‘˜ƒŒ†‘†ƒ–ƒ•–‡©‹—–‹•ƒ‘ ‘©‹ ‹ ƒ†‡˜ƒ–‘•–‹ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ — ‘’‹•‹˜ƒŒ— ‹ ƒƒŽ‹œ‹ •˜‹Š ŽŒ—«‹Š ˆ‡‘‡ƒ„‹–‹Šœƒ”ƒœ—‡˜ƒŒ‡„‡œ„‡†‘•‹Š•‡”˜‹•ƒŒ‡†‘‰拈ƒ”•‘‰•‹•–‡ƒǤ † ’‘•‡„‡ ˜ƒā‘•–‹ Œ‡ †‡‘•–”ƒ…‹Œƒ ‡ˆ‹ƒ•‘•–‹ ‘˜‡ –‡‘”‹Œ‡ — ˆ‘”—Ž‹•ƒŒ— ”‹–‡”‹Œ—ƒƒ’•‘Ž—–‡–ƒŒ‘•–‹拈ƒ”•‘‰•‹•–‡ƒǡ斑Œ‡‘†ŽŒ—«‡˜ƒā‘•–‹ƒ‘ œƒ”ƒœ—‡˜ƒŒ‡‡Šƒ‹œƒƒœƒæ–‹–‡—‘’æ–‡ǡ–ƒ‘‹œƒ†‘„‹ŒƒŒ‡Œƒ•‹Š—’—–•–ƒ˜ƒ ’”‹Ž‹‘•‹–‡œ‡‘˜‹Š•‹•–‡ƒ‘’–‹ƒŽ‹Š’‡”ˆ‘”ƒ•‹Ǥ ƒ˜”‡‡‹ ”ƒœ˜‘Œ „‡œ„‡†‘•‹Š •‡”˜‹•ƒ ƒ –‡”‡–—ǡ ’‘ƒœ—Œ‡ †ƒ Œ‡ ‹ˆ‘”ƒ…‹‘‘ –‡‘”‹Œ•‹ ’”‹•–—’ǡ ‹œŽ‘ā‡ — ‘˜‘ —†ā„‡‹—ǡ —’”ƒ˜‘ ƒ ˆ”‘–— ƒŒ‘˜‹Œ‹Š ’”ƒ˜ƒ…ƒ ”ƒœ˜‘Œƒǡ ‘Œ‹ ˜‡© †ƒƒ• ‘‰— ‘„‡œ„‡†‹–‹ •‹•–‡‡ œƒæ–‹–‡ǡ ‘–”‘Ž‹•ƒ‡ ‹ ‹œ‡”ŽŒ‹˜‡ •ƒ‰‡Ǥ ‹‡ Œ‡ ’‘–’—‘ ‘•‹‰—”ƒ „‡œ„‡†ƒ •ƒ†ƒæŒ‹ ‹ •˜ƒ‹ „—†—©‹ ”ƒœ˜‘Œ –‡”‡–ƒǡ ƒ‘ ‘’æ–‡ ”ƒ«—ƒ”•‘ ‘—‹ƒ…‹‘‡ ‹ˆ”ƒ•–”—–—”‡ǡ ŽŒ—«‡ œƒ ”ƒœ˜‘Œ †‹‰‹–ƒŽ‡ ‡‘‘‹Œ‡ ‹ ‘˜‡ ‰Ž‘„ƒŽ‡ †‹‰‹–ƒŽ‡ …‹˜‹Ž‹œƒ…‹Œ‡Ǥ ƒ ”ƒŒ—ǡ œƒŠ˜ƒŽŒ—Œ‡‘ •‡ ”‡…‡œ‡–‹ƒ ƒ ‘”‹•‹ •—‰‡•–‹Œƒƒ ‹ ’”‹‡†„ƒƒ ‘Œ‡•‘—˜ƒā‹Ž‹‹‹‘”’‘”‹”ƒŽ‹——†ā„‡‹Ǥ ‡‘‰”ƒ†ǡʹͲͳ͵Ǥ‰‘†‹‡ 































—–‘”‹

IX

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

1. UVOD  –‡‘”‹Œ‹ ‹ˆ‘”ƒ…‹Œƒ …‡–”ƒŽ‹ ’‘Œƒ œƒ—œ‹ƒ ’‘Œƒ ‹ˆ‘”ƒ…‹Œ‡ ƒ‘ ˆ‡‘‡ ‹ ‘—‹ƒ…‹Œƒƒ‘’”‘…‡•Ǥ –—‹–‹˜˃’”‡†•–˃˜˃’‘Œ˃‹ˆ‘”ƒ…‹Œ‡Œ‡‰‘–‘˜‘•˜‹ƒ ƒƒ„Ž‹•ƒǡ˃Ž‹˃—«˃œ˃•‘˜˃‘•–‹‹–‡”’”‡–˃…‹Œ˃‹ˆ‘”ƒ…‹Œ‡—–‡‡ŽŒ‡ƒŒ‡–‡ ’‘Ž‘˜‹‘’”‘掑‰˜‡ƒ”ƒ¯ƒŒ‡‘˜‡ƒ—«‡†‹•…‹’Ž‹‡‡‘”‹Œ‡‹ˆ‘”ƒ…‹ŒƒǤ ˆ‘”˃…‹Œ˃Œ‡’‘•–˃Ž˃”‡Ž‡˜˃–˃’‘Œ˃œ˃•˜‡˃—‡‘Œ‡•‡„˃˜‡•‹„‘Ž‹«‘ ‘—‹˃…‹Œ‘ — ”˃•’‘— ‘† ˃–‡˃–‹‡ †‘ ”˃«—˃”•‡ ˃—‡ǡ ‹Ž‹ ‘† Ž‘‰‹‡ †‘ Ž‹‰˜‹•–‹‡ǡ ‘†‘•‘ ‘† ‡Ž‡–”‘‹‡ †‘ „‹„Ž‹‘–‡˃”•–˜˃ǡ ˃‘ ‹ ‘† Š—˃‹•–‹«‹Š ˃—˃‹—‡–‘•–‹†‘†‘—‡–˃Ž‹•–‹‡ǡ˃Ž‹‹‘††”—æ–˜‡‹Š˃—˃†‘‡†‹…‹‡‹ †”Ǥ ‘Œ‡‹ˆ‘”˃…‹Œ‹†˃Ž‘‹–‡”†‹•…‹’Ž‹˃”—†‹‡œ‹Œ—ǡŒ‡”Œ‡•˜˃˃˃—˃’‘—æ˃Ž˃‹ Œ‘æ ’‘—æ˃˜˃ †˃ ’”‘–—˃«‹ –˃Œ ‘’Ž‡•˃ ’‘Œ˃Ǥ ˜‡ ‘˜‘ —˃œ—Œ‡ †˃ ’‘Œ˃ ‹ˆ‘”˃…‹Œ˃ ‹Œ‡ Ž˃‘ •Š˜˃–‹–‹ ‹–‹ Œ‡†‘•–˃˜‘ ’”‘–—˃«‹–‹Ǥ ˆ‘”˃…‹Œ˃ Œ‡ ”‡« Ž˃–‹•‘‰ ’‘”‡Ž˃ Ƿin formare“ ‹ ‹œ˜‘”‘ Œ‡ œ˃«‹Ž˃ •–˃˜ŽŒ˃Œ‡ — ‘†”‡¯‡— ˆ‘”—ǡ ‘†‘•‘ǡ †˃˜˃Œ‡ ‘„Ž‹˃ ‡«‡—ǡ ˃Ž‹ Œ‡ –‘‘ ˜”‡‡˃ ‹œ‰—„‹Ž˃ ’”˜‘„‹–‘ œ˃«‡Œ‡Ǥ

10

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳǤͳǤ

    

˃˃• ‡˃ Œ‡†‹•–˜‡‘‰ ’”‹•–—’˃ ˆ‡‘‡— ‹ˆ‘”˃…‹Œ‡ǡ ˃ Œ‘æ ˃Œ‡ Œ‡†‘œ˃«‡ ‹ ‘’æ–‡ ’”‹Š˜˃©‡‡ †‡ˆ‹‹…‹Œ‡ ‹ˆ‘”˃…‹Œ‡Ǥ ƒ˜‡æ©‡‘ ‡‘Ž‹‘ †‡ˆ‹‹…‹Œƒ‹ˆ‘”ƒ…‹Œ‡ǣ ¾ ǷŒ—†‹•—–˜‘”…‹‹‘•‹‘…‹‹ˆ‘”˃…‹Œ˃̶ǡ ¾ Ƿ ˆ‘”˃…‹Œ˃ ‘”˃ǡ ’”‡ •˜‡‰˃ǡ †˃ ‹˃ ‘†”‡¯‡‹ •‹•˃‘ǡ ‘˃ ‘”˃ „‹–‹ ‘•‹Ž˃…œ˃«‡Œ˃̶ǡ ¾ Ƿ ˆ‘”˃…‹Œ˃Œ‡•˜‡‘‘斑†˃Œ‡‘˜‡’‘†˃–‡ǡ‹Ž‹‘˜˃‘„˃˜‡æ–‡Œ˃‘‡‘Œ «‹Œ‡‹…‹‹Ž‹‡‘†‘‰˃¯˃Œ—ǡ‘Œ‹‹•—„‹Ž‹”˃‹Œ‡’‘œ˃–‹̶ǡ ¾ Ƿ ˆ‘”˃…‹Œ‡•—‘‹†‡Ž‘˜‹˜‡•–‹‘Œ‹œ˃’”‹˃‘…˃‹˃Œ—˜”‡†‘•–‘˜‘•–‹‹ ‘Œ‹—‘‘‰—©˃˜˃Œ—†˃„‘ŽŒ‡‹œ˜”æ‹•˜‘Œ‡œ˃†˃–‡̶ǡ ¾ Ƿ ˆ‘”˃…‹Œ‡ •— •˃œ˃Œ˃ ‘Œ˃ ’‘•–˃Œ— †‘•–—’˃ ’‘‘©— •”‡†•–˃˜˃ ‘—‹˃…‹Œ˃ǡ˃’‘•‡†—Œ—‘„˃˜‡æ–˃Œ—˜”‡†‘•–‹̶ǡ ¾ ǷǤǤǤ •˃†”ā˃Œ ‘‘‰ 斑 ”˃œ‡Œ—Œ‡‘ •˃ •’‘ŽŒ‹ •˜‡–‘ †‘ — •‡ ’”‹Ž˃‰‘¯˃˜˃‘‹†‘—–‹«‡‘˃Œ‡‰˃̶ǡ ¾ ǷǤǤǤ•˜‡•˃‹Ž‹…‹ŽŒ˃‘”‰˃‹œ‘˜˃‘•–’‘†˃–˃˃̶ǤǤǤ —‹˜‡”œ‹–‡–•‘ŒŽ‹–‡”˃–—”‹˃Œ«‡æ©‡†‡ˆ‹‹…‹Œ‡’‘Œ˃‹ˆ‘”˃…‹Œ˃•—ǣ ¾ Ƿ ˆ‘”˃…‹Œ˃ Œ‡ ‹”‡‡– œ˃Œ˃̶ǡ Œ‡‹ ’‘•–‘Œ˃Œ‡ Œ‡ ˃æ‡ œ˃Œ‡ ‘ ‡«‡——˜‡©˃‘ ¾ Ƿ ˆ‘”˃…‹Œ˃Œ‡œ˃«‡Œ‡‘Œ‡†‘†‡ŽŒ—Œ‡‘’‘†˃–—̶ ¾ Ƿ ˆ‘”˃…‹Œ˃Œ‡•—’’‘†˃–˃˃—‡‘‘–‡•–—Ƿ ¾ Ƿ ˆ‘”ƒ…‹ŒƒŒ‡’”‹ŽŒ‡ƒ‹•Š˜ƒ©‡ƒ’‘”—ƒdz ˃ā‘ Œ‡ ˃’”˃˜‹–‹ ”˃œŽ‹— ‹œ‡¯— ’‘†˃–˃ ‹ ‹ˆ‘”˃…‹Œ‡ǡ ’‘Œ‘˜˃ ‘Œ‹ •‡ «‡•–‘ ’‘‹•–‘˜‡©—Œ—Ǥ ˃ ’”‹‡” „”‘Œ ͳ͹ Œ‡ ’‘†˃–˃ ‹ ‘ ˃‘ –˃˃˜ ‡˃ ’‘•‡„‘ œ˃«‡Œ‡Ǥ Ƿ•˃†˃ Œ‡ ͳ͹ «˃•‘˜˃̶ Œ‡ ‹ˆ‘”˃…‹Œ˃ Œ‡” Œ‡ ’‘†˃–— †‘†‡ŽŒ‡‘ ‡‘ œ˃«‡Œ‡Ǥ ˃‘ ‘ā‡‘ —˜‹†‡–‹ †˃ •‡ ‹ˆ‘”˃…‹Œ˃ •˃•–‘Œ‹ ‘† ’‘†˃–˃ ‹ œ˃«‡Œ˃ ‘Œ‡—Œ‡†‘†‡ŽŒ‡‘Ǥ

11

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳǤʹǤ

    

 Ȃ‘†ƒ…‹ǡ ˆ‘”ƒ…‹ŒƒǡƒŒ‡ǡ—†”‘•–ȋ‡‰ŽǤData, Information, Knowledge, WisdomȌ Œ‡ ’”‡†Ž‘‰ •–”—–—”‹”ƒŒƒ ’‘†ƒ–ƒƒǡ ‹ˆ‘”ƒ…‹Œƒǡ œƒŒƒ ‹ —†”‘•–‹ — Œ‡†— ‹ˆ‘”ƒ…‹Œ•— Š‹Œ‡”ƒ”Š‹Œ— ‰†‡ •˜ƒ‹ ‹˜‘ †‘†ƒŒ‡ ‘†”‡¯‡ƒ •˜‘Œ•–˜ƒ ‹œƒ† ‹ ‹•’‘†‘‘‰’”‡–Š‘†‘‰Ǥ ¾ ‘†ƒ–ƒŒ‡ƒŒ‘•‘˜‹Œ‹‹˜‘ǡ ¾ ˆ‘”ƒ…‹Œƒ†‘†ƒŒ‡‘–‡•–ǡ ¾ ƒŒ‡†‘†ƒŒ‡ƒ‘‰ƒ—’‘–”‡„‹–‹ǡ ¾ —†”‘•–†‘†ƒŒ‡ƒ†ƒ‹œƒæ–‘‰ƒ—’‘–”‡„‹–‹Ǥ ƒ•Ž‹…‹ȋŽ‹ƒͳǤͳȌ’”‹ƒœƒƒŒ‡Š‹Œ‡”ƒ”Š‹Œ•ƒ’‹”ƒ‹†ƒǤ

 Ž‹ƒͳǤͳ‹Œ‡”ƒ”Š‹Œ•‹‘†‡Ž 

 ‘†‡Ž•‡–‡‡ŽŒ‹ƒ‹œ—’‘•–—’ƒƒǣ ¾ podatak†‘Žƒœ‹—‘„Ž‹—‡‘„”ƒ¯‡‹Šœƒ’ƒāƒŒƒ‹†‹‡œ‹Œƒǡ ¾ informacija•‡‘„Ž‹—Œ‡ƒƒŽ‹œ‹”ƒŒ‡˜‡œƒ‹‘†‘•ƒ‹œ‡¯—’‘†ƒ–ƒƒǡ ¾ znanje•‡‘„Ž‹—Œ‡‘”‹•–‡©‹‹ˆ‘”ƒ…‹Œ—œƒ†‡Ž‘˜ƒŒ‡ǡ

12

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

¾ mudrost•‡‘„Ž‹—Œ‡”‘œ—’‘–”‡„—œƒŒƒǡ”‘œ‘—‹ƒ…‹Œ—‘”‹•‹ƒ œƒŒƒ ‹ ”‘œ ”ƒœ‹æŽŒƒŒƒǤ ’æ–‡’”‹Š˜ƒ©‡‘ Œ‡ ‹æŽŒ‡Œ‡ †ƒ Œ‡ ’‘†ƒ–ƒ ƒŒ‹‘†‹ˆ‘”ƒ…‹Œ‡ǡƒ‹ˆ‘”ƒ…‹ŒƒŒ‡ƒŒƒ‘†œƒŒƒǡ‘†‘•‘ǡ†ƒ„‹•‡ ”‡‹”ƒŽƒ‹ˆ‘”ƒ…‹Œƒ’‘–”‡„ƒŒ‡’‘†ƒ–ƒ‹•ƒ‘ƒ†ƒ’‘•–‘Œ‹‹ˆ‘”ƒ…‹Œƒ œƒŒ‡‘ā‡‹œƒ©‹ƒ˜‹†‡Ž‘Ǥ ƒ†”āƒŒ ŽŒ—†•‘‰ —ƒ ’”‡ƒ ƒ•‡Ž— ‘ˆ— ȋ—••‡ŽŽ— …‘ˆˆ—Ȍ «‹‡ǣ ’‘†ƒ–ƒǡ ‹ˆ‘”ƒ…‹Œƒǡ œƒŒ‡ǡ ”ƒœ—‡˜ƒŒ‡ ȋ•ƒœƒŒ‹ ‹ ƒƒŽ‹–‹«‹ ’”‘…‡• ‘Œ‹ ‘†‰‘˜ƒ”ƒ ƒ ’‹–ƒŒ‡œƒæ–‘Ȍ‹—†”‘•–Ǥ”˜‡«‡–‹”‹ƒ–‡‰‘”‹Œ‡‘†‘•‡ƒ’”‘掑•–‹„ƒ˜‡•‡‘‹ 斑Œ‡„‹Ž‘‹Ž‹‘‹斑Œ‡’‘œƒ–‘Ǥƒ‘•‡’‡–ƒƒ–‡‰‘”‹Œƒǡ—†”‘•–ǡ„ƒ˜‹„—†—©‹ ˜”‡‡‘Œ‡”•ƒ†”ā‹ƒæ–‘˜‹–‘•–ǡ’”‘‹…ŽŒ‹˜‘•–‹”‡ƒ–‹˜‘•–Ǥ ‘—†”‘•–‹•‡‡†‘Žƒœ‹„”œ‘‹Œ‡†‘•–ƒ˜‘Ǥ”˜‘•‡‘”ƒ—•’‡æ‘’”‘©‹”‘œ•˜‡ ’”‡–Š‘†‡ƒ–‡‰‘”‹Œ‡Ǥ‘‘©—”ƒœ—‡˜ƒŒƒ•‡ƒ‘•‘˜—’‘•–‘Œ‡©‹ŠœƒŒƒ‘ā‡ •–˜ƒ”ƒ–‹‘˜‘ǡ‘†‘•‘ǡŽŒ—†‹‘Œ‹”ƒœ—‡Œ—‘‰—’”‡†—œ‹ƒ–‹‘”‹•‡ƒ–‹˜‘•–‹ œƒ–‘ 斑 ‘‰— •ƒ•–ƒ˜‹–‹ ‘˜‘ œƒŒ‡ ‹Ž‹ „ƒ”‡ ‘˜‡ ‹ˆ‘”ƒ…‹Œ‡ ƒ ‘•‘˜— ˜‡© ’‘•–‘Œ‡©‡‰œƒŒƒǤƒœŽ‹ƒ‹œ‡¯—œƒŒƒ‹”ƒœ—‡˜ƒŒƒŒ‡ƒ‘‹‹œ‡¯——«‡Œƒ‹ ‡‘”‹•ƒŒƒǤ

13

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳǤ͵Ǥ

  e

ƒŒ‡ Œ‡ ”‡œ—Ž–ƒ– —«‡ŒƒǤ ‘˜‡©ƒŒ‡ ‹˜‘ƒ œƒŒƒ †‘˜‘†‹ †‘ „‘ŽŒ‡‰ ‘†Ž—«‹˜ƒŒƒǤ ‘˜‡‹ˆ‘”ƒ…‹‘‡–‡Š‘Ž‘‰‹Œ‡†‘˜‘†‡†‘—„”œƒŒƒ‹•˜‡˜‡©‹Š‘Ž‹«‹ƒ’‘†ƒ–ƒƒ‹ ‹ˆ‘”ƒ…‹ŒƒǤ ˜‡’”‹•—–‘•– ‹ˆ‘”ƒ…‹Œƒ †‘˜‡Žƒ Œ‡ †‘ –‘‰ƒ †ƒ •ƒ˜”‡‡‘ †”—æ–˜‘ ˜‡© ‘œƒ«ƒ˜ƒ‘ ƒ‘ ‹ˆ‘”ƒ…‹‘‘ †”—æ–˜‘Ǥ ƒœŽ‘‰ œƒ –‘ ‡ Ž‡ā‹ •ƒ‘ — •˜‡’”‹•—–‘•–‹ǡ ˜‡© ‹ ŽŒ—«‘ œƒ«ƒŒ— ‹ˆ‘”ƒ…‹Œƒ — ˆ—…‹‘‹•ƒŒ— ‰‘–‘˜‘ •˜‹Š ŽŒ—†•‹Š†‡Žƒ–‘•–‹Ǥ ƒƒ•˜‡©‹ƒ‘‹ˆ‘”ƒ…‹‘—–‡‘”‹Œ—•‹•–‡ƒǡ‹ˆ‘”ƒ…‹‘—–‡‘”‹Œ—‘†Ž—«‹˜ƒŒƒǡ ‹ˆ‘”ƒ…‹‘— ‡‘‘‹Œ—ǡ ‹ˆ‘”ƒ…‹‘— ˆ‹Ž‘œ‘ˆ‹Œ—ǡ ‹ˆ‘”ƒ…‹‘— –‡‘”‹Œ— •˜‡‰ƒ — ‘˜‹”—–‡‘”‹Œ•‡ˆ‹œ‹‡ǡ‹ˆ‘”ƒ…‹‘—‡†‹…‹—‹–ƒ‘”‡†‘Ǥ •’‡”‹‡–ƒŽ‘ Œ‡ ’‘–˜”¯‡ ”‡˜‘Ž—…‹‘ƒ”‹ ‘˜‹ ’”‹•–—’ Ž‡«‡Œ—ǡ ’‘ ‘‡ •‡ —œ”‘«‹…‹ƒ „‘Ž‡•–‹ǡ ’”Ǥ ˜‹”—•‹ƒ 惎Œ‡ ‹ˆ‘”ƒ…‹Œƒ †ƒ ‹œ˜”æ‡ •‘’•–˜‡‘ •ƒ‘—‹æ–‡Œ‡Ǥ ƒœ˜‘Œ –‡Š‹«‹Š •‹•–‡ƒ œƒ ’”‡‘• ‹ ‡‘”‹•ƒŒ‡ ‹ˆ‘”ƒ…‹‘‹Š •ƒ†”āƒŒƒǡ ƒ‘ 斑•—”ƒ«—ƒ”‹ǡ‹–‡”‡–‹•ƒ˜”‡‡‹†‹‰‹–ƒŽ‹–‡Ž‡‘—‹ƒ…‹‘‹•‹•–‡‹ǡ‹•—ƒ ƒ†‡˜ƒ–ƒ ƒ«‹ ’”ƒ©‡‹ –‡‘”‹Œ•‹ ”‡œ—Ž–ƒ–‹ƒ ‹ ”‡Ž‡˜ƒ–‹ •–—†‹Œƒƒ ˆ‡‘‡ƒ ‹ˆ‘”ƒ…‹Œƒǡ ƒ‘ ‹ •‹•–‡ƒ œƒ Œ‡‘ ‡ˆ‹ƒ•‘ ‘†‘˜ƒŒ‡ǡ ’”‡‘•ǡ ‡‘”‹•ƒŒ‡‹œƒæ–‹–—Ǥ ƒ˜”‡‡ƒ ‡‘‘‹Œƒ ’‘‡”ƒ •˜‘Œ‡ –‡ā‹æ–‡ ƒ ‹ˆ‘”ƒ…‹‘‘Œ ‡‘‘‹Œ‹Ǥ e–ƒ –‘ œƒ’”ƒ˜‘ œƒ«‹ǫ  Žƒ•‹«‘Œ ‡‘‘‹Œ‹ …‡— ”‘„‡ «‹‡ ‘’‘‡–‡ ƒ‘ 斑 •— —–”‘懐‡•‹”‘˜‹‡‹ ‡‡”‰‹ŒƒǡŽŒ—†•‹”ƒ†ǡƒ‘”–‹œƒ…‹Œƒ•”‡†•–ƒ˜ƒœƒ’”‘‹œ˜‘†Œ—‹ ’”‘ˆ‹–Ǥ ƒœ˜‘Œ•”‡†•–ƒ˜ƒœƒ’”‘‹œ˜‘†Œ—‹†‡ƒ–‘‡†ƒ©‡‘•‘˜—‘’‘‡–——‘˜‘Œ …‡‹  •˜‡ ˜‹æ‡ †ƒ ’”‡—œ‹ƒ ‹ˆ‘”ƒ…‹Œƒ ƒ‘ ‡æ–‘ ƒ’”ƒ˜‹–‹ǡ ƒ ‡ ‡’‘•”‡†ƒ ƒ–‡”‹ŒƒŽƒ‘•‘˜ƒ’”‘‹œ˜‘†ƒȋ”ƒ†ǡ•‹”‘˜‹‡ǡ‡‡”‰‹ŒƒȌǤ ‘Œƒ˜‘ ˆ—œ‹‘‹Š ”‡ƒ–‘”ƒ — ‘Œ‹ƒ •‡ ‘ā‡ •‹–‡–‹œ‘˜ƒ–‹ „‹Ž‘ ‘Œƒ •‹”‘˜‹ƒ —œ —–”‘惍‡‡”‰‹Œ‡‹•‹”‘˜‹ƒœƒ‡ƒ”ŽŒ‹˜‡…‡‡ǡ†‘˜‘†‹ƒ•—†‘•ƒ†ƒ‡œƒ‹•Ž‹˜‹

14

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

•…‡ƒ”‹‘ ’‘ ‘‡ ©‡ …‡ƒ Œ‡†‘‰ ’”‘‹œ˜‘†ƒ „‹–‹ Œ‡†ƒƒ …‡‹ ‹ˆ‘”ƒ…‹Œ‡ ’‘–”‡„‡œƒ’”ƒ˜ŽŒ‡Œ‡’”‘‰”ƒƒ‘Œ‹—’”ƒ˜ŽŒƒ•‹–‡œ‘—ˆ—œ‹‘‘”‡ƒ–‘”—Ǥ ˜‘ Œ‡ •ƒ‘ Œ‡†ƒ ’”‹‡” ‘Œ‹ ’‘–˜”¯—Œ‡ ˜‡© ’‘•–‘Œ‡©‡ •–ƒŒ‡ •–˜ƒ”‹ ’‘ ‘‡ Œ‡ ‹ˆ‘”ƒ…‹Œƒ ‹œ„‘”‹Žƒ •–ƒ–—• ”‡•—”•ƒǡ ‹•–‘‰ ƒ‘ 斑 Œ‡ — Žƒ•‹«‘Œ ’”‹˜”‡†‘Œ †‡Žƒ–‘•–‹–‘•‹”‘˜‹ƒǡ‡‡”‰‹Œƒ‹Ž‹ŽŒ—†•‹”ƒ†Ǥ ‘ ‹ˆ‘”ƒ…‹Œƒ ’‘•–ƒŒ‡ †‘‹ƒ–‹ ”‡•—”• ’”‹˜”‡†‡ †‡Žƒ–‘•–‹ǡ ‘†ƒ •‡ –‹ ”‡•—”•‘‘”ƒ’ƒāŽŒ‹˜‘”—‘˜ƒ–‹Ǥ –‘‰ƒ ’”‡‘•ǡ ‡‘”‹•ƒŒ‡ ‹ œƒæ–‹–ƒ ‹ˆ‘”ƒ…‹Œƒ †‘Žƒœ‡ ƒ ’”˜‘ ‡•–‘ǡ ƒ‘ ”‹–‹«‡ –‡Š‘Ž‘‰‹Œ‡ ‘Œ‹ƒ •‡ ‘„‡œ„‡¯—Œ‡ •–ƒ„‹Žƒ ”ƒœ˜‘Œ ‹ — ”ƒŒŒ‘Œ Ž‹‹Œ‹ ‘’•–ƒƒŒ‡†‡†”—æ–˜‡‡œƒŒ‡†‹…‡Ǥ ’”ƒ˜‘ –‡‘”‹Œƒ ‹ˆ‘”ƒ…‹Œƒ †ƒŒ‡ –‡‘”‹Œ•‡ ‹ ’”ƒ–‹«‡ ‘˜‹”‡ œƒ •‹–‡œ— •‹•–‡ƒ ‘Œ‹ ‘„‡œ„‡¯—Œ— ‡ˆ‹ƒ•‘•– ‹ ”ƒ•’‘Ž‘ā‹˜‘•– ‹ˆ‘”ƒ…‹‘‹Š ”‡•—”•ƒǡ •Š˜ƒ©‡‹Š ƒ ‰‘”‡’‘‡—–‹ƒ«‹Ǥ ‡‘”‹Œƒ ‹ˆ‘”ƒ…‹Œƒ — –‡Š‹«‘ •‹•Ž—ǡ ƒ‘ •‡ †ƒƒ• ”ƒœ—‡ ‹ –—ƒ«‹ǡ ˜‘†‹ ’‘”‡Ž‘‘†”ƒ†‘˜ƒŽ‘†ƒe‡‘ƒ‘„Œƒ˜ŽŒ‡‹Š‡’‘•”‡†‘ƒ‘†”—‰‘‰•˜‡–•‘‰ ”ƒ–ƒǤ e‡‘ Œ‡ †‡ˆ‹‹•ƒ‘ ‘˜— †‹•…‹’Ž‹— ƒ‘ –‡‘”‹Œ— œƒ ”‡æƒ˜ƒŒ‡ ’”‘„Ž‡ƒ ’”‡‘•ƒ •‹‰ƒŽƒ’”‡‘‘—‹ƒ…‹‘‹ŠƒƒŽƒǤ ƒ‘ Œ‡ ‘˜ƒƒ˜ ’”‹•–—’ †ƒƒ• •—˜‹æ‡ —œƒǡ ’‘‰‘–‘˜— ƒ‘ •‡ ‹ƒ — ˜‹†— ‡”‡Œ‡ ‹ˆ‘”ƒ…‹‘‘‰ ȋ•‡ƒ–‹«‘‰Ȍ •ƒ†”āƒŒƒ ’‘”—ƒ ‘Œ‡ •‡ ‡‘”‹æ— ‹Ž‹ ’”‡‘•‡ǡ e‡‘‘˜’”‹•–—’’”‡†•–ƒ˜ŽŒƒ‹†ƒŽŒ‡…‡–”ƒŽ‘Œ‡œ‰”‘‘˜‡–‡‘”‹Œ‡Ǥ

15

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳǤͶǤ

       

‡‘”‹Œ— ‹ˆ‘”ƒ…‹Œƒ Œ‡ œƒ•‘˜ƒ‘ Ž‘† e‡‘ ȋClaude ShannonȌ ȋͳͻͳ͸ǦʹͲͲͳȌǤ e‡‘Œ‡”ƒ†‹‘—‹•–”ƒā‹˜ƒ«‘…‡–”—Bell LaboratoriesȋͳͻͶͳǦͳͻͷ͸Ȍǡƒƒ•‹Œ‡— Massachusetts Institute of Technologyȋͳͻͷ͸Ǧͳͻ͹ͺȌǤ

 Ž‹ƒͳǤʹŽ‘†e‡‘ȋͳͻͳ͸ǦʹͲͲͳȌ

e‡‘Œ‡–”ƒā‹‘‘†‰‘˜‘”ƒ†˜ƒˆ—†ƒ‡–ƒŽƒ’‹–ƒŒƒ–‡‘”‹Œ‡‘—‹ƒ…‹Œƒǣ ͳǤ ‘‘Œ‡‡”‡•‡‡‹•—’’‘†ƒ–ƒƒ‘ā‡‘’”‹‘˜ƒ–‹ȋ‘†‰‘˜‘”ǣ ‡–”‘’‹Œƒ‹œ˜‘”ƒȌǫ ʹǤ e–ƒŒ‡”ƒŒŒƒ„”œ‹ƒ‘—‹…‹”ƒŒƒœƒœƒ†ƒ–‹‘—‹ƒ…‹‘‹ƒƒŽ ȋ‘†‰‘˜‘”ǣƒ’ƒ…‹–‡–ƒƒŽƒȌǫ Odnos teorije informacija i telekomunikacija - Ž‡–”‘–‡Š‹ƒ ȋ‡Ž‡‘—‹ƒ…‹Œ‡ȌǤ ‘ e‡‘‘˜‹Š ”ƒ†‘˜ƒ •ƒ–”ƒŽ‘ •‡ †ƒ Œ‡ ‡‘‰—©‡ •Žƒ–‹ ‹ˆ‘”ƒ…‹Œ‡ ’‘œ‹–‹˜‘ „”œ‹‘ •ƒ œƒ‡ƒ”ŽŒ‹˜‘ ˜‡”‘˜ƒ–‘©‘ ‰”‡æ‡Ǥ e‡‘ Œ‡ — •˜‘ ˆ—†ƒ‡–ƒŽ‘ ”ƒ†— ‹œ ͳͻͶͺǤ ‰‘†‹‡ ‹œ‡ƒ†‹‘ …‡Ž‘—’— ƒ—«— œƒŒ‡†‹…— ‹œ †‘‡ƒ –‡Ž‡‘—‹ƒ…‹Œƒ ’‘ƒœƒ˜æ‹ †ƒ Œ‡ ‰”‡æ— ’”‡‘•ƒ ‘‰—©‡ •ƒŒ‹–‹’”‘‹œ˜‘ŽŒ‘œƒ•˜‡„”œ‹‡’”‡‘•ƒ‹•’‘†ƒ’ƒ…‹–‡–ƒƒƒŽƒǤ 16

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

e‡‘‘˜ƒ†˜ƒˆ—†ƒ‡–ƒŽƒ”ƒ†ƒ•—ǣ •

Ž‘† e‡‘ ȋC. E. ShannonȌǡ ǷA mathematical theory of communication”, Bell System Technical Journalǡ˜‘ŽǤʹ͹ǡ’’Ǥ͵͹ͻȂͶʹ͵ƒ†͸ʹ͵Ȃ͸ͷ͸ǡ —Ž›ƒ† …–‘„‡”ǡͳͻͶͺǤ

•

Ž‘† e‡‘ ȋͳͻͶͻȌǤ ǷCommunication Theory of Secrecy Systems̶Ǥ Bell System Technical Journal,ʹͺȋͶȌǣ͸ͷ͸Ȃ͹ͳͷǤ

e‡‘ Œ‡ †ƒŽŒ‡ ’‘ƒœƒ‘ †ƒ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘”‹ ƒ‘ 斑 •— —œ‹ƒ ‹Ž‹ ‰‘˜‘” ’‘•‡†—Œ— ‘’Ž‡•‘•– ‹•’‘† ‘Œ‡ •‡ •‹‰ƒŽ‹ ‘˜‹Š ‹œ˜‘”ƒ ‡ ‘‰— †ƒŽŒ‡ ‘’”‹‘˜ƒ–‹„‡œ‰—„‹–ƒƒǤ˜—‘’Ž‡•‘•–Œ‡ƒœ˜ƒ‘‡–”‘’‹Œƒ‹”ƒœŽ‹‘˜ƒ‘Œ‡ ‘†’‘Œƒ‡–”‘’‹Œ‡—˜‡†‡‘‰‘‰‘”ƒ‹Œ‡—‘„Žƒ•–‹–‡”‘†‹ƒ‹‡ǤƒŽ‡ǡƒ‘ Œ‡ ‡–”‘’‹Œƒ ‹œ˜‘”ƒ ƒŒƒ ‘† ƒ’ƒ…‹–‡–ƒ ƒƒŽƒǡ ‘‰—©‡ Œ‡ †‹œƒŒ‹”ƒ–‹ ‘—‹ƒ…‹‘—懏—‘ŒƒŒ‡ƒ•‹’–‘–•‹„‡œ‰”‡æ‡’”‡‘•ƒǤ ‘Œƒ˜ƒ –—”„‘ ‘†‘˜ƒ ’”‹„Ž‹āƒ˜ƒ ƒ• e‡‘‘˜‘Œ ‰”ƒ‹…‹ ȋ†ƒŽ‡ ‘—‹ƒ…‹Œ‹ •ƒ ƒ•‹ƒŽ‘ ‘‰—©‘ „”œ‹‘Ǧ— „Ž‹œ‹‹ ƒ’ƒ…‹–‡–ƒ ƒƒŽƒǡ •ƒ —Ž–‘ ‰”‡æ‘ ’”‡‘•ƒȌǤ ”‘–‘„Žƒ•–‹Œ‡†ƒƒ•†‘‹ƒ–‘–œ˜Ǥȋ‡‰ŽǤNetwork coding)”‡ā‘ ‘†‘˜ƒŒ‡ǡ ‘†‘•‘ –‡‘”‹Œƒ •‹—Ž–ƒ‘‰ ‘—‹…‹”ƒŒƒ ˜‹æ‡ «˜‘”‘˜ƒ — Œ‡†‘Œ ”‡ā‹”ƒœŽ‹«‹–‹„”œ‹ƒƒ—’”‹•—•–˜—族‘˜ƒ‹‹–‡”ˆ‡”‡…‹ŒƒǤ Odnos teorije informacija i raunarske nauke - ‘Ž‘‰‘”‘˜ǡ ,ƒ‹–‹ ‹ ‘Ž‘‘‘˜ •— ”ƒœ˜‹Ž‹ ‹†‡Œ— †ƒ Œ‡ ‘’Ž‡•‘•– Œ‡†‘‰ ‹œƒ Œ‡†ƒƒ †—ā‹‹ ƒŒ”ƒ©‡‰ ”ƒ«—ƒ”•‘‰ ’”‘‰”ƒƒ ‘Œ‹ ‰‡‡”‹æ‡ †ƒ–‡ ’‘†ƒ–‡Ǥ ‘’Ž‡•‘•– Œ‡ †ƒŽ‡ Œ‡†ƒƒ †—ā‹‹ ‹‹ƒŽ‘‰ ‘’‹•ƒ ȋ†‡•”‹’–‹˜ƒ ‘’Ž‡•‘•–ȌǤ  ‘ƒœƒŽ‘ •‡ †ƒ Œ‡ ‹†‡Œƒ ‘Ž‘‰‘”‘˜ŽŒ‡˜‡ ‘’Ž‡•‘•–‹ —‹˜‡”œƒŽƒ ‹ ‡œƒ˜‹•ƒ ‘† ‘”‡–‘‰”ƒ«—ƒ”ƒǤ ‘Ž‘‰‘”‘˜ŽŒ‡˜ƒ ‘’Ž‡•‘•–  Œ‡ ’”‹„Ž‹ā‘ Œ‡†ƒƒ e‡‘‘˜‘Œ ‡–”‘’‹Œ‹ ǡ —‘Ž‹‘Œ‡’‘•ƒ–”ƒƒ•‡˜‡…ƒœƒ‘Œ—•‡‘ƒ”ƒ«—ƒ‹œ˜—«‡ƒ•Ž—«ƒŒ‘—•Žƒ†— •ƒ ‡‘ ”ƒ•’‘†‡Ž‘ ˜‡”‘˜ƒ–‘©ƒ ‘Œƒ ‹ƒ ‡–”‘’‹Œ— Ǥ –‘‰ƒ Œ‡ ˜‡œƒ ‹œ‡¯— e‡‘‘˜‡–‡‘”‹Œ‡‹ˆ‘”ƒ…‹Œƒ‹‘Ž‘‰‘”‘˜ŽŒ‡˜‡‘’Ž‡•‘•–‹‰‘–‘˜‘’‡”ˆ‡–ƒǤ Odnos teorije informacija i fizike - –ƒ–‹•–‹«ƒ ‡Šƒ‹ƒ Œ‡ ‡•–‘ ”‘¯‡Œƒ ‡–”‘’‹Œ‡ ‹ †”—‰‘‰ œƒ‘ƒ –‡”‘†‹ƒ‹‡Ǥ  –”‘’‹Œƒ —˜‡ ”ƒ•–‡Ǥ ”—‰‹ œƒ‘ –‡”‘†‹ƒ‹‡†ƒŒ‡–‡‘”‹Œ•—‘•‘˜—œƒ‘†„ƒ…‹˜ƒŒ‡•˜ƒ‡–˜”†Œ‡‘‡‰œ‹•–‡…‹Œ‹ ’‡”’‡–—‘„‹ŽƒǤ 17

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Odnos teorije informacija i matematike - —†ƒ‡–ƒŽ‡ ˜‡Ž‹«‹‡ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒǣ ‡–”‘’‹Œƒǡ ”‡Žƒ–‹˜ƒ ‡–”‘’‹Œƒǡ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ •— †‡ˆ‹‹•ƒ‡ ƒ‘ˆ—…‹‘ƒŽ‹”ƒ•’‘†‡Žƒ˜‡”‘˜ƒ–‘©ƒǤƒ•˜‘Œ‡•–”ƒ‡‘˜‡˜‡Ž‹«‹‡†‘„”‘‘’‹•—Œ— ’‘ƒæƒŒ‡ †—‰ƒ«‹Š •‡˜‡…‹ •Ž—«ƒŒ‹Š ˜‡Ž‹«‹ƒ ‹ ‘‘‰—©ƒ˜ƒŒ— ƒ ’”‘…‡— ˜‡”‘˜ƒ–‘©ƒ”‡–‹Š†‘‰ƒ¯ƒŒƒȋ–‡‘”‹Œƒ˜‡Ž‹‹Š†‡˜‹Œƒ…‹ŒƒȌǡƒ‘‹‘…‡‡‡•’‘‡–ƒ ‰”‡æ‡ȋ‡‰ŽǤerror exponentȌ’”‹•–ƒ–‹•–‹«‘–‡•–‹”ƒŒ—Š‹’‘–‡œƒǤ Odnos teorije informacija i filozofskih nauka - ƒ‘˜ •‡ƒ«ǣ ƒŒŒ‡†‘•–ƒ˜‹Œ‡ ‘„ŒƒæŒ‡Œ‡ Œ‡ ƒŒ„‘ŽŒ‡Ǥ ‘Ž‘‘ ‹ ,ƒ‹–‹ •— —„‡†ŽŒ‹˜‹ — †‘ƒœ— †ƒ Œ‡ —‹˜‡”œƒŽ‘ ƒŒ„‘ŽŒƒ ’”‘…‡†—”ƒ ’”‡†‹…‹Œ‡ ‘ƒ ‘Œƒ —œ‹ƒ –‡ā‹•— •—— ’”‡†‹…‹Œƒ •˜‹Š ’”‘‰”ƒƒ ‘Œ‹ †‘„”‘ ‘„ŒƒæŒƒ˜ƒŒ— ’‘†ƒ–‡Ǥ ƒ”ƒ˜‘ †ƒ Œ‡ ‘˜ƒ —‹˜‡”œƒŽƒ’”‘…‡†—”ƒ‡’”ƒ–‹«ƒǡ„—†—©‹†ƒŒ‡’”‘ƒŽƒā‡Œ‡•˜‹Š’”‘‰”ƒƒ‘Œ‹ ‘‰—†ƒ‘„Œƒ•‡†ƒ–‡’‘†ƒ–‡˜”‡‡•‹œƒŠ–‡˜ƒ’‘•–—’ƒǤ Odnos teorije informacija i ekonomije - ‡’‡–‹–‹˜‡ ‹˜‡•–‹…‹Œ‡ — •–ƒ…‹‘ƒ”‘ „‡”œƒ•‘ –”ā‹æ–‡ ”‡œ—Ž–—Œ‡ — ‡•’‘‡…‹ŒƒŽ‘ ”ƒ•–— †‘„‹–ƒǤ ƒ•– †‘„‹–ƒ Œ‡ †—ƒŽƒ ‡–”‘’‹Œ‹ „‡”œƒ•‘‰ –”ā‹æ–ƒǤ ‘•–‘Œ‹ Œ‡†‘œƒ«ƒ ˜‡œƒ ‹œ‡¯— –‡‘”‹Œ‡ ‘’–‹ƒŽ‘‰‹˜‡•–‹”ƒŒƒ—„‡”œƒ•‘–”ā‹æ–‡‹–‡‘”‹Œ‡‹ˆ‘”ƒ…‹ŒƒǤ Odnos teorije informacija, raunarstva i komunikacija - ”ƒ˜ŽŒ‡Œ‡ ˜‡Ž‹‹Š ”ƒ«—ƒ”ƒ ƒ ‘•‘˜— ƒŽ‹Š ‘’‘‡–‹ †‘˜‘†‹ ƒ• ‹ †‘ ”ƒ«—ƒ”•‹Š ‹ †‘ ‘—‹ƒ…‹‘‹Š Ž‹‹–ƒǤ ƒ«—ƒ”•–˜‘ Œ‡ Ž‹‹–‹”ƒ‘ ‘—‹ƒ…‹Œ‘ǡ †‘ •— ‘—‹ƒ…‹Œ‡ ”ƒ«—ƒ”•‹ Ž‹‹–‹”ƒ‡Ǥ –‘‰ƒ •— •˜‹ ”‡œ—Ž–ƒ–‹ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ — †‘‡—‘—‹ƒ…‹Œƒ‘††‹”‡–‘‰—–‹…ƒŒƒ‹ƒ”ƒ«—ƒ”•–˜‘Ǥ

18

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

2. ENTROPIJA I INFORMACIJA ‡—•‹–—ƒ…‹Œ—©‡‘‘œƒ«‹–‹ƒ‘‡‘†”‡¯‡‘•–—‘Ž‹‘’‘•–‘Œ‹˜‹æ‡‘‰—©‘•–‹ǡ ’”‹«‡—‹Œ‡’‘œƒ–‘‘Œƒ©‡‘†Œ‹Š„‹–‹”‡ƒŽ‹œ‘˜ƒƒ‹Ž‹‹œƒ„”ƒƒǤƒ’”ƒ˜‘”‡ƒŽ‡ •‹–—ƒ…‹Œ‡’‘–’—‡‘†”‡¯‡‘•–‹—‘Œ‹ƒ•‡‹•Š‘†‹‘‰—’”‡†˜‹¯ƒ–‹•ƒ•‹‰—”‘æ©— •—˜‹æ‡‹œ—œ‡–ƒ‡‰‘’”ƒ˜‹Ž‘Ǥ ˜‡†‹‘ƒˆ‘”ƒŽ‹Œ‹ƒ«‹’‘Œƒ‡‘†”‡¯‡‹Š•‹–—ƒ…‹Œƒǡ‘Œ‹Œ‡’‘«‡–‹‰”ƒ†‹˜‹ „Ž‘ •ƒ˜”‡‡‡ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹ŒƒǤ ”‡–’‘•–ƒ˜‹‘ ‡— •‹–—ƒ…‹Œ—ܵ— ‘Œ‘Œ Œ‡ ‘‰—©‡݉”ƒœŽ‹«‹–‹Š ‹•Š‘†ƒǤ œƒ«‹‘ ‘˜‡ ‘‰—©‘•–‹ •ƒ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉Ǥ ˜ƒŒ •—’ ‘‰—©‘•–‹ ©‡‘ ‘œƒ«‹–‹ •ƒܵሺ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉ሻǡ ‹ ƒœ˜ƒ–‹ ‘ƒ«‘ 懏‘‹œ„‘”ƒǤ‘‡‘‡Šƒ‹œ—‹Ž‹ƒ‘•‘˜— ‡‘‰ ’”‘…‡•ƒ‹Ž‹ƒ‘•‘˜— ‡«‹Œ‡ ˜‘ŽŒ‡ ˜”æ‹ •‡ ‹œ„‘” Œ‡†‡ ‘† ‘˜‹Š ‘‰—©‘•–‹Ǥ ‡‘†”‡¯‡‘•– ƒ•‘…‹”ƒƒ œƒ†ƒ–‘Œ 懏‹ ‹œ„‘”ƒܵǡ ƒ•–ƒŒ‡ —•Ž‡† ƒæ‡‰ ‡œƒŒƒ ‹Ž‹ ‡‘‰—©‘•–‹ †ƒ œƒ‘ ‘Œƒ©‡‘†݉ƒŽ–‡”ƒ–‹˜ƒ„‹–‹‹œƒ„”ƒƒǤ Na koji nain možemo izmeriti koliinu neodreenosti u datoj šemi izbora ܵ? –—‹–‹˜‘ ’”‡†‘•‡©ƒ‘ †ƒ 斑 Œ‡ ˜‡©ƒ ƒ”†‹ƒŽ‘•–ȁܵȁ•—’ƒܵǡ ‘†‘•‘ „”‘Œ ‡Ž‡‡–ƒ‘˜‘‰•—’ƒǡ˜‡©ƒŒ‡‹‡‘†”‡¯‡‘•–Ǥƒæ–‘‘†ƒ‡„‹•‘Œ‡†‘•–ƒ˜‘ —œ‡Ž‹ȁܵȁƒ‘ ‡”— ‡‘†”‡¯‡‘•–‹ǫ ƒ‘ Œ‡ –‘ — ’”‹…‹’— ‘‰—©‡ǡ Œ‡†ƒ †”—‰‹ ’”‹•–—’©‡•‡’‘ƒœƒ–‹†‡Ž‘–˜‘”‹Œ‹Ǥ ”‡†•–ƒ˜‹‘ •‡„‹ •Ž‡†‡©— ‹‰”—ǣ œƒ‹•Ž‹ •‡ Œ‡†ƒ ‘† ‘‰—©‘•–‹ ‹œ •—’ƒ ܵሺ̴݁ͳǡ ̴݁ʹǡ ǥ ǡ ̴݁݉ሻǡƒœƒ–‹•‡ ƒ‘•‘˜—’‹–ƒŒƒ‘Œƒ•—–ƒ‘ˆ‘”—Ž‹•ƒƒ†ƒ•‡ ƒŒ‹Š‘†‰‘˜ƒ”ƒ•ƒ‘•ƒdaȀneǡ’‘—惘ƒ’‘‰‘†‹–‹œƒ‹æŽŒ‡ƒ˜”‡†‘•–Ǥ ‘‰—©‘•–‹ —˜‡ ‘ā‡‘ ‘œƒ«‹–‹ ”‡†‘ „”‘Œ‡˜‹ƒͳǡ ʹǡ ǥ ǡ ݉ ൌ ȁܵȁǡ –ƒ‘ †ƒ ’‹–ƒŒƒ‘‰—„‹–‹–‹’‹«‘•Ž‡†‡©‡‰‘„Ž‹ƒǣ Da li je zamišljeni broj paran? Da li je zamišljeni broj manji od 20? Da li je zamišljeni broj vei od 12? i tdǤ

19

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

†ƒŠ œƒ’ƒāƒ‘ †ƒ —‘Ž‹‘ ƒ Œ‡ ’‘–”‡„‘ ˜‹æ‡ ’‹–ƒŒƒǡ ‡‘†”‡¯‡‘•– 懏‡ ‹œ„‘”ƒܵŒ‡ ˜‡©ƒǤ –‘‰ƒ Œ‡ ‘•‘˜ƒ‘ •ƒ–”ƒ–‹ †ƒ Œ‡ „”‘Œ ’‹–ƒŒƒ –‹’ƒ daȀne ‡‘’Š‘†‹Š œƒ ‘†”‡¯‹˜ƒŒ‡ ‡’‘œƒ–‡ œƒ‹æŽŒ‡‡ ‘‰—©‘•–‹ ‹œ •—’ƒܵǡ †‘„”ƒ ‡”ƒ‡‘†”‡¯‡‘•–‹懏‡‹œ„‘”ƒܵǤ †˜ƒā‘•–‹Œ‡‹ƒ˜ƒ’‹–ƒŒƒ’‘•–ƒ˜ŽŒƒ‘Ǥ‘•—’‹–ƒŒƒ–‹’ƒ†ƒŽ‹Œ‡œƒ‹æŽŒ‡‹ „”‘ŒŒ‡†ƒͳǡ’ƒƒ‘‹Œ‡†ƒŽ‹Œ‡Œ‡†ƒʹǡ’ƒƒ‘‹Œ‡†ƒŽ‹Œ‡Œ‡†ƒ͵ǡŒƒ•‘Œ‡†ƒ ƒ• –‘ ˜‘†‹ ƒ ’‘•–ƒ˜ŽŒƒŒ— •˜‹Š݉‘‰—©‹Š ’‹–ƒŒƒǤ ˜‘ •‹‰—”‘ ‹Œ‡ ‘’–‹ƒŽƒ ƒ«‹ †‘„‹ŒƒŒƒ –ƒ«‘‰ ‘†‰‘˜‘”ƒ — ƒŒƒŒ‡ „”‘Œ— ‘”ƒƒǤ ‡¯—–‹ǡ ƒ‘ Œ‡ ’”˜‘’‹–ƒŒ‡†ƒŽ‹Œ‡œƒ‹æŽŒ‡‹„”‘ŒƒŒ‹‘†݉Ȁʹǡ—ƒ”‡†‘’‹–ƒŒ—•—āƒ˜ƒ‘ ’”‡–”ƒ‰— ƒ ’‘Ž‘˜‹— ’‘«‡–‹Š ‘‰—©‘•–‹Ǥ ‘ ‹ — ƒ”‡†‹ ‘”ƒ…‹ƒ ƒ•–ƒ˜‹‘ †ƒ ’‘•–ƒ˜ŽŒƒ‘ ’‹–ƒŒƒ ƒ ‘˜ƒŒ ƒ«‹ǡ ’‘ƒœƒ©‡ •‡ †ƒ Œ‡ ‹œƒ„”ƒƒ •–”ƒ–‡‰‹Œƒ˜”Ž‘‡ˆ‹ƒ•ƒǤ  …‹ŽŒ— †‡–ƒŽŒ‹Œ‡‰ —’‘œƒ˜ƒŒƒ •ƒ ‘˜‹ ’‘•–—’‘ǡ ’”‡–’‘•–ƒ˜‹‘ ’”˜‘ †ƒ Œ‡ ——’ƒ„”‘Œ’‘«‡–‹Š‘‰—©‘•–‹•–‡’‡„”‘Œƒʹǡ‘†‘•‘†ƒ˜ƒā‹ ൌ ʹ୬ Ǥƒ†ƒ ‘ā‡‘ ’‘†‡Ž‹–‹ܵ’‘•–ƒ˜ŽŒƒŒ‡ ’”˜‘‰ ’‹–ƒŒƒ ȋ†ƒ Ž‹ Œ‡ œƒ‹æŽŒ‡‹ „”‘Œ ˜‡©‹ ‘† ʹ୬ିଵ ǫȌ ƒ †˜ƒ •—’ƒ ‹•–‡ ˜‡Ž‹«‹‡ǣሼͳǡʹǡ ǥ ǡ ʹ୬ିଵ ሽ‹ሼʹ୬ିଵ ൅ ͳǡ ǥ ǡ ʹ୬ ሽǤ ˜ƒƒ ‘† ‘˜‹Š’‘Ž‘˜‹ƒ©‡„‹–’‘†‡ŽŒ‡ƒƒ†˜‡’‘Ž‘˜‹‡ƒ”‡†‹’‹–ƒŒ‡Ǥ ‘ Œ‡ ‘†‰‘˜‘” ƒ ’”˜‘ ’‹–ƒŒ‡ neǡ –ƒ†ƒ •Ž‡†‡©‡ ’‹–ƒŒ‡ ‰‡‡”‹æ‡ •—’‘˜‡ሼͳǡʹǡ ǥ ǡ ʹ୬ିଶ ሽ‹ሼʹ୬ିଶ ൅ ͳǡ ǥ ǡ ʹ୬ିଵ ሽǤ ‘ Œ‡ ‘†‰‘˜‘” ƒ ’”˜‘ ’‹–ƒŒ‡ daǡ –ƒ†ƒ ƒ”‡†‘ ’‹–ƒŒ‡ ’”ƒ˜‹ ”ƒœŽ‹— ‹œ‡¯— •—’‘˜ƒሼʹ୬ିଵ ൅ ͳǡ ǥ ǡ ʹ୬ିଵ ൅ ʹ୬ିଶ ሽ‹ ሼʹ୬ିଵ ൅ ʹ୬ିଶ ൅ ͳǡ ǥ ǡ ʹ୬ ሽ Ǥ ”‹ƒœƒ‹ ’”‘…‡• ’‘•–ƒ˜ŽŒƒŒƒ ’‹–ƒŒƒ ‹ †‘„‹ŒƒŒƒ ‘†‰‘˜‘”ƒ’”‹ƒœƒŒ‡‘†‰‘˜ƒ”ƒŒ—©‘‰”ƒˆ•‘•–”—–—”‘ƒŽ‹ƒʹǤͳǤ

 Ž‹ƒʹǤͳ–ƒ„Ž‘’‹–ƒŒ‡‘†‰‘˜‘”ƒ•–ƒŽ‘–‘‘„‹ƒ”‡’”‡–”ƒ‰‡œƒ‡’‘œƒ–‘ ‘‰—©‘æ©—‘†——’‘݉ ൌ ʹ௡ ‘‰—©‘•–‹Ǥ 20

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜ƒ‘ ’‹–ƒŒ— ‘†‰‘˜ƒ”ƒ Œ‡†ƒ «˜‘”ǡ ‘œƒ«‡ •—’‘ ‘‰—©‘•–‹ ‹†‡–‹ˆ‹‘˜ƒ‹Š †‘ –‘‰ ‘‡–ƒǤ ”˜‹ «˜‘” Œ‡ •–‘‰ƒ ‘œƒ«‡ •—’‘ •˜‹Š ‘‰—©‘•–‹ܵǤ ,˜‘”‘˜‹ — ’”˜‘ •Ž‘Œ— •— ‘œƒ«‡‹ •ƒ †˜ƒ •—’ƒ —’‘Žƒ ƒŒ‡ †‹‡œ‹Œ‡ǡ †”—‰‹ •Ž‘Œ «˜‘”‘˜ƒ Œ‡ ‘œƒ«‡ •ƒ «‡–‹”‹ •—’ƒ †‹‡œ‹Œƒ «‡–‹”‹ ’—–ƒ ƒŒ‹Š‘†’‘«‡–‘‰•—’ƒܵ‹–†Ǥ†‰‘˜‘”‹•‡‘œƒ«ƒ˜ƒŒ—‰”ƒƒƒǤ†‰‘˜‘”Ȃne ‘œƒ«ƒ˜ƒ‘•ƒͲǡ†‘‘†‰‘˜‘”Ȃda‘œƒ«ƒ˜ƒ‘•ƒͳǤ ”‘…‡••—…‡•‹˜‘‰†‡ŽŒ‡Œƒ’‘«‡–‘‰•—’ƒ‘‰—©‘•–‹ƒ’‘Ž‘˜‹‡ǡœƒ˜”惘ƒ•‡ ƒ‘݊‘”ƒƒ •ƒ —ƒœ‹˜ƒŒ‡ ƒ –ƒ«ƒ ‘†‰‘˜‘”Ǥ ”‘Œ݊‹Œ‡ ‹æ–ƒ †”—‰‘ †‘ Ž‘‰ƒ”‹–ƒ ‘† ൌ ʹ୬ œƒ ‘•‘˜— ʹǡ ‘†‘•‘ ൌ Ž‘‰ ଶ Ǥ ˜ƒŒ „”‘Œ Œ‡ œƒ«ƒŒ‘ ƒŒ‹ ‘†݉Ǥ –‘‰ƒ ‹œ‰Ž‡†ƒ ”ƒœ—‘ ’”‡†•–ƒ˜‹–‹ ‘Ž‹«‹— ‡‘†”‡¯‡‘•–‹ — 懏‹ ‹œ„‘”ƒܵ’‘‘©— Ž‘‰ƒ”‹–ƒ œƒ ‘•‘˜— †˜ƒ „”‘Œƒ •˜‹Š ‘‰—©‘•–‹ȁȁ ൌ ʹ୬ –‘‰ •‹•–‡ƒǤ ‘ ‡”— ‡‘†”‡¯‡‘•–‹ 懏‡ ‹œ„‘”ƒܵ‘œƒ«‹‘ •ƒŠሺȁȁሻǡ –ƒ†ƒ Œ‡  ‹œ„‘” Šሺȁȁሻ ൌ Ž‘‰ ȁȁǡ†‘„ƒ”‹œ„‘”„ƒ”‡ƒ†ƒŒ‡ȁȁ•–‡’‡ƒʹǤ Šta e se desiti u opštem sluaju kada je kardinalnost skupa ܵ proizvoljan prirodan broj? ‘ā‡‘ ’”‹‡‹–‹ ‹•–— 懏— ’‘•–ƒ˜ŽŒƒŒƒ ’‹–ƒŒƒǡ • –‘ ”ƒœŽ‹‘ 斑 ©‡ ‡‹ ‰‡‡”‹•ƒ‹ •—’‘˜‹ ‹ƒ–‹ ‡’ƒ”ƒ „”‘Œ ‡Ž‡‡ƒ–ƒ  ‘„Ž‹ƒʹ݇ ൅ ͳǡ ’ƒ ©‡ Œ‹Š‘˜ƒ ’‘†‡Žƒƒ†˜ƒ†‡Žƒ†ƒ˜ƒ–‹’‘†•—’‘˜‡‡æ–‘”ƒœŽ‹«‹–‡ƒ”†‹ƒŽ‘•–‹݇‹݇ ൅ ͳǤ ”‹ƒœƒƒŒ‡‘˜ƒ•‹–—ƒ…‹ŒƒƒŽ‹ƒʹǤʹǤ

 Ž‹ƒʹǤʹ–ƒ„Ž‘’‹–ƒŒ‡Ǧ‘†‰‘˜‘”ƒ•–ƒŽ‘–‘‘„‹ƒ”‡’”‡–”ƒ‰‡œƒ‡’‘œƒ–‘ ‘‰—©‘æ©——‘’æ–‡•Ž—«ƒŒ—

21

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘Ž‹‘ Œ‡ „”‘Œ ‘‰—©‘•–‹ — 懏‹ ‹œ„‘”ƒܵǡ ‹œ‡¯— †˜ƒ •–‡’‡ƒ „”‘Œƒ ʹǡ –ŒǤʹ୬ ൑ ȁȁ ൏ ʹ୬ାଵ ǡ–ƒ†ƒ‘ā‡‘‹Ž‹‹œ„ƒ…‹–‹‡‡‘‰—©‘•–‹‹”‡†—‘˜ƒ–‹Œ‹Š‘˜ „”‘Œƒʹ୬ ‹Ž‹†‘†ƒ–‹‡‡‘‰—©‘•–‹—…‹ŽŒ—†‘„‹ŒƒŒƒʹ୬ାଵ ‘‰—©‘•–‹Ǥ ’”˜‘•Ž—«ƒŒ—ƒŒ‡’‘–”‡„‘݊’‹–ƒŒƒǡƒ—†”—‰‘݊ ൅ ͳ†ƒ„‹•‘’”‘ƒæŽ‹ –ƒ«ƒ ‘†‰‘˜‘”Ǥ ”‡ƒ –‘‡ ‘Ž‹«‹ƒ ‡‘†”‡¯‡‘•–‹ —ܵŒ‡ ‡‰†‡ ‹œ‡¯— ‘˜‹Š ˜”‡†‘•–‹ǡ–ŒǤ ൑ Ž‘‰ȁȁ ൏ ݊ ൅ ͳǤ–‘‰ƒ‹‘’‡–‘ā‡‘—œ‡–‹Šሺȁȁሻ ൌ Ž‘‰ ȁȁƒ‘ ‡”—‡‘†”‡¯‡‘•–‹—‘’æ–‡•Ž—«ƒŒ—ǡ’”‹«‡—‘˜ƒ˜”‡†‘•–‹Œ‡‡‘’Š‘†‘…‡‘ „”‘Œ‹‘ƒ«‘—•˜ƒŒƒ‘•Ž‡†‡©—†‡ˆ‹‹…‹Œ—ǣ DEFINICIJA 2.1 Koliina neodreenosti šeme izbora. ƒ 懏— ‹œ„‘”ƒܵ•ƒȁȁ ‘‰—©‘•–‹ǡ‘Ž‹«‹ƒ‡‘†”‡¯‡‘•–‹ŠሺȁȁሻŒ‡†‡ˆ‹‹•ƒƒ•ƒŠሺȁȁሻ ൌ Ž‘‰ ȁȁǤ PRIMER 2.1ȋeƒŠ‘˜•ƒ–ƒ„ŽƒȌ‡ƒŒ‡†ƒ–ƒ’”ƒœƒ惊‘˜•ƒ–ƒ„ŽƒǤ‘•–‘Œ‹——’‘  ൌ ͸Ͷ ൌ ʹ଺ ‘‰—©‘•–‹œƒ’‘•–ƒ˜ŽŒƒŒ‡’”˜‡ˆ‹‰—”‡Ǥ–‘‰ƒ•‡‘†‰‘˜ƒ”ƒŒ—©ƒ懏ƒ ‹œ„‘”ƒ‘ā‡’”‹ƒœƒ–‹•ƒ ൌ ሼͳǡʹǡ ǥ ǡ͸Ͷሽǡ‰†‡Œ‡œƒ«‡Œ‡•˜ƒ‘‰„”‘ŒƒŒ‡†‘’‘ŽŒ‡ ƒ惊‘˜•‘Œ–ƒ„Ž‹Ǥ‘Ž‹«‹ƒ‡‘†”‡¯‡‘•–‹—’‘•–ƒ˜ŽŒƒŒ—Œ‡†‡ˆ‹‰—”‡ƒ’”ƒœ— 惊‘˜•—–ƒ„Ž—Œ‡Šሺȁȁሻ ൌ Ž‘‰ȁ͸Ͷȁ ൌ ͸Ǥ ƒ‘ ‹ •˜ƒƒ †”—‰ƒ †‡ˆ‹‹…‹Œƒǡ ‹ ƒæƒ †‡ˆ‹‹…‹Œƒ ‡”‡ ‡‘†”‡¯‡‘•–‹ Œ‡ †‘‡Ž‡ ’”‘‹œ˜‘ŽŒƒǤ’”ƒ˜†ƒŒƒ†‘„”‹Š†‡ˆ‹‹…‹Œƒ•‡•–‹«—Œ‹Š‘˜‹•˜‘Œ•–˜‹ƒ‘”‹•‘•–‹‹ ‡Ž‡‰ƒ…‹Œ‡—’”ƒ–‹«‹’”‹‡ƒƒ‹‘Žƒæƒ˜ƒŒ—–‡‘”‹Œ•‹Š‹œ˜‘¯‡ŒƒǤ—†—©‹†ƒ Œ‡ ‘˜ƒ †‡ˆ‹‹…‹Œƒ ‡”‡ ‡‘†”‡¯‡‘•–‹ ’”‡ā‹˜‡Žƒ ’”˜‘ •–‘Ž‡©‡ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒǡ ‘«‹‰Ž‡†‘†ƒŒ‡œƒ†‘˜‘ŽŒ‹Žƒ‘„ƒ‘˜ƒ”‹–‡”‹Œ—ƒǤ ƒ’‘‡‹‘†ƒ’‹–ƒŒƒ‘ā‡‘’‘•–ƒ˜ŽŒƒ–‹‹–ƒ‘†ƒ’‘•–‘Œ‹˜‹æ‡‘††˜ƒ‘‰—©ƒ ‘†‰‘˜‘”ƒǤ ”‡–’‘•–ƒ˜‹‘ †ƒ ’‹–ƒŒƒ ‹ƒŒ— ൐ ʹ‘‰—©‹Š ‘†‰‘˜‘”ƒǤ  –‘ •Ž—«ƒŒ— •˜ƒ‘ ’‹–ƒŒ‡ ˜”æ‹ ’‘†‡Ž— •—’ƒ ‘† ݉ ‘‰—©‘•–‹ — ݇ †‹•Œ—–‹Š ୫ ’‘†•—’‘˜ƒ •ƒ ’”‹„Ž‹ā‘ ‡Ž‡‡ƒ–ƒǤ ‘ Œ‡ȁȁ ൌ  ୬ ǡ –ƒ†ƒ ƒ Œ‡ ’‘–”‡„‘ ୩

–ƒ«‘ ൌ Ž‘‰ ୩ ȁȁ’‹–ƒŒƒǤ‘‘˜‘‰’—–ƒ—•˜‘Œ‹‘Ž‘‰ƒ”‹–ƒœƒ‘•‘˜—ǡ–ƒ†ƒŒ‡ Šሺȁȁሻ ൌ Ž‘‰ ୩ ȁȁǤ ƒŒ—©‹ — ˜‹†— †ƒ Œ‡Ž‘‰ ୩ ȁȁ ൌ Ž‘‰ ୩ ʹ ȉ Ž‘‰ ଶ ȁȁǡ ‹†‹‘ †ƒ Œ‡ ’”‘‡ƒ ‘•‘˜‡ Ž‘‰ƒ”‹–ƒ ’‘ ‡ˆ‡–‹ƒ ‡˜‹˜ƒŽ‡–ƒ ’”‘‡‹ Œ‡†‹‹…‡ ‡”‡Œƒ ‹ •–‘‰ƒ ‹Œ‡ ‘† •—æ–‹•‘‰œƒ«ƒŒƒǤ

22

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡ˆ‹‹…‹Œ‘ •‹•–‡ƒ ‹œ„‘”ƒܵ‹ ‘†‰‘˜ƒ”ƒŒ—©‡‰ •–ƒ„Žƒ ’‹–ƒŒƒǡ ƒ‘ 斑 Œ‡ ‘‘ ƒ ȋŽ‹ƒʹǤͳȌǡ‹•–‘˜”‡‡‘ Œ‡‘†”‡¯‡‹ •‹•–‡‘†‘˜ƒŒƒ•˜‹Š‘‰—©‘•–‹•‹•–‡ƒ ‹œ„‘”ƒǤ ‘† Œ‡†‡ ‘‰—©‘•–‹ †‘„‹Œƒ‘ •’ƒŒƒŒ‡ •‹„‘Žƒ Ͳ ‹ ͳ ƒ ’—–— ‘† ‘”‡ƒ •–ƒ„Žƒ †‘ †ƒ–‡ ‘‰—©‘•–‹Ǥ ‘ •— —’—©‡ƒ „‹ƒ”ƒ ’‹–ƒŒƒǡ –ƒ†ƒ †‘„‹Œƒ‘ „‹ƒ”‹ ‘† œƒ †ƒ–‹ •‹•–‡ ‘‰—©‘•–‹Ǥ ”‹‡–‹‘ †ƒ Œ‡ †—ā‹ƒ ‘†ƒ •˜ƒ‡ ‘‰—©‘•–‹ Œ‡†ƒƒ ‹Ž‹ •Ž‡†‡©‡ ƒŒƒŒ‡ ‹Ž‹ •Ž‡†‡©‡ ƒŒ˜‡©‡ …‡Ž‘ „”‘Œ—‘†Šሺȁȁሻ ൌ Ž‘‰ሺȁȁሻǤ˜‹•‡’”˜‹’—–•—•”‡©‡‘•ƒ„Ž‹•‘˜‡œ‘‹œ‡¯— ‡”‡‡‘†”‡¯‡‘•–‹‹‘†‘˜ƒŒƒǤ PRIMER 2.2 ‹ƒ”‘ •–ƒ„Ž‘ ’‹–ƒŒƒǤ ‡ƒ Œ‡ •‹•–‡ ‘‰—©‘•–‹ †ƒ– •ƒ  ൌ ሼͳǡ ʹǡ ͵ǡ Ͷǡ ͷሽǤŒ‡‰‘˜ƒ‘Ž‹«‹ƒ‡‘†”‡¯‡‘•–‹Œ‡Šሺȁȁሻ ൌ Ž‘‰ ͷ ൎ ʹǡ͵ʹͳͻ„‹–Ǥ

‡†‘ ‘‰—©‡ •–ƒ„Ž‘ ’‹–ƒŒƒ Œ‡ †ƒ–‘ ƒ ȋŽ‹ƒ ʹǤ͵ȌǤ ‹†‹‘ †ƒ ‘†  ͲͲͳ ”‡’”‡œ‡–—Œ‡ ‘‰—©‘•–ሼʹሽǡ ’”‹ «‡— Œ‡ Œ‡‰‘˜ƒ †—ā‹ƒ ͵ Œ‡†ƒƒ ƒ”‡†‘ ƒŒ˜‡©‡ …‡Ž‘ „”‘Œ— ‘†ŠሺȁȁሻǤ ‘‰—©‘•–ሼ͵ሽ‹ƒ ‘† †—ā‹‡ ʹǡሼͶሽ‹ƒ ‘† †—ā‹‡ʹ‹–†Ǥ

 Ž‹ƒʹǤ͵–ƒ„Ž‘’‹–ƒŒ‡Ǧ‘†‰‘˜‘”ƒ•–ƒŽ‘ƒ‘•‘˜—„‹ƒ”‹Š’‹–ƒŒƒ—•‹•–‡—•ƒͷ ‘‰—©‘•–‹Ǥ

ƒ„”‘Œƒ©‡‘•ƒ†ƒ‡‡ƒŒŒ‡†‘•–ƒ˜‹Œ‡‘•‘„‹‡‡”‡‡‘†”‡¯‡‘•–‹Šሺȁȁሻǣ ͳǤ ‘ •—ܵͳ‹ܵʹ†˜ƒ •‹•–‡ƒ ‘‰—©‘•–‹ ‹ȁܵଵ ȁ ൌ ȁܵଶ ȁǡ –ƒ†ƒ Œ‡ ‹݄ሺȁܵଵ ȁሻ ൌ ݄ሺȁܵଶ ȁሻǤ”‡ƒ–‘‡—–‹…ƒŒƒƒ‡‘†”‡¯‡‘•–‹ƒ•ƒ‘„”‘Œ‘‰—©‘•–‹ƒ ‡‹Œ‹Š‘˜ƒ’”‹”‘†ƒǤ

23

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ ‘ •—ܵͳ‹ܵʹ†˜ƒ •‹•–‡ƒ ‘‰—©‘•–‹ ‹ȁܵଵ ȁ ൏ ȁܵଶ ȁǡ –ƒ†ƒ Œ‡ ‹݄ሺȁܵଵ ȁሻ ൏ ݄ሺȁܵଶ ȁሻǡ „—†—©‹ †ƒ Œ‡ Ž‘‰ƒ”‹–ƒ ‡‘’ƒ†ƒŒ—©ƒ ˆ—…‹ŒƒǤ ˜ƒ ‘•‘„‹ƒ Œ‡ — •Žƒ†— •ƒ ƒæ‹ ‹–—‹–‹˜‹ ‘«‡‹˜ƒŒ‹ƒǣ ‡‘†”‡¯‡‘•– ”ƒ•–‡ •ƒ ’‘”ƒ•–‘„”‘Œƒ‘‰—©‘•–‹‹œ„‘”ƒǤ ͵Ǥ ‘•—ܵͳ‹ܵʹ†˜ƒ•‹•–‡ƒ‘‰—©‘•–‹‹ܵʹ‹ƒ†˜ƒ’—–ƒ˜‹æ‡‘‰—©‘•–‹ ‘†ܵͳሺȁܵଶ ȁ ൌ ʹ ȉ ȁܵଵ ȁሻ–ƒ†ƒ —œ‹ƒŒ—©‹ Ž‘‰ƒ”‹–ƒ œƒ ‘•‘˜— ʹǡ †‘„‹Œƒ‘ ݄ሺȁܵଶ ȁሻ ൌ ݄ሺȁܵଵ ȁሻ ൅ ͳǤ˜‘•Ž‡†‹‹œ•˜‘Œ•–˜ƒƒ†‹–‹˜‘•–‹ˆ—…‹Œ‡Ž‘‰ƒ”‹–ƒ‹ «‹Œ‡‹…‡ †ƒ Œ‡ Ž‘‰ ଶ ʹ ൌ ͳǡ ݄ሺȁܵଶ ȁሻ ൌ Ž‘‰ ଶ ȁܵଶ ȁ ൌ Ž‘‰ ଶ ሺʹ ȉ ȁܵଵ ȁሻ ൌ Ž‘‰ ଶ ʹ ൅ Ž‘‰ ଶ ȁܵଵ ȁ ൌ ͳ ൅ ݄ሺȁܵଵ ȁሻǤ ͶǤ ‘ Œ‡ܵ•‹•–‡ •ƒ‘ •ƒ †˜‡ ‘‰—©‘•–‹ǡ –ƒ†ƒ ƒ‘ œƒ ‘•‘˜— Ž‘‰ƒ”‹–ƒ —œ‡‘ ‘•‘˜— ʹǡ –ƒ†ƒ Œ‡݄ሺȁܵȁሻ ൌ Ž‘‰ ଶ ʹ ൌ ͳǤ ˜ƒ Œ‡†‹‹…ƒ ‡”‡ •‡ ƒœ‹˜ƒ „‹– ȋŒ‡†‹‹…ƒ „‹ƒ”‡ ‹ˆ‘”ƒ…‹Œ‡ȌǤ ‹†‹‘ †ƒ Œ‡ ‡‘†”‡¯‡‘•– –‡•‘ ’‘˜‡œƒƒ •ƒ ‹ˆ‘”ƒ…‹Œ‘ ‹ †ƒ •‡ ‘‰— ‹œ”ƒœ‹–‹ — ‹•–‹ ‡”‹ Œ‡†‹‹…ƒƒǤ —†—©‹ †ƒ Œ‡ — ”ƒ«—ƒ”‹ƒ ‹ˆ‘”ƒ…‹Œƒ ’”‹”‘†‘ œƒ’‹•ƒƒ ’‘‘©—†˜ƒ•–ƒŒƒǡƒŒ’‘’—Žƒ”‹Œ‹–‹’’‹–ƒŒƒŒ‡„‹ƒ”‹Ǥ ͷǤ ‘ •— ƒ œƒ†ƒ–ƒ †˜ƒ •‹•–‡ƒ ‘‰—©‘•–‹  ܵଵ ൫݁ଵǡଵ ǡ ݁ଵǡଶ ǡ ǥ ǡ ݁ଵǡ௡ ൯ ǡ ܵଶ ሺ݁ଶǡଵ ǡ ݁ଶǡଶ ǡ ǥ ǡ ݁ଶǡ௠ ሻ ǡ –ƒ†ƒ •‡ ‘˜‹ •‹•–‡‹ ‘‰— ‹•‘„‹‘˜ƒ–‹ — Œ‡†‹•–˜‡‹ •‹•–‡ ‘‰—©‘•–‹ǡ «‹Œ‡ •— ‘‰—©‘•–‹ •˜‹Š ݊ ൉ ݉’ƒ”‘˜ƒ ൛൫݁ଵǡଵ ǡ ݁ଶǡଵ ൯ǡ ൫݁ଵǡଵǡ ǡ ݁ଶǡଶǡ ൯ǡ ǥ ǡ ൫݁ଵǡଶ ǡ ݁ଶǡଵ ൯ǡ ǥ ǡ ሺ݁ଵǡ௡ ǡ ݁ଶǡ௠ ሻൟ Ǥ ˜ƒƒ˜ •—’ •˜‹Š ’ƒ”‘˜ƒ •‡  ƒœ‹˜ƒ †‡ƒ”–‘˜ ’”‘‹œ˜‘† †˜ƒ •—’ƒ ‹ œƒ’‹•—Œ‡ •‡ — ˆ‘”‹ǣ ܵଵ ൈ ܵଶ ൌ ൛൫݁ଵǡଵ ǡ ݁ଶǡଵ ൯ǡ ൫݁ଵǡଵǡ ǡ ݁ଶǡଶǡ ൯ǡ ǥ ǡ ൫݁ଵǡଶ ǡ ݁ଶǡଵ ൯ǡ ǥ ǡ ሺ݁ଵǡ௡ ǡ ݁ଶǡ௠ ሻൟǤ ƒœ˜ƒ©‡‘ ‘˜ƒŒ ‘˜‹ •‹•–‡ ‹œ„‘”ƒǡ •‹•–‡‘ ‡œƒ˜‹•‹Š ‹œ„‘”ƒǤ ˜‹ •‡ ‹œ”ƒāƒ˜ƒ ‹†‡Œƒ †ƒ •‡ ‹œ„‘” ‘‰—©‘•–‹ — •˜ƒ‘ ‘† •‹•–‡ƒ ˜”æ‹ ‡œƒ˜‹•‘ ‘† †”—‰‘‰ •‹•–‡ƒǤ ˜ƒ˜‹ ‡œƒ˜‹•‹ ‹œ„‘”‹ƒ •‡ †‘„‹ŒƒŒ— ‘„‹‘˜ƒ‡ ‘‰—©‘•–‹Ǥ ƒ‘ •‡ ‘Ž‹«‹ƒ ‡‘†”‡¯‡‘•–‹ ‘„‹‘˜ƒ‘‰ •‹•–‡ƒ ‘†‘•‹ ’”‡ƒ ‘Ž‹«‹ƒƒ ‡‘†”‡¯‡‘•–‹ ’‘Œ‡†‹ƒ«‹Š •‹•–‡ƒ ‘‰—©‘•–‹ǫ †‰‘˜‘” Œ‡ ˆ‘”—Ž‹•ƒ—•Ž‡†‡©‡•–ƒ˜—Ǥ TEOREMA 2.1 †‹–‹˜‘•– ‡‘†”‡¯‡‘•–‹Ǥ ‡‘†”‡¯‡‘•– •‹•–‡ƒ ‡œƒ˜‹•‹Š ‹œ„‘”ƒ Œ‡†ƒƒ Œ‡ •—‹ ‡‘†”‡¯‡‘•–‹ •‹•–‡ƒ ‘•–‹–—‡ƒ–ƒǡ –ŒǤŠሺȁଵ ൈ ଶ ȁሻ ൌ Šሺȁଵ ȁሻ ൅ Šሺȁଶ ȁሻǤ ‘ƒœǣ ‘ƒœ •‡ •˜‘†‹ ƒ ‘”‹æ©‡Œ‡ •˜‘Œ•–˜ƒ ƒ†‹–‹˜‘•–‹ ˆ—…‹Œ‡ Ž‘‰ƒ”‹–ƒǡ ƒ‹‡

24

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Šሺȁଵ ൈ ଶ ȁሻ ൌ Ž‘‰ȁଵ ൈ ଶ ȁ ൌ Ž‘‰ሺȁଵ ȁ ȉ ȁଶ ȁሻ ൌ Ž‘‰ȁଵ ȁ ൅ Ž‘‰ȁଶ ȁ ൌ Šሺȁଵ ȁሻ ൅ Šሺȁଶ ȁሻǤ ˜‘Œ•–˜‘ ‡‘†”‡¯‡‘•–‹‹œ”ƒā‡‘ ‡‘”‡‘ʹǤͳ —’‘–’—‘•–‹’‘†”āƒ˜ƒ‹–—‹…‹Œ— †ƒ •‡ ‡‘†”‡¯‡‘•–‹ — †˜‡ ‡œƒ˜‹•‡ •‹–—ƒ…‹Œ‡ •ƒ„‹”ƒŒ—ǡ —‘Ž‹‘ •— –‡ •‹–—ƒ…‹Œ‡ ‡¯—•‘„‘‡œƒ˜‹•‡ǡƒ†ƒ•‡”ƒœƒ–”ƒŒ—œƒŒ‡†‘ ”ƒ–‹‘ •‡ ”‹‡”— ʹǤͳ •ƒ 惊‘˜•‘ –ƒ„Ž‘ǡ — ‘‡ •‘ ˜‹†‡Ž‹ †ƒ Œ‡ ‡‘†”‡¯‡‘•–Œ‡†‡ˆ‹‰—”‡ƒ…‡Ž‘—’‘Œ惊‘˜•‘Œ–ƒ„Ž‹݄ሺȁܵȁሻ ൌ ݈‫ ݃݋‬͸Ͷ ൌ ͸Ǥ ƒ ‹•–‹ ƒ«‹ǡ ‘ā‡‘ ˜‹†‡–‹ †ƒ Œ‡ ‡‘†”‡¯‡‘•– ’‘œ‹…‹Œ‡ Œ‡†‡ ˆ‹‰—”‡ — Œ‡†‘ ”‡†— ‹Ž‹ Œ‡†‘Œ ‘Ž‘‹ Œ‡†ƒƒ݈‫ ݃݋‬ͺ ൌ ͵Ǥ œ ‘˜‡ «‹Œ‡‹…‡ ‘ā‡‘ ‹œ˜‡•–‹ ‡‘†”‡¯‡‘•– ’‘œ‹…‹Œ‡ ƒ …‡Ž‘—’‘Œ –ƒ„Ž‹ǡ —†”—ā‹˜ƒŒ‡ — ‡œƒ˜‹•ƒ •‹•–‡ ‹œ„‘”ƒ•‹•–‡‡‹œ„‘”ƒ’‘‘Ž‘ƒƒ‹”‡†‘˜‹ƒǡ–ŒǤ͸ ൌ ݈‫ ݃݋‬͸Ͷ ൌ ݈‫ ݃݋‬ͺ ൅ ݈‫ ݃݋‬ͺǤ ‘’æ–‡Œ‡ •‡ ‘ā‡ †‹”‡–‘ ‹œ˜”æ‹–‹ ƒ •Ž—«ƒŒ݉‡œƒ˜‹•‹Š •‹•–‡ƒ ‹œ„‘”ƒǤ ƒ†ƒ Œ‡†‡ƒ”–‘˜’”‘‹œ˜‘††—ā‹‡݉ ଵ ൈ ଶ ൈȉȉȉൈ ୫ ൌ ൛൫‡ଵǡଵ ǡ ‡ଶǡଵ ǡ ǥ ǡ ‡୫ǡଵ ൯ǡ ǥ Ǥ ൟ ‘†‰‘˜ƒ”ƒŒ—©‹•‹•–‡‡œƒ˜‹•‹Š‹œ„‘”ƒǤ‡‘”‡ƒʹǤͳ•‡†‹”‡–‘’”‘æ‹”—Œ‡ƒ‘˜ƒŒ ‘’æ–‹•Ž—«ƒŒ‹—˜ƒā‘•–‹Œ‡‹œ”ƒœœƒ‡‘†”‡¯‡‘•–œ†”—ā‡‘‰•‹•–‡ƒ‘‰—©‘•–‹ Šሺȁଵ ൈ ଶ ൈȉȉȉൈ ୫ ȁሻ ൌ Šሺȁଵ ȁሻ ൅ Šሺȁଶ ȁሻ ൅ ‫ ڮ‬൅ Šሺȁ୫ ȁሻǤȋʹǤͳȌ ‡ƒ•‡‘…ƒ„ƒ…ƒ݉’—–ƒ‹‡ƒ•‡’‘†”ƒœ—‡˜ƒ†ƒ•—„ƒ…ƒŒƒ‡œƒ˜‹•ƒǤ˜ƒŒ ’”‘…‡• •‡ ‘ā‡ ‘†‡Ž‘˜ƒ–‹ ’‘‘©—݉‡œƒ˜‹•‹Š •‹•–‡ƒ ‹œ„‘”ƒଵ ǡ ǥ Ǥ ǡ ୫ ǡ ’”‹ «‡—•˜ƒ‹•‹•–‡‹ƒ͸‘‰—©‘•–‹Ǥ”‡ƒȋʹǤͳȌǡ——’ƒ‡‘†”‡¯‡‘•–‹•Š‘†ƒ ’”‹Ž‹‘ „ƒ…ƒŒƒ ‘…‡݉—œƒ•–‘’‹Š ’—–ƒ Œ‡ǣŠሺȁଵ ൈ ଶ ൈȉȉȉൈ ୫ ȁሻ ൌ Šሺȁଵ ȁሻ ൅ Šሺȁଶ ȁሻ ൅ ‫ ڮ‬൅ Šሺȁ୫ ȁሻ ൌ  ȉ Ž‘‰ ͸Ǥ ‘”ƒŽ‹œ‘˜ƒŽ‹•‘•‹–—ƒ…‹Œ‡‡‘†”‡¯‡‘•–‹—˜‘¯‡Œ‡•‹•–‡ƒܵǡ—‘‡•‡„‹”ƒ Œ‡†ƒ‘†‘‰—©‘•–‹ǡƒŽ‹•‡‡œƒ‘ŒƒǤ ‡‘†”‡¯‡‘•–’”‹†”—ā‡ƒ•‹•–‡—‘‰—©‘•–‹•‡‡”‹ƒŒƒŒ‹„”‘Œ‡’‹–ƒŒƒ ‘Œƒ–”‡„ƒ’‘•–ƒ˜‹–‹—…‹ŽŒ—ƒŽƒā‡Œƒ•–˜ƒ”‘‰‹œ„‘”ƒǤƒ‘˜ƒŒƒ«‹•‘†‘掋†‘ ‡”‡ ‡‘†”‡¯‡‘•–‹ ‹œ”ƒā‡‡ •ƒ݈‫ ݃݋‬ȁܵȁǤ ‘ •— —’‘–”‡„ŽŒ‡ƒ „‹ƒ”ƒ ’‹–ƒŒƒǡ Œ‡†‹‹…ƒ‡”‡‡‘†”‡¯‡‘•–‹Œ‡„‹–Ǥ

25

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‹•–‡‘ ’‘•–ƒ˜ŽŒƒŒƒ ’‹–ƒŒƒ — ˜‡œ‹ ‘†”‡¯‹˜ƒŒƒ †ƒ–‡ ‡’‘œƒ–‡ ‘‰—©‘•–‹ǡ ‹†——Œ‡ •‡ •–ƒ„Ž‘ ƒ ‘•‘˜— ‘‰ƒ •‡ ‘ā‡ Œ‡†‘œƒ«‘ ‘†”‡†‹–‹ ‘† •˜ƒ‡ ‘† ‘‰—©‘•–‹ •‹•–‡ƒܵǤ —ā‹‡ ‘†‘˜ƒ •— ’”‹„Ž‹ā‘ Œ‡†ƒ‡ ‡”‹ ‡‘†”‡¯‡‘•–‹ ݈‫ ݃݋‬ȁܵȁǤ‘•—‘”‹æ©‡ƒ„‹ƒ”ƒ’‹–ƒŒƒǡ†‘„‹Œƒ•‡„‹ƒ”‹‘†Ǥ‡‘†”‡†Œ‡‘•–‹ •‹•–‡ƒ‡œƒ˜‹•‹Š‘‰—©‘•–‹•‡‡¯—•‘„‘•ƒ„‹”ƒŒ—Ǥ 

26

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤͳǤ   Ȃ *

 

 * 



 

‘•–‘Œ‡ •‹–—ƒ…‹Œ‡ — ‘Œ‹ƒ •— ƒ ’‘œƒ–‡ ˜‡”‘˜ƒ–‘©‡ •ƒ ‘Œ‹ƒ •‡ ’‘Œ‡†‹‡ ‘‰—©‘•–‹ ’‘Œƒ˜ŽŒ—Œ— — ‡‘ ’‘•ƒ–”ƒ‘ •‹•–‡— ‘‰—©‘•–‹ܵǤ ’”Ǥ ƒ‘ ‡‘ —…ƒ –‡•– ƒ •”’•‘ Œ‡œ‹—ǡ ’‘Œ‡†‹‹ œƒ…‹ •‡ ’‘Œƒ˜ŽŒ—Œ— «‡æ©‡ ‘† ‡‹Š †”—‰‹ŠǤ ˜‡†‹‘ ˆ‘”ƒŽ‘ ˜‡”‘˜ƒ–‘©‡ — •‹•–‡ ‘‰—©‘•–‹ ൌ ൛‡ଵ ǡ ‡ଶ ǡ ǥ ǡ ‡୫ ൟ †‘†‡Ž‘ ˜‡”‘˜ƒ–‘©ƒ ’୧ ‘‰—©‘•–‹ƒ ‡୧ œƒ ‹ ൌ ͳǡʹǡ ǥ ǡ Ǥ ˜‡ ˜‡”‘˜ƒ–‘©‡ ‘”ƒŒ—†ƒœƒ†‘˜‘ŽŒ‡•Ž‡†‡©‡—•Ž‘˜‡ǣ Ͳ ൑ ’୧ ൑ ͳǡ œƒ‹ ൌ ͳǡʹǡ ǥ ǡ ǡ  σ୫ ୧ୀଵ ’୧ ǤȋͳǤʹȌ ‹•–‡ ‹œ„‘”ƒܵœƒŒ‡†‘ •ƒ •—’‘ ˜‡”‘˜ƒ–‘©ƒ ൌ ሼ’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୫ ሽ ‘„”ƒœ—Œ‡ ˜‡”‘˜ƒ–‘•‹•‹•–‡‹œ„‘”ƒǤ ‘”ƒŽ‘ǡ†‡ˆ‹‹æ‡‘‰ƒƒ•Ž‡†‡©‹ƒ«‹Ǥ DEFINICIJA 2.2 ‘ Œ‡ ܵ •‹•–‡ ‹œ„‘”ƒ ƒ ܲ •—’ ˜‡”‘˜ƒ–‘©ƒ ƒ† ܵ ǡ ‘Œ‹ œƒ†‘˜‘ŽŒƒ˜ƒ —•Ž‘˜ ȋͳǤʹȌǡ –ƒ†ƒ •‡ ’ƒ”ሺܵǡ ܲሻƒœ‹˜ƒ ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‹œ„‘”ƒǤ ‘Ž‹‘ Œ‡ ‫ ك‬ǡ –ƒ†ƒ •‡ — –‡”‹‹ƒ –‡‘”‹Œ‡ ˜‡”‘˜ƒ–‘©‡ ‘ ƒœ‹˜ƒ †‘‰ƒ¯ƒŒǡ ƒ Œ‡‰‘˜ƒ˜‡”‘˜ƒ–‘©ƒŒ‡†ƒ–ƒ•ƒ’ሺሻ ൌ σୣ ‫א‬୉ ’୧ Ǥ ౟

Kolika je koliina neodreenosti u verovatnosnom sistemu izbora? ‘ā‡‘ ’”‹•–—’‹–‹ ƒ ‹•–‹ ƒ«‹ ’‘•–ƒ˜ŽŒƒŒ‡ ‹œƒ ‘†‰‘˜ƒ”ƒŒ—©‹Š ’‹–ƒŒƒǤ ‡¯—–‹ǡ•ƒ†ƒ„‹’‘†‡Žƒƒ•—’‘˜‡Œ‡†ƒ‹Š˜‡Ž‹«‹ƒ„‹Žƒ‡‘’–‹ƒŽƒ•–”ƒ–‡‰‹Œƒǡ Œ‡”Œ‘‡‡„‹„‹Ž‡‘„—Š˜ƒ©‡‡˜‡”‘˜ƒ–‘©‡‘Œ‹ƒ”ƒ•’‘Žƒā‡‘Ǥ ”‡–’‘•–ƒ˜‹‘ ’”Ǥ †ƒ Œ‡ Œ‡†ƒ ‘‰—©‘•–ǡ ”‡…‹‘ ̴݁ͳ‘‰‘ ˜‡”‘˜ƒ–‹Œƒ ‘† •˜‹Š†”—‰‹ŠǤƒœ—‘Œ‡‘†ƒŠ’”˜‘’‹–ƒ–‹†ƒŽ‹•‡‘‰—©‘•–̴݁ͳ”‡ƒŽ‹œ‘˜ƒŽƒǡŒ‡” •ƒ˜‡Ž‹‘˜‡”‘˜ƒ–‘©‘’‘•–‘Œ‹惐•ƒ†ƒ•‘’‘‰‘†‹Ž‹•ƒ‘ƒ‘•‘˜—Œ‡†‘‰ ’‹–ƒŒƒǤƒ‘ƒ‘Œ‡‘†‰‘˜‘”Dznedzƒ•–ƒ˜ŽŒƒ•‡•ƒ’‹–ƒŒ‹ƒǤ PRIMER2.3‡ƒŒ‡†ƒ–˜‡”‘˜ƒ–‘•‹•‹•–‡‹œ„‘”ƒሺܵǡ ܲሻ•ƒ ൌ ൛‡ଵ ǡ ‡ଶ ǡ ǥ ǡ ‡଼ ൟ‹  ൌ ൛ͲǤ͵ǡ ͲǤʹǡ ͲǤͳǡ ͲǤͲͷǡ ͲǤͲͷǡ ͲǤͳǡ ͲǤͳͷǡ ͲǤͲͷൟ Ǥ †‰‘˜ƒ”ƒŒ—©‡ „‹ƒ”‘ •–ƒ„Ž‘ ’”‹ƒœƒ‘ Œ‡ ƒ ȋŽ‹ƒ ʹǤͶȌǡ †‘ Œ‡ ƒŽ–‡”ƒ–‹˜‘ •–ƒ„Ž‘ ‘Œ‡ —œ‹ƒ — ‘„œ‹” ˜‡”‘˜ƒ–‘©‡ǡ ’”‹ƒœƒ‘ Œ‡ ƒ ȋŽ‹ƒ ʹǤͷȌǤ ‡†‘•–ƒ˜‹ ”ƒ«—‘ †‘Žƒœ‹‘ †‘

27

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

’‘†ƒ–ƒ†ƒŒ‡‘«‡‹˜ƒ‹„”‘Œ’‹–ƒŒƒ—•Ž—«ƒŒ—„‹ƒ”‘‰•–ƒ„Žƒ͵ǡƒ—•Ž—«ƒŒ—•–ƒ„Žƒ ‘Œ‡—œ‹ƒ—‘„œ‹”˜‡”‘˜ƒ–‘©‡ʹǤ͹ͷǤ

 Ž‹ƒʹǤͶ‹ƒ”‘•–ƒ„Ž‘‹œ’”‹‡”ƒʹǤ͵•ƒ‘«‡‹˜ƒ‹„”‘Œ‡’‹–ƒŒƒ͵Ǥ

 Ž‹ƒʹǤͷŽ–‡”ƒ–‹˜‘•–ƒ„Ž‘‹œ’”‹‡”ƒʹǤ͵ƒ†ƒ•——‘„œ‹”—œ‡–‡˜‡”‘˜ƒ–‘©‡ ’‘Œƒ˜ŽŒ‹˜ƒŒƒ•˜‹Š‘‰—©‘•–‹Ǥ«‡‹˜ƒ‹„”‘Œ’‹–ƒŒƒŒ‡ʹǤ͹ͷǤ

‹‹‹œƒ…‹Œƒ ‘«‡‹˜ƒ‡ ˜”‡†‘•–‹ „”‘Œƒ ’‘•–ƒ˜ŽŒ‡‹Š ’‹–ƒŒƒ ‹Œ‡ –”‹˜‹ŒƒŽƒ œƒ†ƒ–ƒǤ‡æ‡Œ‡‘˜‘‰’”‘„Ž‡ƒŒ‡’‘œƒ–‘‹˜‡‘ƒ•‡‘”‹•–‹—–‡‘”‹Œ‹‘†‘˜ƒŒƒǤ ŽŒ—«ƒ‹†‡Œƒ‘˜‘‰’‘•–—’ƒŒ‡†ƒ•‡•—’•˜‹Š‘‰—©‘•–‹‡†‡Ž‹ƒ’‘†•—’‘˜‡

28

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Œ‡†ƒ‡ƒ”†‹ƒŽ‘•–‹ǡ˜‡©Œ‡†ƒ‹Š˜‡”‘˜ƒ–‘©ƒǤ œ–‡‘”‹Œ‡‘†‘˜ƒŒƒŒ‡’‘œƒ–‘ †ƒŒ‡‘«‡‹˜ƒ‹„”‘Œ’‹–ƒŒƒƒ’”‘•‹ƒ–‹˜‘‹œ‘•‹െ σ୫ ୧ୀଵ ’୧ Ž‘‰ ’୧ Ǥ ˜ƒ ˜‡Ž‹«‹ƒ •‡ ƒœ‹˜ƒ ‡–”‘’‹Œƒǡ ‹ ’”‡†•–ƒ˜ŽŒƒ ‡”— ‡‘†”‡¯‡‘•–‹ ‘Ž‹«‹‡ ‡‘†”‡¯‡‘•–‹ ˜‡”‘˜ƒ–‘•‹Š •‹•–‡ƒ ‘‰—©‘•–‹Ǥ ‘Ž‹‘ Œ‡ ‡ƒ ‘† ˜‡”‘˜ƒ–‘©ƒ’୧ ൌ Ͳǡ—•˜ƒŒƒ•‡‘˜‡…‹Œƒ†ƒŒ‡Ͳ ȉ Ž‘‰ Ͳ ൌ Ͳǡ斑•Ž‡†‹‹œ«‹Œ‡‹…‡ †ƒŒ‡Ž‹୶՜଴ š Ž‘‰ š ൌ ͲǤ DEFINICIJA 2.3 ‡ƒ Œ‡ሺܵǡ ܲሻ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‘‰—©‘•–‹Ǥ ƒ†ƒ Œ‡ ‘Ž‹«‹ƒ ‡‘†”‡¯‡‘•–‹—Œ‡—†‡ˆ‹‹•ƒƒ‡–”‘’‹Œ‘ ୫

ሺሻ ൌ െ ෍ ’୧ Ž‘‰ ’୧ Ǥ ୧ୀଵ

†‡ˆ‹‹…‹Œ‹ȋʹǤ͵Ȍ’‘•–‘Œ‹‘†”‡¯‡‹•–‡’‡’”‘‹œ˜‘ŽŒ‘•–‹ǡ„—†—©‹†ƒ‹Œ‡†‡ˆ‹‹•ƒƒ ‘•‘˜ƒ Ž‘‰ƒ”‹–ƒǤ ƒœƒ ݇ Ž‘‰ƒ”‹–ƒ ‘†‰‘˜ƒ”ƒ „”‘Œ— ‘‰—©‹Š ‘†‰‘˜‘”ƒ — ‡•’‡”‹‡–— ’‘•–ƒ˜ŽŒƒŒƒ ’‹–ƒŒƒ ‹ †‘„‹ŒƒŒƒ ‘†‰‘˜‘”ƒǤ ”‘‡ƒ „ƒœ‡ ‡Œƒ •ƒ‘Œ‡†‹‹…—‡”‡Ǥ‹ƒ”‹•Ž—«ƒŒŒ‡ƒŒ’‘’—Žƒ”‹Œ‹‹Œ‡—‘†‰‘˜ƒ”ƒŒ‡†‹‹…ƒ„‹–Ǥ PRIMER 2.4 œ”ƒ«—ƒŒ‘ ‘Ž‹«‹— ‡‘†”‡¯‡‘•–‹ œƒ ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‡‘†”‡¯‡‘•–‹‹œ’”‹‡”ƒʹǤ͵Ǥ ଼

ሺሻ ൌ െ ෍ ’୧ Ž‘‰ ’୧ ୧ୀଵ

ൌ െͲǤ͵ ȉ Ž‘‰ ͲǤ͵ െ ͲǤʹ ȉ Ž‘‰ͲǤʹ  െ ͲǤʹ ȉ Ž‘‰ͲǤͳ െ ͲǤͳͷ ȉ Ž‘‰ͲǤͲͷ െ ͲǤͳͷ ȉ Ž‘‰ͲǤͳͷ ൎ ʹǤ͹Ͳͺ͹

„‹–ƒǤ ‫ܪ‬ሺܲሻŒ‡ ƒŒ‡ ‘† ‘«‡‹˜ƒ‡ ˜”‡†‘•–‹ †—ā‹‡ ‘†ƒ — „‘ŽŒ‡ •–ƒ„Ž— ’‹–ƒŒƒ ƒ ȋŽ‹ƒʹǤͷȌǤ ʹǤͳǤͳǤ    —†—©‹ †ƒ Œ‡ ‡–”‘’‹Œƒ ˆ—†ƒ‡–ƒŽƒ ’‘Œƒ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹Œƒǡ ƒ˜‡æ©‡‘ Œ‡‡ ‘•‘˜‡ ƒ”ƒ–‡”‹•–‹‡Ǥ  „—†—©‡ ©‡‘ œƒ •‹•–‡ ‘‰—©‘•–‹ ƒ†

29

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜‡”‘˜ƒ–‘©ƒƒ  ൌ ൛’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୫ ൟ ‘œƒ«ƒ˜ƒ–‹ ‡–”‘’‹Œ— –‘‰ •‹•–‡ƒ •ƒ ሺሻ ൌ ൫’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୫ ൯Ǥ ”˜‘ ©‡‘ ’‘˜‡œƒ–‹ ‘’æ–‹ ’‘Œƒ ‡–”‘’‹Œ‡ •ƒ ’‘Œ‘ ‡”‡ ‡‘†”‡¯‡‘•–‹ œƒ •‹•–‡‡ ‘‰—©‘•–‹—‘Œ‹ƒ ‹•—†‡ˆ‹‹•ƒ‡ ˜‡”‘˜ƒ–‘©‡’‘Œ‡†‹‹Š‹œ„‘”ƒǤ‘ Œ‡ܲ—‹ˆ‘”‘”ƒ•’‘†‡ŽŒ‡‘’‘•˜‹Š݊‘‰—©‘•–‹ǡ–ƒ†ƒŒ‡ ଵ

ଵ

ଵ

ଵ

ଵ

ଵ

୬

୬

୬

୬

୬

୬

 ቀ ǡ  ǡ ǥ ǡ ቁ ൌ െ σ୬୧ୀଵ ȉ Ž‘‰ ൌ െ Ž‘‰ ൌ Ž‘‰  ൌ ŠሺሻǤ OSOBINA 2.1–”‘’‹Œƒ—‹ˆ‘”‡”ƒ•’‘†‡Ž‡˜‡”‘˜ƒ–‘©ƒ݊‘‰—©‘•–‹Œ‡†ƒƒ Œ‡ ‡”‹ ‡‘†”‡¯‡‘•–‹ ‘†‰‘˜ƒ”ƒŒ—©‡‰ •‹•–‡ƒ ‘‰—©‘•–‹ „‡œ †‡ˆ‹‹•ƒ‹Š ˜‡”‘˜ƒ–‘©ƒ ‘‰—©‹Š ‹•Š‘†ƒǤ ˜ƒŒ ”‡œ—Ž–ƒ– Œ‡ — –‡•‘Œ ˜‡œ‹ •ƒ ’‘œƒ–‹ ƒ’Žƒ•‘˜‹’”‹…‹’‘‡†‘˜‘ŽŒ‘‰”ƒœŽ‘‰ƒǡ‘Œ‹–˜”†‹†ƒ—‘Ž‹‘‡œƒ‘‹æ–ƒ ‘†”‡¯‡‘‘‡‘Œ’‘Œƒ˜‹ǡ”ƒœ—‘Œ‡’”‡–’‘•–ƒ˜‹–‹Œ‡†ƒ‡˜‡”‘˜ƒ–‘©‡‘‰—©‹Š ‹•Š‘†ƒǤ–‘’‘‰Ž‡†—‡–”‘’‹ŒƒŒ‡’”‹‡ŽŒ‹˜ƒƒ‘‡”ƒ‡‘†”‡¯‡‘•–‹‹ƒ‘‡ •‹•–‡‡‘‰—©‘•–‹—‘Œ‹ƒƒ‹•—’‘œƒ–‡˜‡”‘˜ƒ–‘©‡’‘Œ‡†‹‹Š‹•Š‘†ƒǤ ƒ œƒ†ƒ–‹ •‹•–‡ ‘‰—©‘•–‹ ܵ — ‘‡ Œ‡ ȁȁ ൌ  ǡ ‹ƒ‘ ƒ•‹ƒŽ— ‡‘†”‡¯‡‘•– —‘Ž‹‘ ‡ ’‘œƒŒ‡‘ ˜‡”‘˜ƒ–‘©‡ ‹•Š‘†ƒ ‹Ž‹ ƒ‘ •— ‘‡ ‡¯—•‘„‘ Œ‡†ƒ‡ǡ ‘†‘•‘ ˜ƒā‹ሺሻ ൑ Šሺሻ ൌ Ž‘‰ Ǥ ˜ƒŒ •–ƒ˜ ‘ā‡‘ ‹ ˆ‘”ƒŽ‘†‘ƒœƒ–‹Ǥ–—•˜”Š—’‘–”‡„ƒƒŒ‡•Ž‡†‡©ƒŽ‡ƒǤ LEMA 2.1 ‡ƒ •—’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୫ ‹“ଵ ǡ “ଶ ǡ ǥ ǡ “୫ †˜‡ ”ƒ•’‘†‡Ž‡ ˜‡”‘˜ƒ–‘©ƒ ƒ† ‹•–‹„”‘Œ‡‘‰—©‘•–‹݉Ǥƒ†ƒ˜ƒā‹ǣ ୫

୫

෍ ’୧ ȉ Ž‘‰ “୧ ൑ ෍ ’୧ ȉ Ž‘‰ ’୧  ୧ୀଵ

୧ୀଵ

’”‹«‡—Œ‡†ƒ‘•–˜ƒā‹ƒ‘‹•ƒ‘ƒ‘Œ‡’୧ ൌ “୧ Ǥ ‘ƒœǤ —†—©‹ †ƒ Œ‡Ž‘‰ š ൌ Ž‘‰ ‡ ȉ Ž šǡ ‰†‡Ž š‘œƒ«ƒ˜ƒ ’”‹”‘†‹ Ž‘‰ƒ”‹–ƒ œƒ ‘•‘˜—݁ǡ ‹ „—†—©‹ †ƒ Œ‡Ž š‘˜‡•ƒ ˆ—…‹Œƒǡ ˜ƒā‹ †ƒ Œ‡Ž š ൑ š െ ͳǤ ˜— ‡Œ‡†ƒ«‹—†‘„‹Œƒ‘‹œ«‹Œ‡‹…‡†ƒ—•Ž‘˜‘˜‡•‘•–‹œƒ«‹†ƒ•‡†ƒ–ƒˆ—…‹Œƒ —˜‡ ƒŽƒœ‹ ‹•’‘† Œ‡‡ –ƒ‰‡–‡ — „‹Ž‘ ‘Œ‘Œ –ƒ«‹ǡ ‹ ƒ‘ œƒ –— –ƒ«— ‹œƒ„‡”‡‘ š ൌ ͳǡ—’”ƒ˜‘©‡‘†‘„‹–‹‰‘”Œ—‡Œ‡†ƒ‘•–ǡ˜‹†‡–‹ƒȋŽ‹ƒʹǤ͸ȌǤ

30

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒʹǤ͸‘˜‡•‘•–ˆ—…‹Œ‡Ž ‫ݔ‹«ƒ–—ƒ–‡‰ƒ–‹ݔ‬αͳǤ

–‘‰ƒŒ‡ǣ Ž

“୧ “୧ ൑ െ ͳǡ ’୧ ’୧

’ƒŒ‡ǣ ୫

୫

୫

୧ୀଵ

୧ୀଵ

୧ୀଵ

’୧ ෍ ’୧ ȉ Ž ൑ ෍ “୧ െ ෍ ’୧  ൌ ͳ െ ͳ ൌ ͲǤ “୧ ƒ‘•‘˜—‰‘”Œ‡‰œƒŽŒ—«—Œ‡‘†ƒŒ‡ǣ ୫

୫

୫

෍ ’୧ ȉ Ž‘‰ “୧   െ ෍ ’୧ ȉ Ž‘‰ ’୧ ൌ Ž‘‰ ‡ ෍ ’୧ ȉ Ž ୧ୀଵ

୧ୀଵ

୧ୀଵ

“୧ ൑ ͲǤ ’୧

“

‘”Œƒ ‡Œ‡†ƒ‘•– ˜ƒā‹ •ƒ œƒ‘ Œ‡†ƒ‘•–‹ ƒ‘ ‹ •ƒ‘ ƒ‘ Œ‡ ୧ൗ’୧ ൌ ͳǡ œƒ •˜ƒ‘‹ǡ‘†‘•‘ƒ‘Œ‡’୧ ൌ “୧ Ǥ ‘’”‹‡‹‘Ž‡—ʹǤͳ†‘„‹Œƒ‘ǣ ୫

୫

ሺሻ െ Ž‘‰  ൌ െ ෍ ’୧ ȉ Ž‘‰ ’୧ ൅ ෍ ’୧ ȉ Ž‘‰ ୧ୀଵ

୧ୀଵ

ͳ  ൑ Ͳǡ  

31

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‰†‡œƒŒ‡†ƒ‘•–‹˜ƒā‹ƒ‘‹•ƒ‘ƒ‘Œ‡’୧ ൌ ͳൗǤ˜‹•‘—Œ‡†‘†‘ƒœƒŽ‹ •Ž‡†‡©—–‡‘”‡—Ǥ TEOREMA 2.2 ƒš ሺሻ ൌ Ž‘‰ ǡ ‰†‡ Œ‡ ƒ•‹—— –”ƒā‡ ’‘ •˜‹ ”ƒ•’‘†‡Žƒƒ ˜‡”‘˜ƒ–‘©ƒ •‹•–‡ƒ •ƒ݉ ‘‰—©‘•–‹Ǥ ƒ•‹— •‡ †‘•–‹ā‡ •ƒ‘ ƒ ”ƒ•’‘†‡Ž‹ ‘Œƒ ‘†‰‘˜ƒ”ƒ Œ‡†ƒ‹ ˜‡”‘˜ƒ–‘©ƒƒ•˜‹Š‘‰—©‘•–‹Ǥ ʹǤͳǤʹǤ ~   ͳǤ ‘ •—ሺܵଵ ǡ ܲଵ ሻ‹ሺܵଶ ǡ ܲଶ ሻ†˜ƒ ˜‡”‘˜ƒ–‘•ƒ •‹•–‡ƒ ‘‰—©‘•–‹ œƒ ‘Œ‡ ˜ƒā‹ȁܵଵ ȁ ൌ ȁܵଶ ȁ‹ܲଵ ൌ ܲଶ ǡ –ƒ†ƒ Œ‡ ‹‫ܪ‬ሺܲଵ ሻ ൌ ‫ܪ‬ሺܲଶ ሻǤ ˜‹ •‡ ’‘–˜”†Œ—Œ‡ ‹–—‹–‹˜ƒ•–ƒ˜†ƒ‡–”‘’‹Œƒœƒ˜‹•‹•ƒ‘‘†”ƒ•’‘†‡Ž‡˜‡”‘˜ƒ–‘©‡ǡƒ‡‹ ‘†’”‹”‘†‡‘‰—©‘•–‹݁௜ —‡‘•‹•–‡—‘‰—©‘•–‹Ǥ ʹǤ ˜ƒā‘•–‹Œ‡”‡Žƒ…‹Œƒ‫ܪ‬൫‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௠ ൯ ൌ ‫ܪ‬൫‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௠ ǡ Ͳ൯ǡ斑’‘–‹«‡‘† ‘˜‡…‹Œ‡ †ƒ Œ‡Ͳ ȉ Ž‘‰ Ͳ ൌ ͲǤ  ‘‰—©‘•–‹ «‹Œƒ Œ‡ ˜‡”‘˜ƒ–‘©ƒ —Žƒ ‡ —–‹«—ƒ——’—‘Ž‹«‹—‡‘†”‡¯‡‘•–‹Ǥ‘Œ‡•ƒ•˜‹—•Žƒ†—•ƒƒæ‘ ‹–—‹…‹Œ‘ǡ ’‘æ–‘ •‘ •‹‰—”‹ †ƒ •‡ –ƒ˜‡ ‘‰—©‘•–‹ ‡©‡ ‹ƒ†ƒ ”‡ƒŽ‹œ‘˜ƒ–‹Ǥ ͵Ǥ ‘•ƒ–”ƒŒ‘†˜‘‹˜‘˜•—懏—•ƒȋŽ‹ƒʹǤ͹ȌǤƒ’”˜‘‹˜‘—ǡ„‹”ƒŒ—•‡ †˜‡ ‘‰—©‘•–‹ •ƒ ˜‡”‘˜ƒ–‘©ƒƒ ’ ‹ “αͳǦ’Ǥ ‘ •‡ ‹œƒ„‡”‡ ’”˜ƒ ‘‰—©‘•–ǡ ƒ †”—‰‘ ‹˜‘— •‡ „‹”ƒ  ‘‰—©‘•–‹ •ƒ ˜‡”‘˜ƒ–‘©ƒƒ ‫݌‬  ௜ൗ‫݌‬Ǥ‘•‡‹œƒ„‡”‡†”—‰ƒ‘‰—©‘•–ǡ–ƒ†ƒ•‡ƒ†”—‰‘‹˜‘—„‹”ƒ ‫ݍ‬ ‘‰—©‘•–‹ •ƒ ˜‡”‘˜ƒ–‘©ƒƒ ௜ൗ‫ݍ‬Ǥ ‘†”ƒœ—‡˜ƒ •‡ †ƒ ˜ƒā‹σ௡௜ୀଵ ‫݌‬௜ ൌ ‫݌‬ǡ  σ௡௜ୀଵ ‫ݍ‬௜ ൌ ‫ݍ‬Ǥ  ”‹‡–‹‘ †ƒ –‘ ‹’Ž‹…‹”ƒ ’ଵ ൅ ’ଶ ൅ ‫’ ڮ‬୬ ൅ “ଵ ൅ “ଶ ൅ ‫“ ڮ‬୫ ൌ ͳǡ ‘†‘•‘ǡ ሼ’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୬ ǡ “ଵ ǡ “ଶ ǡ ǥ ǡ “୫ ሽŒ‡”ƒ•’‘†‡Žƒ˜‡”‘˜ƒ–‘©ƒ݊ ൅ ݉‡Ž‡‡ƒ–ƒǤƒ†ƒ˜ƒā‹ •Ž‡†‡©ƒ”‡Žƒ…‹Œƒ‹œ‡¯—‡–”‘’‹Œƒƒ‘˜ƒ†˜ƒ‹˜‘ƒ‹œ„‘”ƒ ሺ’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୬ ǡ “ଵ ǡ “ଶ ǡ ǥ ǡ “୫ ሻ ൌ ሺ’ǡ “ሻ ൅ ’ ൬ 32

’୬ “୫ ’ଵ ’ଶ “ଵ “ ଶ ǡ ǡ  ǥ ǡ ൰ ൅ “ ൬ ǡ ǡ  ǥ ǡ ൰Ǥ ’ ’ ’ “ “ “

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒʹǤ͹˜‘‘˜‘˜•‹˜‡”‘˜ƒ–‘•‹•‹•–‡‘‰—©‘•–‹—‘‡•‡ƒ’”˜‘‹˜‘—„‹”ƒŒ— †˜‡‘‰—©‘•–‹•ƒ˜‡”‘˜ƒ–‘©ƒƒ’‹“αͳǦ’ǡƒƒ†”—‰‘‹˜‘—‹Ž‹‘‰—©‘•–‹•ƒ ‫ݍ‬ ‫݌‬ ˜‡”‘˜ƒ–‘©ƒƒ ௜ൗ‫ ƒƒ©‘–ƒ˜‘”‡˜ƒ•‹–•‘©—‰‘‹Ž‹݌‬௜ൗ‫ݍ‬Ǥ

ʹǤͳǤ͵Ǥ     ͳǤ ‫ܪ‬൫‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௡ ൯ ൌ ‫ܪ‬ሺ‫݌‬గሺଵሻ ǡ ‫݌‬గሺଶሻ ǡ ǥ ǡ ‫݌‬గሺ௡ሻ ሻǡœƒ•˜ƒ—’‡”—–ƒ…‹Œ—ߨǤ ʹǤ ‫ܪ‬൫‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௡ ൯Œ‡‘–‹—ƒŽƒˆ—…‹Œƒ’‘•˜‹˜ƒ”‹Œƒ„ŽƒƒǤ ͵Ǥ ˜ƒā‘•–‹Œ‡Œ‡†ƒ‘•– ௣ ‫ܪ‬൫‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௡ ൯ ൌ ‫ܪ‬൫‫݌‬ଵ ൅ ‫݌‬ଶ ǡ ‫݌‬ଷ ǡ ǥ ǡ ‫݌‬௡ ൯ ൅ ൫‫݌‬ଵ ൅ ‫݌‬ଶ ൯‫ܪ‬ሺ భ ǡ

௣మ

௣భ ା௣మ ௣భ ା௣మ

ሻǡ

œƒ•˜ƒ—”ƒ•’‘†‡Ž—˜‡”‘˜ƒ–‘©ƒ‫݌‬ଵ ǡ ‫݌‬ଶ ǡ ǥ ǡ ‫݌‬௡ ǡœƒ݊ ൒ ʹǤ ଵ

ଵ

ଵ

௡

௡

௡

ͶǤ ‫ ܪ‬ቀ ǡ  ǡ ǥ ǡ ቁŒ‡‘‘–‘‘”ƒ•–—©ƒˆ—…‹Œƒ‘†Ǥ

ʹǤͳǤͶǤ ,  , Ǧ  ,‡•–‘ •‡ Œƒ˜ŽŒƒ •‹–—ƒ…‹Œƒ — ‘Œ‘Œ •‡ •˜ƒ‘ ‡Ž‡‡–ƒ”‘ ‹•Š‘†— Œ‡†‘‰ ‡•’‡”‹‡–ƒ ’”‹†”—ā—Œ‡ ‡‹ ”‡ƒŽƒ „”‘ŒǤ ƒ –ƒ˜‘ ’”‹†”—ā‹˜ƒŒ‡ •‡ ƒ‹Žƒœ‹ǡ ƒ ’”‹‡”ǡ — ‹‰”ƒƒ ƒ •”‡©—ǡ ‰†‡ •‡ •˜ƒ‘ ‹•Š‘†— ’”‹’‹•—Œ‡ ‘†”‡¯‡‹ †‘„‹–ƒ ‹Ž‹ ‰—„‹–ƒ œƒ ‹‰”ƒ«ƒǤ ƒ‘ 斑 •‡ ˜‡”‘˜ƒ–‘©‡ ‘‰— ”ƒ«—ƒ–‹ •ƒ‘ œƒ †‘‰ƒ¯ƒŒ‡ ‹œ ’‘ŽŒƒ†‘‰ƒ¯ƒŒƒǡ–ƒ‘•‡‹’”‡•Ž‹ƒ˜ƒŒƒ‘Œƒ•˜ƒ‘‹•Š‘†—†‘†‡ŽŒ—Œ—‡‹”‡ƒŽƒ

33

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

„”‘Œ ‘‰— ’”‘—«ƒ˜ƒ–‹ ’‘† —•Ž‘˜‘ †ƒ œƒ†‘˜‘ŽŒƒ˜ƒŒ— ‘†”‡¯‡‡ —•Ž‘˜‡Ǥ  –‘ •‹•Ž—ƒ˜‘†‹•‡•Ž‡†‡©ƒ†‡ˆ‹‹…‹ŒƒǤ DEFINICIJA Ž—«ƒŒƒ˜‡Ž‹«‹ƒǤ ‡ƒ Œ‡ †ƒ– ’”‘•–‘” ˜‡”‘˜ƒ–‘©ƒ ȋπǡ ǡȌ ‹ ‡ƒ Œ‡ܺˆ—…‹Œƒ ‘Œƒ ’”‡•Ž‹ƒ˜ƒ ’”‘•–‘”‡Ž‡‡–ƒ”‹Š‹•Š‘†ƒπ—•—’”‡ƒŽ‹Š„”‘Œ‡˜ƒܴ–ƒ‘†ƒ˜ƒā‹ǣ ͳǤ —’ሼ߱ȁܺሺ߱ሻ  ൑ ‫ݔ‬ሽŒ‡†‘‰ƒ¯ƒŒ‘Œ‹’”‹’ƒ†ƒ‫ܴœ‹ݔ‘ƒ˜•ƒœܨ‬Ǥ ʹǤ ܲሼ߱ȁܺሺ߱ሻ ൌ െλሽ ൌ ܲሼ߱ȁܺሺ߱ሻ  ൌ λሽ ൌ ͲǤ ƒ†ƒŒ‡ܺ•Ž—«ƒŒƒ˜‡Ž‹«‹ƒǤ •‘„‹ƒ ȋͳȌ •‡ ƒœ‹˜ƒ ‡”ŽŒ‹˜‘•– ‹ ‘‘‰—©ƒ˜ƒ ”ƒ«—ƒŒ‡ ˜‡”‘˜ƒ–‘©ƒ †‘‰ƒ¯ƒŒƒ ˜‡œƒ‹Š œƒ •Ž—«ƒŒ— ˜‡Ž‹«‹—Ǥ •‘„‹ƒ ȋʹȌ Œ‡ finitnost ȋ‘ƒ«‘•–Ȍ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ܺǤ •‘„‹‡ ƒ˜‡†‡‡ ƒ”ƒ–‡”‹æ— ‡–”‘’‹Œ—Ǥ ‘ œƒ«‹ †ƒ ƒ‘ „‹ ƒ‡–—Ž‹ ˜ƒā‡Œ‡ ‘˜ƒ Ͷ —•Ž‘˜ƒ ƒ ‡— ‡”— ‡‘†”‡¯‡‘•–‹‫ܪ‬ǡ ‘‹ „‹ ‹’Ž‹…‹”ƒŽ‹ ƒ‘ ”‡æ‡Œ‡ ‡–”‘’‹Œ•—‡”—‡‘†”‡¯‡‘•–‹Ǥ  …‹ŽŒ— †ƒŽŒ‹Š ‹œŽƒ‰ƒŒƒ —˜‡æ©‡‘ •Ž‡†‡©— ‘–ƒ…‹Œ—Ǥ ‡”‘˜ƒ–‘•‘ •‹•–‡— ‘‰—©‘•–‹ሺܵǡ ܲሻ‘ā‡‘ ’”‹†”—ā‹–‹ ‘ƒ«— •Ž—«ƒŒ— ˜ƒ”‹Œƒ„Ž—ܺǡ ‘Œƒ —œ‹ƒ ˜”‡†‘•–‹‡୧ ‹œ  ሺ‡ଵ ǡ ‡ଶ ǡ ǥ ǡ ‡୫ ሻǤ ‡”‘˜ƒ–‘©ƒ †ƒ Œ‡ ൌ ‡୧ Œ‡ †ƒ–ƒ •ƒ’ଡ଼ ሺ‡୧ ሻǡ ƒܲ •‡ ƒœ‹˜ƒ ‰—•–‹ƒ ˜‡”‘˜ƒ–‘©‡ •Ž—«ƒŒ‡ ˜ƒ”‹Œƒ„Ž‡ܺǤ  ‘„”—–‘ •˜ƒƒ ‘ƒ«ƒ •Ž—«ƒŒƒ˜ƒ”‹Œƒ„Žƒ‹†—…‹”ƒŒ‡†ƒ˜‡”‘˜ƒ–‘•‹•‹•–‡‘‰—©‘•–‹Ǥ–‘‰ƒ—‡•–‘ ˜‡”‘˜ƒ–‘•‘‰ •‹•–‡ƒ ‘‰—©‘•–‹ ‘ā‡‘ ‰‘˜‘”‹–‹ ‘ •Ž—«ƒŒ‘Œ ˜‡Ž‹«‹‹ǡ ƒ •Š‘†‘–‘‡‹‘‡–”‘’‹Œ‹•Ž—«ƒŒ‡˜‡Ž‹«‹‡ܺ•ƒ˜”‡†‘•–‹ƒ‹œܵǡ†ƒ–‘Œ‹œ”ƒœ‘ ሺሻ ൌ െ ෍

୶‫א‬ୗ

’ଡ଼ ሺšሻ Ž‘‰ ’ଡ଼ ሺšሻ Ǥ

ƒ†ƒ ‡–”‘’‹Œ— ‘ā‡‘ ‹–‡”’”‡–‹”ƒ–‹ ƒ‘ ‡”— ‡‘†”‡¯‡‘•–‹ ƒ•‘…‹”ƒ— •ƒ †ƒ–‘•Ž—«ƒŒ‘˜‡Ž‹«‹‘ܺǤ –”‘’‹Œƒ •Ž—«ƒŒ‡ ˜ƒ”‹Œƒ„Ž‡ •ƒ †˜ƒ ‹•Š‘†ƒሺܺ ൌ ͳǡ ܺ ൌ Ͳሻ’”‹ƒœƒƒ Œ‡ ƒ ȋŽ‹ƒ ʹǤͺȌǤ

34

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒʹǤͺ–”‘’‹Œƒ•Ž—«ƒŒ‡˜ƒ”‹Œƒ„Ž‡•ƒ†˜ƒ‹•Š‘†ƒ

ƒȋŽ‹ƒʹǤͻȌǡ’”‹ƒœƒ‡•—‡–”‘’‹Œ‡”ƒœŽ‹«‹–‘”ƒ•’‘”‡¯‡‹Š•Ž—«ƒŒ‹Š˜‡Ž‹«‹ƒǤ

 Ž‹ƒʹǤͻ–”‘’‹Œ‡”ƒœŽ‹«‹–‘”ƒ•’‘”‡¯‡‹Š•Ž—«ƒŒ‹Š˜‡Ž‹«‹ƒ

ʹǤͳǤͷǤ   ‡ƒ Œ‡ œƒ†ƒ– ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‘‰—©‘•–‹ሺܵǡ ܲሻ‹ ‡ƒ Œ‡ ‘˜‘ •‹•–‡— ƒ•‘…‹”ƒƒ•Ž—«ƒŒƒ˜‡Ž‹«‹ƒܺǤ‡ƒŒ‡‘„•‡”˜‹”ƒ‘†ƒ•‡†‡•‹‘†‘‰ƒ†ŒƒŒ ‫ ك‬Ǥ Kako poznavanje ove injenice utie na neodreenost sistema?

35

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜ƒŒ †‘‰ƒ¯ƒŒ ‹†——Œ‡ ‘˜‹ ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‘‰—©‘•–‹ሺǡ ୉ ሻǤ ˜†‡ Œ‡୉  —•Ž‘˜ƒ˜‡”‘˜ƒ–‘©ƒ’ଡ଼ȁ୉ ሺšሻ ൌ

୮౔ ሺ୶ሻ

୮౔ ሺ୉ሻ

ǡ œƒ•˜ƒ‘š ‫ א‬Ǥ

‡‘†”‡¯‡‘•– ˜‡œƒƒ œƒ ‘˜ƒŒ ‘˜‹ •‹•–‡ Œ‡ †ƒ–ƒ •ƒ —•Ž‘˜‘ ‡–”‘’‹Œ‘ •Ž—«ƒŒ‡˜‡Ž‹«‹‡ܺƒ†ƒŒ‡’‘œƒ–‘‫ܧ‬ǣ ሺȁሻ ൌ െ ෍

୶‫א‬୉

’ଡ଼ȁ୉ ሺšሻ Ž‘‰ ’ଡ଼ȁ୉ ሺšሻ Ǥ

‡ƒŒ‡ܺ•Ž—«ƒŒƒ˜‡Ž‹«‹ƒ˜‡œƒƒœƒ˜‡”‘˜ƒ–‘•‹•‹•–‡‘‰—©‘•–‹ሺܵǡ ܲሻǡ‰†‡ Œ‡ ൌ ሼͳǡʹǡ͵ǡͶሽǡ  ൌ ൛ͲǤͷǡ ͲǤʹͷǡ ͲǤͳʹͷǡ ͲǤͳʹͷൟ‹ ൌ ሼͳǡ͵ሽŒ‡ Œ‡†ƒ †‘‰ƒ¯ƒŒǤ ƒ†ƒ Œ‡„‡œ—•Ž‘˜ƒ‡–”‘’‹Œƒ†ƒ–ƒ•ƒǣ ‫ܪ‬ሺܺሻ ൌ െͲǤͷŽ‘‰ͲǤͷ െ ͲǤʹͷŽ‘‰ͲǤʹͷ െ ͲǤͳʹͷŽ‘‰ͲǤͳʹͷ െ ͲǤͳʹͷŽ‘‰ͲǤͳʹͷ ൌ ͳǤ͹ͷ „‹–Ǥ ƒ‘Œ‡ǣ ’ଡ଼ ሺሻ ൌ ͲǤ͸ʹͷǡ ’ଡ଼ȁ୉ ሺͳሻ ൌ

’ଡ଼ ሺͳሻ ’ ሺ͵ሻ ൘’ ሺሻ ൌ ͲǤͺǡ ’ଡ଼ȁ୉ ሺ͵ሻ ൌ ଡ଼ ൘’ ሺሻ ൌ ͲǤʹ ଡ଼ ଡ଼

†‘„‹Œƒ‘ǣ ‫ܪ‬ሺܺȁሻ ൌ െ‫݌‬௑ȁா ሺͳሻŽ‘‰‫݌‬௑ȁா ሺͳሻ െ ‫݌‬௑ȁா ሺ͵ሻŽ‘‰‫݌‬௑ȁா ሺ͵ሻ ൌ െͲǤͺŽ‘‰ͲǤͺ െ ͲǤʹŽ‘‰ͲǤʹ ൎ ͲǤ͹ʹͳͻ„‹– ʹǤͳǤ͸Ǥ    ‘˜‘’‘‰Žƒ˜ŽŒ—ƒ—«‹©‡‘ƒ‘•‡‡–”‘’‹Œƒœ†”—ā‡‘‰•‹•–‡ƒ‘‰—©‘•–‹‹Ž‹ ˜‹æ‡†‹‡œ‹‘‹Š ’”‘‡ŽŒ‹˜‹Š ‘†‘•‹ ’”‡ƒ ‡–”‘’‹Œ‹ ‘’‘‡ƒ–ƒ •‹•–‡ƒ ‘‰—©‘•–‹ ‹Ž‹ ’‘Œ‡†‹ƒ«‹Š ’”‘‡ŽŒ‹˜‹ŠǤ ƒ‘¯‡ǡ ƒ‘ ’‘œƒ˜ƒŒ‡ ‹œ„‘”ƒ — Œ‡†‘Œ ‘’‘‡–‹ •‹•–‡ƒ ‘‰—©‘•–‹ ‹Ž‹ ˜”‡†‘•–‹ Œ‡†‡ ’”‘‡ŽŒ‹˜‡ —–‹«— ƒ ‡‘†”‡¯‡‘•–’”‡‘•–ƒŽ‹Š‘’‘‡–‹•‹•–‡ƒ‘‰—©‘•–‹‹Ž‹’”‘‡ŽŒ‹˜‹ŠǤ ‡ƒ•—œƒ†ƒ–‹•‹•–‡‹‘‰—©‘•–‹ሺܵଵ ǡ ܲଵ ሻ—œ‘Œ‹Œ‡˜‡œƒƒ•Ž—«ƒŒƒ˜ƒ”‹Œƒ„Žƒܺ‹ •‹•–‡ሺܵଶ ǡ ܲଶ ሻ—œ ‘Œ‹ Œ‡ ˜‡œƒƒ •Ž—«ƒŒƒ ˜ƒ”‹Œƒ„ŽƒܻǤ ƒ†ƒ ‘ā‡‘ †‡ˆ‹‹•ƒ–‹ 36

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

œ†”—ā‡‹ •‹•–‡ ൫ଵ ൈ ଶ ǡ ൯ ǡ ‰†‡ Œ‡ ܲ ‘’‹•ƒ‘ œ†”—ā‡‘ ”ƒ•’‘†‡Ž‘ ˜‡”‘˜ƒ–‘©‡‫݌‬௑ǡ௒ ሺ௫ǡ௬ሻ ǡ †‡ˆ‹‹•ƒ‘ ƒ† ’ƒ”‘˜‹ƒሺšǡ ›ሻ ‫ א‬ଵ ൈ ଶ Ǥ ƒ†ƒ ‘ā‡‘ †‡ˆ‹‹•ƒ–‹–”‹‡–”‘’‹Œ‡ƒ†‘˜ƒ–”‹•‹•–‡ƒǣ ‫ܪ‬ሺܺǡ ܻሻ ൌ െ ෍ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ Ž‘‰ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ ௫‫א‬ௌభ ௬‫א‬ௌమ

‫ܪ‬ሺܺሻ ൌ െ ෍ ‫ܺ݌‬ሺ‫ݔ‬ሻŽ‘‰ ‫ܺ݌‬ሺ‫ݔ‬ሻ ௫‫א‬ௌభ

‫ܪ‬ሺܻሻ ൌ െ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻŽ‘‰ ‫ܻ݌‬ሺ‫ݕ‬ሻ ௫‫א‬ௌమ

U kakvom su odnosu ove tri entropije? TEOREMA 2.3 ƒ„‹Ž‘‘Œ‹’ƒ”•Ž—«ƒŒ‹Š˜‡Ž‹«‹ƒܺ‹ܻ˜ƒā‹ǣ ‫ܪ‬ሺܺǡ ܻሻ ൑ ‫ܪ‬ሺܺሻ ൅ ‫ܪ‬ሺܻሻ ƒŒ‡†ƒ‘•–‹˜ƒā‹ƒ‘‹•ƒ‘ƒ‘•—‹‡œƒ˜‹•‡•Ž—«ƒŒ‡˜‡Ž‹«‹‡ǡ–ŒǤ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ ‫ܺ݌‬ሺ‫ݔ‬ሻ ȉ ‫ܻ݌‬ሺ‫ݕ‬ሻ †ƒ˜†‡ ˜‹†‹‘ †ƒ Œ‡ ‡‘†”‡¯‡‘•– œ†”—ā‡‘‰ •‹•–‡ƒ —˜‡ ƒŒƒ ‘† •—‡ ‡‘†”‡¯‡‘•–‹ ’‘Œ‡†‹ƒ«‹Š •‹•–‡ƒǤ ƒœŽ‘‰ ’‘–‹«‡ ‘† ‡¯—•‘„‡ œƒ˜‹•‘•–‹ ȋ‘”‡Ž‹•ƒ‘•–‹Ȍܺ‹ܻǡ‘Œƒƒ‘†ƒ”‡œ—Ž–—Œ‡—œƒŒ‡†‹«‘—†‡Ž—‡‘†”‡¯‡‘•–‹— ‘„‡˜ƒ”‹Œƒ„Ž‡Ǥ•Ž—«ƒŒ—‡œƒ˜‹•‹Šܺ‹ܻǡ‘˜‡œƒŒ‡†‹«‡‡‘†”‡¯‡‘•–‹‡ƒǡ‹— ˜ƒā‘•–‹Œ‡œƒŒ‡†ƒ‘•–‹Ǥ ‡‘”‡ƒʹǤ͵•‡‘ā‡‰‡‡”ƒŽ‹•ƒ–‹ƒ˜‹æ‡‘††˜‡˜ƒ”‹Œƒ„Ž‡Ǥ‘’æ–‡•Ž—«ƒŒ—ǡƒ‘ ‹ƒ‘ •Ž—«ƒŒ‹ ˜‡–‘” ൌ ሺšଵ ǡ šଶ ǡ ǥ ǡ š୫ ሻǡ «‹Œƒ Œ‡ ”ƒ•’‘†‡Žƒ ˜‡”‘˜ƒ–‘©ƒ †ƒ–ƒ •ƒ’ଡ଼ ሺሻǡœ†”—ā‡ƒ‡–”‘’‹Œƒ‡–”‘’‹ŒƒŒ‡†ƒ–ƒ•ƒǣ ‫ܪ‬ሺܺሻ ൌ െ ෍ ‫ܺ݌‬ሺ‫ݔ‬ሻ Ž‘‰ ‫ ܺ݌‬ሺ‫ݔ‬ሻ ௫

˜‡ƒ”‰‹ƒŽ‡”ƒ•’‘†‡Ž‡’‘Œ‡†‹‹Š‘’‘‡–‹˜‡–‘”ƒܺ•—†ƒ–‡•ƒǣ 37

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ݔ݌‬௜ ሺ‫ݔ‬௜ ሻ ൌ െ

‫ܺ݌‬ሺ‫ݔ‬ଵ ǡ ‫ݔ‬ଶ ǡ ǥ ǡ ‫ݔ‬௜ିଵ ǡ ‫ݔ‬௜ାଵ ǡ ǥ ‫ݔ‬௠ ሻ

෍ ௫భǡǥǡ ௫೔షభ ǡ௫మశభ ǡǥǡ௫೘

Ž—«ƒŒ‡˜‡Ž‹«‹‡šଵ ǡ šଶ ǡ ǥ ǡ š୫ •——œƒŒƒ‘‡œƒ˜‹•‡ǡƒ‘‹•ƒ‘ƒ‘˜ƒā‹ǣ ‫ܺ݌‬ሺ‫ݔ‬ሻ ൌ ‫ܺ݌‬ଵ ሺ‫ݔ‬ଵ ሻ ȉ ‫ܺ݌‬ଶ ሺ‫ݔ‬ଶ ሻ ȉȉȉ ‫ܺ݌‬௠ ሺ‫ݔ‬௠ ሻ LEMA 2.2 ƒ „‹Ž‘ ‘Œ‹ •Ž—«ƒŒ— ˜‹æ‡†‹‡œ‹‘— ˜ƒ”‹Œƒ„Ž— ȋ•Ž—«ƒŒ‹ ˜‡–‘”Ȍ  ൌ ሺšଵ ǡ šଶ ǡ ǥ ǡ š୫ ሻ˜ƒā‹ǣ ௠

‫ܪ‬ሺܺሻ ൑ ෍ ‫ܪ‬ሺܺ௜ ሻ ௜ୀଵ

‡†ƒ‘•– ˜ƒā‹ •ƒ‘ — •Ž—«ƒŒ— —œƒŒƒ‡ ‡œƒ˜‹•‘•–‹ •Ž—«ƒŒ‹Š ˜ƒ”‹Œƒ„Ž‹ šଵ ǡ šଶ ǡ ǥ ǡ š୫ Ǥ PRIMER 2.5 ‡ƒ •—šଵ ǡ šଶ ǡ ǥ ǡ š୫ ‡œƒ˜‹•‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ ‘Œ‡ †‘„‹ŒƒŒ— ˜”‡†‘•–Ͳ‹ͳ•ƒ˜‡”‘˜ƒ–‘©ƒƒͲǤͷǡ‘†‘•‘ǣ ‫ܺ݌‬௜ ሺͲሻ ൌ ͲǤͷǡ‫ܺ݌‬௜ ሺͳሻ ൌ ͲǤͷǡœƒ݅ ൌ ͳǡ Ǥ Ǥ Ǥ ǡ ݊Ǥ ƒ†ƒŒ‡ǣ ‫ܪ‬ሺܺଵ ǡ ǥ ǡ ܺ௡ ሻ ൌ ݊ ȉ ‫ܪ‬ሺܺଵ ሻ ൌ ݊Ǥ ‘•ƒ–”ƒŒ‘•Ž—«ƒŒ‡˜‡Ž‹«‹‡ܺ‹ܻǤ‡ƒŒ‡‘’•‡”˜‹”ƒƒ”‡ƒŽ‹œƒ…‹Œƒܻ ൌ ‫ݕ‬Ǥ Kako ovaj dogaaj utie na neodreenost veliine ܺ? ’•‡”˜‹”ƒŒ‡ܻ ൌ ‫’ƒŽ‡†‘’•ƒ”‡•ƒŒ‡ݕ‬ଡ଼ ሺšሻ——•Ž‘˜—”ƒ•’‘†‡Ž—ǣ ‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ

‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ  ‫ܻ݌‬ሺ‫ݕ‬ሻ

’ƒŒ‡—•Ž‘˜ƒ‡–”‘’‹Œƒœƒܺƒ†ƒŒ‡ܻ ൌ ‫ƒ•ƒ–ƒ†ݕ‬ǣ ‫ܪ‬ሺܺȁܻ ൌ ‫ݕ‬ሻ ൌ െ ෍ ‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻŽ‘‰‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻǤ ௫

˜‡æ©‡‘•”ƒ©‡‘œƒ’‹•‹˜ƒŒ‡ǣ 38

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ܪ‬ሺܺȁܻ ൌ ‫ݕ‬ሻ ՜ ‫ܪ‬ሺܺȁ‫ݕ‬ሻǤ ‘•—†˜‡•Ž—«ƒŒ‡˜ƒ”‹Œƒ„Ž‡‡œƒ˜‹•‡ǡ–ƒ†ƒŒ‡ǣ ‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ ‫ܺ݌‬ሺ‫ݔ‬ሻ ‫ܪ‬ሺܺȁ‫ݕ‬ሻ ൌ െ ෍ ‫ܺ݌‬ሺ‫ݔ‬ሻŽ‘‰‫ܺ݌‬ሺ‫ݔ‬ሻ ൌ ‫ܪ‬ሺܺሻǤ ௫

†‘•‘ǡ ƒ†ƒ •— ܺ ‹ ܻ ‡œƒ˜‹•‡ǡ ‘’•‡”˜ƒ…‹Œƒ ’”‘‡ŽŒ‹˜‡ ܻ ‡ ‡Œƒ ‡‘†”‡¯‡‘•– ’”‘‡ŽŒ‹˜‡ܺǤ ‘”‡† ‘˜‡ —•Ž‘˜‡ ‡–”‘’‹Œ‡ ‘ā‡‘ †‡ˆ‹‹•ƒ–‹ ‘«‡‹˜ƒ——•Ž‘˜—‡–”‘’‹Œ—ǣ ‫ܪ‬ሺܺȁܻሻ ൌ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ‫ܪ‬ሺܺȁ‫ݕ‬ሻ ௬

斑Œ‡—•–˜ƒ”‹‘«‡‹˜ƒƒ˜”‡†‘•–‫ܪ‬ሺܺȁ‫ݕ‬ሻ—‘†‘•—ƒ›Ǥ ‘•ƒ†ƒ•‘•‡•—•”‡Ž‹•ƒ–”‹–‹’ƒ—•Ž‘˜‹Š‡–”‘’‹Œƒǣ •

‫ܪ‬ሺܺȁ‫ݕ‬ሻ Ȃ •Ž‘˜ƒ ‡–”‘’‹Œƒ ˜ƒ”‹Œƒ„Ž‡ ܺ — ‘†‘•— ƒ †‘‰ƒ¯ƒŒ ‹Ž‹ ‘„•‡”˜ƒ…‹Œ—ܻ ൌ ‫ݕ‬Ǥ

•

‫ܪ‬ሺܺȁ‫ܧ‬ሻȂ•Ž‘˜ƒ‡–”‘’‹Œƒ˜ƒ”‹Œƒ„Ž‡ܺ—‘†‘•—ƒ†‘‰ƒ¯ƒŒ‫ܧ‬

•

‫ܪ‬ሺܺȁܻሻȂ«‡‹˜ƒƒ˜”‡†‘•–—•Ž‘˜‡‡–”‘’‹Œ‡

TEOREMA 2.4ƒ’ƒ”•Ž—«ƒŒ‹Š’”‘‡ŽŒ‹˜‹Šܺ‹ܻ—˜‡˜ƒā‹ǣ ‫ܪ‬ሺܺǡ ܻሻ ൌ ‫ܪ‬ሺܺሻ ൅ ‫ܪ‬ሺܺȁܻሻ ‹Ž‹ ‫ܪ‬ሺܺǡ ܻሻ ൌ ‫ܪ‬ሺܺሻ ൅ ‫ܪ‬ሺܻȁܺሻǤ DOKAZ TEOREME 2.4ƒā‹‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ ‫ܻ݌‬ሺ‫ݕ‬ሻ‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻǡ’ƒŒ‡•–‘‰ƒǣ

39

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ܪ‬ሺܺȁܻሻ ൌ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ‫ܪ‬ሺܺȁ‫ݕ‬ሻ ௬

ൌ െ ෍ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻŽ‘‰‫ܺ݌‬ȁ‫ݕ‬ሺ‫ݔ‬ǡ ‫ݕ‬ሻ ௫

௬

ൌ െ ෍ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻŽ‘‰ ௫

௬

‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ ‫ܻ݌‬ሺ‫ݕ‬ሻ

െ ෍ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻሺŽ‘‰‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ െ Ž‘‰ ‫ܻ݌‬ሺ‫ݕ‬ሻሻ ௫

௬

ൌ ‫ܪ‬ሺܺǡ ܻሻ െ ‫ܪ‬ሺܻሻǤ KAROLARIJ 2.1ƒ•˜ƒ‹’ƒ”•Ž—«ƒŒ‹Š˜‡Ž‹«‹ƒܺ‹ܻ˜ƒā‹ǣ ‫ܪ‬ሺܺȁܻሻ ൑ ‫ܪ‬ሺܺሻǤ

‡†ƒ‘•–˜ƒā‹ƒ‘‹•ƒ‘ƒ‘•—ܺ‹ܻ‡œƒ˜‹•‡Ǥ DOKAZ KAROLARIJA 2.1 ”‹‡‘ ’”ƒ˜‹Žƒ Žƒ«ƒŒƒǡ †ƒ–‘‰ ‡‘”‡‘ ʹǤ͵ †‘„‹Œƒ‘ǣ ‫ܪ‬ሺܺȁܻሻ ൌ ‫ܪ‬ሺܺǡ ܻሻ െ ‫ܪ‬ሺܻሻ ൑ ‫ܪ‬ሺܺሻ ൅ ‫ܪ‬ሺܻሻ െ ‫ܪ‬ሺܻሻ ൌ ‫ܪ‬ሺܺሻ ’”‹«‡—Œ‡†ƒ‘•–˜ƒā‹ƒ‘‹•ƒ‘ƒ‘•—ܺ‹ܻ‡œƒ˜‹•‡Ǥ KAROLARIJ 2.2ȋ ‡‡”ƒŽ‹œ‘˜ƒ‘’”ƒ˜‹Ž‘Žƒ«ƒŒƒȌ‡ƒ•—šଵ ǡ šଶ ǡ ǥ ǡ š୫ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡Ǥƒ†ƒ˜ƒā‹ǣ ‫ܪ‬ሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ሻ ൌ ‫ܪ‬ሺܺଵ ሻ ൅ ‫ܪ‬ሺܺଶ ȁܺଵ ሻ൅Ǥ Ǥ Ǥ ൅‫ܪ‬ሺܺ௠ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ିଵ ሻǤ DOKAZ KAROLARIJA 2.2‘ƒœƒ©‡‘‰ƒ‹†—…‹Œ‘Ǥƒαʹǡ•–ƒ˜˜ƒā‹‹†ƒ–Œ‡ –‡‘”‡‘ʹǤͶǤ”‡–’‘•–ƒ˜‹‘†ƒ˜ƒā‹œƒ‡‘Ǥ‡ƒŒ‡ܺ௠ ൌ ሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ሻǤƒ ‘•‘˜—–‡‘”‡‡ʹǤͶ‹’”‡–’‘•–ƒ˜‹‹†—…‹Œ‡ǡ†‘„‹Œƒ‘ǣ ‫ܪ‬ሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ǡ ܺ௠ାଵ ሻ ൌ ‫ܪ‬ሺܺ௠ ǡ ܺ௠ାଵ ሻ ൌ ‫ܪ‬ሺܺ௠ ሻ ൅ ‫ܪ‬ሺܺ௠ାଵ ȁܺ௠ ሻ ൌ ‫ܪ‬ሺܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ሻ ൅ ‫ܪ‬ሺܺ௠ାଵ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ሻ ൌ ‫ܪ‬ሺܺଵ ሻ ൅ ‫ܪ‬ሺܺଶ ȁܺଵ ሻ ൅ ‫ ڮ‬൅ ‫ܪ‬ሺܺ௠ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ିଵ ሻ ൅ ‫ܪ‬ሺܺ௠ାଵ ȁܺଵ ǡ ܺଶ ǡ ǥ ǡ ܺ௠ ሻ ƒ‘˜ƒā‹œƒ݉ ൅ ͳǡ˜ƒā‹‹œƒ•˜ƒ‘݉Ǥ 40

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

PRIMER 2.6 ଵ

‫ܺ݌‬ǡ ܻሺͲǡͳሻ ൌ ‫ܺ݌‬ǡ ܻሺͳǡͲሻ ൌ ‫ܺ݌‬ǡ ܻሺͲǡͲሻ ൌ ǡ ‫ܺ݌‬ǡ ܻሺͳǡͳሻ ൌ Ͳǡ ‫ܺ݌‬ሺͲሻ ൌ ‫ݕ݌‬ሺͲሻ ൌ ଶ ଷ

ଵ

ଷ

݅‫ܺ݌‬ሺͳሻ ൌ ‫ܻ݌‬ሺͳሻ ൌ Ǥ ଷ

Ž‡†‹ǣ ‫ܪ‬ሺܺȁܻ ൌ Ͳሻ ൌ െ‫ܺ݌‬ȁ‫ݕ‬ሺͲǡͲሻ Ž‘‰ ‫ܺ݌‬ȁ‫ݕ‬ሺͲǡͲሻ െ ‫ܺ݌‬ȁ‫ݕ‬ሺͳǡͲሻ Ž‘‰ ‫ܺ݌‬ȁ‫ݕ‬ሺͳǡͲሻ ‫ܺ݌‬ǡ ܻሺͲǡͲሻ ‫ܺ݌‬ǡ ܻሺͲǡͲሻ ‫ܺ݌‬ǡ ܻሺͳǡͲሻ ‫ܺ݌‬ǡ ܻሺͳǡͲሻ ൌെ Ž‘‰ Ž‘‰ െ Ž‘‰ ‫ܻ݌‬ሺͲሻ ‫ܻ݌‬ሺͲሻ ‫ܻ݌‬ሺͲሻ ‫ܻ݌‬ሺͲሻ ൌ െͲǤͷ Ž‘‰ ͲǤͷ െ ͲǤͷ Ž‘‰ ͲǤͷ ൌ ͳǡ ‫ܪ‬ሺܺȁܻ ൌ ͳሻ ൌ െ

‫ܺ݌‬ǡ ܻሺͲǡͳሻ ‫ܺ݌‬ǡ ܻሺͲǡͳሻ ‫ܺ݌‬ǡ ܻሺͳǡͳሻ ‫ܺ݌‬ǡ ܻሺͳǡͳሻ Ž‘‰ െ Ž‘‰ ൌ Ͳǡ ‫ܻ݌‬ሺͳሻ ‫ܻ݌‬ሺͳሻ ‫ܻ݌‬ሺͳሻ ‫ܻ݌‬ሺͳሻ

ʹ ͳ ͳ ʹ ‫ܪ‬ሺܺሻ ൌ ‫ܪ‬ሺܻሻ ൌ െ Ž‘‰ െ Ž‘‰ ൎ ͲǤͻͳͺ͵Ǥ ͵ ͵ ͵ ͵ ‫ܪ‬ሺܺȁܻ ൌ ͳሻ ൏ ‫ܪ‬ሺܺሻ ൏ ‫ܪ‬ሺܺȁܻ ൌ ͲሻǤ ‫ܪ‬ሺܺȁܻሻ ൌ ‫ܻ݌‬ሺͲሻ‫ܪ‬ሺܺȁܻ ൌ Ͳሻ ൅ ‫ܻ݌‬ሺͳሻ‫ܪ‬ሺܺȁܻ ൌ ͳሻ ൌ ‫ܪ‬ሺܺǡ ܻሻ ൌ െ Ž‘‰

ʹ ܾ݅‫ݐ‬ ͵

ͳ ൎ ͳǤͷͺͷͲܾ݅‫ݐ‬ ʹ

†ƒŽ‡‘ā‡‘†ƒ˜‹†‹‘†ƒ˜ƒā‹‡‘”‡ƒʹǤͶ ‫ܪ‬ሺܺǡ ܻሻ ൌ ‫ܪ‬ሺܻሻ ൅ ‫ܪ‬ሺܺȁܻሻ †‘•‘ǣ ͳǤͷͺͷͲ ൌ ͲǤͻͳͺ͵ ൅ ͲǤ͸͸͸͸

 Ž‹ƒʹǤͳͲ‘†‡Ž‘—‹ƒ…‹‘‘‰ƒƒŽƒ

41

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒƒŽ•‡‘’‹•—Œ‡—•Ž‘˜‹”ƒ•’‘†‡Žƒƒǣ Ͳ ൑ ‫ܻ݌‬ȁ‫ݔ‬ሺ‫ݕ‬ǡ ‫ݔ‬ሻ ൑ ͳǡ‫ܫ א ݔ‬ǡ ‫ܱ א ݕ‬ǡ ෍ ‫ܻ݌‬ȁ‫ݔ‬ሺ‫ݕ‬ǡ ‫ݔ‬ሻ ൌ ͳ‫ܫ א ݔ݁ݒݏܽݖ‬Ǥ ௬

‘Œƒ •‡ «‡•–‘ ƒœ‹˜ƒ ‹ –”ƒ•‹•‹‘ƒ ƒ–”‹…ƒǤ ‡†ƒ‘•– ሺǡ ሻ ൌ ሺሻ ൅ ሺȁሻ ‘œƒ«ƒ˜ƒ †ƒ •‡ …‡Ž‘—’ƒ ‡‘†”‡¯‡‘•– •‹•–‡ƒ •ƒ•–‘Œ‹ ‘† ‡‘†”‡¯‡‘•–‹ —Žƒœƒ ‫ܪ‬ሺܺሻ‹‡‘†”‡¯‡‘•–‹’”‡‘•ƒ’”‡‘ƒƒŽƒ‫ܪ‬ሺܻȁܺሻǤ PRIMER 2.7ȋ‹ƒ”‹•‹‡–”‹«‹ƒƒŽȌ”ƒ•‹•‹‘ƒƒ–”‹…ƒŒ‡†ƒ–ƒ•ƒǣ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͲሻ ‫۾‬ൌ൬ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͳሻ

‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͲሻ ͳെԪ ൰ൌቀ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͳሻ Ԫ

Ԫ ቁ ͳെԪ

†ƒŽ‡ •‡ ˜‹†‹ †ƒ Œ‡Ԫ‰”‡æƒ ’”‡‘•ƒǤ ‡ƒ Œ‡‫ܺ݌‬ሺͲሻ ൌ ‫݌‬ǡ ‫ܺ݌‬ሺͳሻ ൌ ‫ ݍ‬ൌ ͳ െ ‫݌‬Ǥ ƒ†ƒŒ‡ǣ ‫ܪ‬ሺܺሻ ൌ െ‫ ݌ ‰‘Ž ݌‬െ ሺͳ െ ‫݌‬ሻ Ž‘‰ሺͳ െ ‫݌‬ሻ ‫ܻ݌‬ሺͲሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͲሻ ȉ ‫ܺ݌‬ሺͲሻ ൅ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͳሻ ȉ ‫ܺ݌‬ሺͳሻ ൌ ሺͳ െ Ԫሻ‫ ݌‬൅ Ԫሺͳ െ ‫݌‬ሻǡ ‫ܻ݌‬ሺͳሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͲሻ ȉ ‫ܺ݌‬ሺͲሻ ൅ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͳሻ ȉ ‫ܺ݌‬ሺͳሻ ൌ Ԫ‫ ݌‬൅ ሺͳ െ Ԫሻሺͳ െ ‫݌‬ሻǤ ‫ܪ‬ሺܻȁͲሻ ൌ െ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͲሻ Ž‘‰ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͲሻ െ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͲሻ Ž‘‰ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͲሻ ൌ െሺͳ െ Ԫሻ Ž‘‰ሺͳ െ Ԫሻ െ Ԫ Ž‘‰ Ԫ ǡ ‫ܪ‬ሺܻȁͳሻ ൌ െ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͳሻ Ž‘‰ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǡͳሻ െ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͳሻ Ž‘‰ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǡͳሻ ൌ െԪ Ž‘‰ Ԫ െ ሺͳ െ Ԫሻ Ž‘‰ሺͳ െ Ԫሻ ൌ ‫ܪ‬ሺܻȁͲሻ ‫ܪ‬ሺܻȁܺሻ ൌ ‫ܺ݌‬ሺͲሻ‫ܪ‬ሺܻȁͲሻ ൅ ‫ܺ݌‬ሺͳሻ‫ܪ‬ሺܻȁͳሻ ൌ ‫ܪ݌‬ሺܻȁͲሻ ൅ ሺͳ െ ‫݌‬ሻ‫ܪ‬ሺܻȁͲሻ ൌ ‫ܪ‬ሺܻȁͲሻ ൌ ‫ܪ‬ሺܻȁͳሻǤ 斑‹Œ‡‹œ‡ƒ¯‡Œ‡Œ‡”Œ‡ƒƒŽ•‹‡–”‹«ƒǤœ‘†”‡¯‡‹ƒ’‘”ƒ‘•‘˜—‰‘”Œ‹Š ‹œ”ƒœƒ‘ā‡‘’”‘˜‡”‹–‹†ƒ˜ƒā‹ǣ ‫ܪ‬ሺܺǡ ܻሻ ൌ ‫ܪ‬ሺܺሻ ൅ ‫ܪ‬ሺܻȁܺሻ ‡ƒŒ‡ǣ

42

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Ԫ ൌ ͲǤͳǡ ‫ܺ݌‬ሺͲሻ ൌ ‫ ݌‬ൌ ͲǤʹǡ ‫ܺ݌‬ሺͳሻ ൌ ‫ ݍ‬ൌ ͲǤͺǤ ƒ†ƒŒ‡ǣ ‫ܪ‬ሺܺሻ ൌ  െͲǤʹ Ž‘‰ ͲǤʹ െ ͲǤͺ Ž‘‰ ͲǤͺ ൎ ͲǤ͹ʹͳͻܾ݅‫ݐ‬ǡ ‫ܻ݌‬ሺͲሻ ൌ ͲǤͻ ȉ ͲǤʹ ൅ ͲǤͳ ȉ ͲǤͺ ൌ ʹǤͶ͸ǡ ‫ܻ݌‬ሺͳሻ ൌ ͲǤͳ ȉ ͲǤʹ ൅ ͲǤͻ ȉ ͲǤͺ ൌ ͲǤ͹Ͷǡ ‫ܪ‬ሺܻȁܺሻ ൌ ‫ܪ‬ሺܻȁͲሻ ൌ െͲǤͻ Ž‘‰ ͲǤͻ െ ͲǤͳ Ž‘‰ ͲǤͳ ൎ ͲǤͶ͸ͻͲܾ݅‫ݐ‬Ǥ ‫ܺ݌‬ǡ ܻሺͲǤͲሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǤͲሻ‫ܺ݌‬ሺͲሻ ൌ ͲǤͻ ȉ ͲǤʹ ൌ ͲǤͳͺǡ ‫ܺ݌‬ǡ ܻሺͳǤͲሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͲǤͳሻ‫ܺ݌‬ሺͳሻ ൌ ͲǤͳ ȉ ͲǤͺ ൌ ͲǤͲͺǡ ‫ܺ݌‬ǡ ܻሺͲǤͳሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǤͲሻ‫ܺ݌‬ሺͲሻ ൌ ͲǤͳ ȉ ͲǤʹ ൌ ͲǤͲʹǡ ‫ܺ݌‬ǡ ܻሺͳǤͳሻ ൌ ‫ܻ݌‬ȁ‫ݔ‬ሺͳǤͳሻ‫ܺ݌‬ሺͳሻ ൌ ͲǤͻ ȉ ͲǤͺ ൌ ͲǤ͹ʹǡ ‫ܪ‬ሺܺǡ ܻሻ ൌ െͲǤͳͺ Ž‘‰ ͲǤͳͺ െ ͲǤͲͺ Ž‘‰ ͲǤͲͺ െ ͲǤͲʹ Ž‘‰ ͲǤͲʹ െ ͲǤ͹ʹ Ž‘‰ ͲǤ͹ʹ ൎ ͳǤͳͻͲͻܾ݅‫ݐ‬ 

43

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤʹǤ      Šta je informacija i kako se ona meri? •‘˜ƒ‹†‡ŒƒŒ‡†ƒŒ‡‘ƒ˜‡œƒƒœƒ’”‘‡—‡‘†”‡¯‡‘•–‹Ǥ‡”ƒ‹ˆ‘”ƒ…‹Œ‡ǡ •–‘‰ƒ‘”ƒ„‹–‹•”ƒœ‡”ƒ‘Ž‹«‹‹’”‘‡‡‡‘†”‡¯‡‘•–‹Ǥ ’•‡”˜ƒ…‹Œƒ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ ‹Ž‹ †‘‰ƒ¯ƒŒ‹ ˜‡œƒ‹ œƒ Œ‡†— •Ž—«ƒŒ— ˜‡Ž‹«‹— ’”‡†•–ƒ˜ŽŒƒŒ— ‹ˆ‘”ƒ…‹Œ—Ǥ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡ †‘„‹Œ‡ƒ ƒ ‘•‘˜— ‘’•‡”˜ƒ…‹Œƒ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ ‹Ž‹ †‘‰ƒ¯ƒŒƒ •‡ ‡”‹ ƒ ‘•‘˜— ”‡œ—Ž–—Œ—©‡ ’”‘‡‡ ‡‘†”‡¯‡‘•–‹Ǥ–”‘’‹Œƒ‹‡”ƒ‹ˆ‘”ƒ…‹Œ‡•—–‡•‘’‘˜‡œƒ‹Ǥ ʹǤʹǤͳǤ    0  ‘«‹‘ ƒæƒ ”ƒœƒ–”ƒŒƒ ‘† •‹•–‡ƒ ‘‰—©‘•–‹ ሺܵǡ ܲሻǡ ”‡’”‡œ‡–‘˜ƒ‘‰ •Ž—«ƒŒ‘ ’”‘‡ŽŒ‹˜‘ܺǡ ‘Œƒ —œ‹ƒ ˜”‡†‘•–‹š ‫ א‬ǡ  •ƒ ˜‡”‘˜ƒ–‘©‘’ଡ଼ ሺšሻǤ ˜ƒ •Ž—«ƒŒƒ ’”‘‡ŽŒ‹˜ƒ ‘’‹•—Œ‡ Œ‡†ƒ ‡•’‡”‹‡– — ‘‡ •— ‹•Š‘†‹ ‡‘†”‡¯‡‹Ǥ ‡”ƒ ‡‘†”‡¯‡‘•–‹ — ˜‡œ‹ •ƒ ‘˜‹ ‡•’‡”‹‡–‘ Œ‡ †ƒ–ƒ ‡–”‘’‹Œ‘ǣ ‫ܪ‬ሺܺሻ ൌ െ ෍ ‫݌‬௑ ሺ‫ݔ‬ሻ Ž‘‰ ‫݌‬௑ ሺ‫ݔ‬ሻǤ ௫‫א‬ௌ

ƒ†ƒ•‡‹œ˜”拇•’‡”‹‡–ǡ‹‘’•‡”˜‹”ƒ‘‘†”‡¯‡—˜”‡†‘•–š ‫ א‬Ǥƒ‘–‘‰ƒ ˜‹æ‡ ‡ƒ ‡‘†”‡¯‡‘•–‹Ǥ ”‡–Š‘†ƒ ‡‘†”‡¯‡‘•– ‫ܪ‬ሺܺሻ ”‡†—‘˜ƒƒ ƒ ƒ’‘•–‡”‹‘”— ‡‘†”‡¯‡‘•– ͲǤ ƒœŽ‹ƒ ‫ܪ‬ሺܺሻȂ Ͳ ൌ ‫ܪ‬ሺܺሻ Œ‡†ƒƒ Œ‡ ‘Ž‹«‹‹ ‹ˆ‘”ƒ…‹Œ‡ †‘„‹Œ‡‡ ‹œ˜‘¯‡Œ‡ ‘˜‘‰ ‡•’‡”‹‡–ƒǤ –‘‰ƒ Œ‡ ‡–”‘’‹Œƒ Œ‡†‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ Œ‡†ƒƒ ‘Ž‹«‹‹ ‹ˆ‘”ƒ…‹Œ‡ †‘„‹Œ‡‡ ‘’•‡”˜‹”ƒŒ‡ Œ‡†‡ ‘”‡–‡Œ‡‡”‡ƒŽ‹œƒ…‹Œ‡Ǥ ˜ƒ‹†‡Œƒƒƒ‡©‡†˜ƒ˜ƒāƒœƒ’ƒāƒŒƒǣ ͳǤ —†—©‹†ƒŒ‡‹ˆ‘”ƒ…‹Œƒ Œ‡†ƒƒ’”‘‡‹ ‡–”‘’‹Œ‡ǡ‘ƒ•‡‡”‹—‹•–‹ Œ‡†‹‹…ƒƒƒ‘‹‡–”‘’‹Œƒǡ†ƒŽ‡ƒ‘Œ‡—ʹ‘•‘˜ƒŽ‘‰ƒ”‹–ƒǡŒ‡†‹‹…ƒŒ‡ Œ‡†ƒ„‹–Ǥ

44

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ ‘„‹Œ‡ƒ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡ Œ‡ ‹•–ƒ œƒ •˜‡ ‘‰—©‡ ”‡ƒŽ‹œƒ…‹Œ‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ܺǡ„‡œ‘„œ‹”ƒ†ƒŽ‹Œ‡˜‡”‘˜ƒ–‘©ƒ‡‡”‡ƒŽ‹œƒ…‹Œ‡˜‡Ž‹ƒ‹Ž‹ƒŽƒǤ PRIMER 2.8‹ƒ”ƒ•Ž—«ƒŒƒ’”‘‡ŽŒ‹˜ƒ ‡ƒ Œ‡ œƒ†ƒ–ƒ „‹ƒ”ƒ •Ž—«ƒŒƒ ˜‡Ž‹«‹ƒܺǡ ‘Œƒ ’”‹ƒ ˜”‡†‘•–‹ Ͳ ‹ ͳ •ƒ ˜‡”‘˜ƒ–‘©ƒƒ ‫ ݍ ‹ ݌‬ൌ ͳ െ ‫ ݌‬ǡ ”‡•’‡–‹˜‘Ǥ ’•‡”˜‹”ƒŒ‡ Œ‡†‘‰ ‹•Š‘†ƒ „‹ƒ”‘‰‡•’‡”‹‡–ƒ”‡œ—Ž–—Œ‡—†‘„‹ŒƒŒ—‘Ž‹«‹‡‹ˆ‘”ƒ…‹Œ‡Œ‡†ƒ‡ǣ ‫ܪ‬ሺܺሻ ൌ  െ‫݌݃݋݈݌‬Ȃ ‫ݍ݃݋݈ݍ‬Ǥ ƒ’”‹‡”ǡ—ˆ‡”„ƒ…ƒŒ—‘˜«‹©ƒǡ‘’•‡”˜‹”ƒŒ‡‹•Š‘†ƒ„ƒ…ƒŒƒ•‡†‘„‹Œƒ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡‘†ͳ„‹–ƒǤ

‡‡”ƒŽ‹æ‹‘ •ƒ†ƒ ‘˜‘ ”ƒœƒ–”ƒŒ‡Ǥ  †ƒŽŒ‡ ©‡‘ ’‘•ƒ–”ƒ–‹ •Ž—«ƒŒ— ’”‘‡ŽŒ‹˜—ܺ˜‡œƒ— œƒ •‹•–‡ ‘‰—©‘•–‹ሺܵǡ ܲሻǤ ‘Ž‹«‹ƒ ‡‘†”‡¯‡‘•–‹ Œ‡ ‹ †ƒŽŒ‡‫ܪ‬ሺܺሻǤƒ†ƒ©‡‘‘„ƒ˜‹–‹‡•’‡”‹‡–•ƒ‘’ƒ”…‹ŒƒŽ‘Ǥ‡©‡‘‘’•‡”˜‹”ƒ–‹ †‹”‡–‘ •Ž—«ƒŒ— ˜‡Ž‹«‹—ܺǡ ˜‡© •ƒ‘ ‡‹ †‘‰ƒ¯ƒŒ ‫ ك‬Ǥ˜‘ •ƒ†ƒ ’”‡†•–ƒ˜ŽŒƒ ‡—‹ˆ‘”ƒ…‹Œ—Ǥ Šta je sada njena mera? ’•‡”˜ƒ…‹Œƒ †‘‰ƒ¯ƒŒƒ‫ —˜‹ŒŽ‡‘”’ —˜‘Ž•— —ܺ—‹«‹Ž‡˜ —Œƒ«—Ž• ƒŒ‡ܧ‬ȁǡ ‘Œƒ•‡‘†‘•‹ƒ‘˜‹˜‡”‘˜ƒ–‘•‹•‹•–‡‘‰—©‘•–‹ሺǡ ୉ ሻǤ˜†‡୉ ‘œƒ«ƒ˜ƒ —•Ž‘˜‡˜‡”‘˜ƒ–‘©‡ǣ ‫݌‬௑ȁா ሺ‫ݔ‬ሻ ൌ

௣೉ ሺ௫ሻ

ǡœƒ•˜ƒ‘‫ ݔ‬ൌ‫ܧ א‬Ǥ

௣೉ ሺாሻ

˜ƒ‘˜ƒ•‹–—ƒ…‹Œƒǡƒ•–ƒŽƒ‘’•‡”˜ƒ…‹Œ‘†‘‰ƒ¯ƒŒƒǡ‹ƒ‡‘†”‡¯‡‘•–Œ‡†ƒ— —•Ž‘˜‘Œ‡–”‘’‹Œ‹ǣ ‫ܪ‬ሺܺȁ‫ܧ‬ሻ ൌ െ ෍ ‫݌‬௑ȁா ሺ‫ݔ‬ሻ Ž‘‰ ‫݌‬௑ȁா ሺ‫ݔ‬ሻǤ ௫‫א‬ா

”‡ƒ –‘‡ ‘’•‡”˜‹”ƒŒ‡ †‘‰ƒ¯ƒŒƒ‫ܧ‬ǡ ‡Œƒ ‡‘†”‡¯‡‘•– •ƒ ’‘«‡–‡‫ܪ‬ሺܺሻ— ‫ܪ‬ሺܺȁ‫ܧ‬ሻǤ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡†‘„‹Œ‡ƒ–‘’”‹Ž‹‘Œ‡Œ‡†ƒƒ‫ܪ‬ሺܺሻ  െ ‫ܪ‬ሺܺȁ‫ܧ‬ሻǤ

45

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‹†‡©‡‘†ƒ‘˜‘‡‘”ƒ„‹–‹—‘’æ–‡•Ž—«ƒŒ—†‘„‹–ƒǡ„—†—©‹†ƒ‫ܪ‬ሺܺȁ‫ܧ‬ሻ‘ā‡ „‹–‹ ‹ ˜‡©ƒ ‘† ‫ܪ‬ሺܺሻ ǡ –ƒ‘ †ƒ ‘’•‡”˜‹”ƒŒ‡ †‘‰ƒ¯ƒŒƒ ‫‘ ܧ‬ā‡ †ƒ ’‘˜‡©ƒ ‡‘†”‡¯‡‘•–ǡ斑˜‘†‹†‡ˆ‹‹…‹Œ‹‡‰ƒ–‹˜‡‹ˆ‘”ƒ…‹Œ‡Ǥ ƒ†ƒ •‡‫ܺ‹–•‘©—‰‘ †‘ ‡†‡Œ ‹–•‘†‡”˜ ‡«ƒ– —Œ‹…ƒ˜”‡•’‘ ƒ ‹†‘˜•ܧ‬ǡ –ƒ†ƒ Œ‡ ‫ܪ‬ሺܺȁ‫ܧ‬ሻ  ൌ Ͳǡ ’ƒ Œ‡‫ܪ‬ሺܺሻ  െ ‫ܪ‬ሺܺȁ‫ܧ‬ሻ  ൌ ‫ܪ‬ሺܺሻȂ Ͳ ൌ ‫ܪ‬ሺܺሻ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡ †‘„‹Œ‡ƒ–‘’”‹Ž‹‘Œ‡†ƒƒ‡–”‘’‹Œ‹Ǥ ƒ–‘ •‡ «‡•–‘ ‡–”‘’‹Œƒ ‡‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ ƒœ‹˜ƒ ‹ ‹ˆ‘”ƒ…‹Œƒ ‘ •ƒ‘Œ •‡„‹ ȋ‡‰ŽǤSelf-informationȌǤ†‘•‘‡–”‘’‹ŒƒŒ‡†‡•Ž—«ƒŒ‡˜‡Ž‹«‹‡Œ‡—•”‡†Œ‡ Œ‡†ƒƒ‘Ž‹«‹‹‹ˆ‘”ƒ…‹Œ‡’‘–”‡„‡œƒ‘’‹•–‡•Ž—«ƒŒ‡˜‡Ž‹«‹‡Ǥ ƒ„‹•‘ƒ•–ƒ˜‹Ž‹•ƒ”ƒœ˜‘Œ‡‘…‡’–ƒ‹ˆ‘”ƒ…‹Œ‡—ā‘Œ‡†ƒ—˜‡†‡‘†˜ƒ ‘˜ƒ’‘Œƒǣ ͳǤ ”‡Žƒ–‹˜—‡–”‘’‹Œ—‹ǡ ʹǤ —œƒŒƒ—‹ˆ‘”ƒ…‹Œ—Ǥ ʹǤʹǤʹǤ      ‘•ƒ–”ƒŒ‘ œ†”—ā‡‹ ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‘‰—©‘•–‹ሺଵ ൈ ଶ ǡ ሻ‹ ’”‹†”—ā‡‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ ܺ ‹ ܻ Ǥ ”‡–’•–ƒ˜‹‘ †ƒ •‘ ‘’•‡”˜‹”ƒŽ‹ Œ‡†— ˜”‡†‘•–  ൌ › ‫ א‬ଶ Ǥ ƒ‘ 斑 •‘ ˜‹†‡Ž‹ ‘˜ƒ •‹–—ƒ…‹Œƒ ‡Œƒ ‡‘†”‡¯‡‘•– — ’‘‰Ž‡†— ’”‘‡ŽŒ‹˜‡ ܻ ƒ —Ž—ǡ ‘†ƒŽ‡ •Ž‡†‹ †ƒ ‘˜ƒ ‘’•‡”˜ƒ…‹Œƒ •ƒ†”ā‹ ‹ሺ›Ǣ ሻ ൌ ሺሻ„‹–ƒ‹ˆ‘”ƒ…‹Œ‡ǡ”‡Žƒ–‹˜‘—‘†‘•—ƒ’”‡–Š‘†ƒœƒŒƒ‘ܻǤ˜— ˜‡Ž‹«‹— ©‡‘ œ˜ƒ–‹ Ž‘ƒŽƒ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒǡ ‘†‘•‘ ‘Ž‹‘ Œ‡†ƒ ”‡ƒŽ‹œƒ…‹Œƒ•Ž—«ƒŒ‡˜‡Ž‹«‹‡ܻ‰‘˜‘”‹‘•Ž—«ƒŒ‘Œ˜‡Ž‹«‹‹ܻ—…‡Ž‹‹Ǥ ‡¯—–‹ ‘’•‡”˜ƒ…‹Œƒ ܻ ൌ ‫ݕ‬ǡ ‡Œƒ ‹ ”ƒ•’‘†‡Ž— ˜‡”‘˜ƒ–‘©‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ܺǡ –ƒ‘ 斑 ‘ƒ •ƒ†ƒ ’‘•–ƒŒ‡ —•Ž‘˜ƒ ”ƒ•’‘†‡Žƒ ‫݌‬௑ȁ௬ ሺ‫ݔ‬ǡ ‫ݕ‬ሻ ൌ ‫ܵ א ݔ‬ଵ Ǥ

௣೉ǡೊ ሺ௫ǡ௬ሻ ௣ೊ ሺ௬ሻ

ǡœƒ •˜ƒ‘

˜‘œƒ«‹†ƒ•‡–ƒ‘¯‡‡Œƒ‹‡‘†”‡¯‡‘•–—’‘‰Ž‡†—•Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡ܺǤ –‘‰ƒ ‘’•‡”˜ƒ…‹Œƒ ܻ ൌ ‫ ݕ‬ǡ •ƒ†”ā‹ ‹ˆ‘”ƒ…‹Œ— — ‘†‘•— ƒ ܺ Ǥ ‘Ž‹«‹ƒ ‘˜‡ ‹ˆ‘”ƒ…‹Œ‡‹œ‘•‹‹ሺ›Ǣ ሻ ൌ ሺሻ െ ሺȁ›ሻǤ

46

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜— ˜‡Ž‹«‹— ©‡‘ œ˜ƒ–‹ Ž‘ƒŽƒ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡ܻ‹ܺǡ ƒ ‰‘˜‘”‹‘–‘‡‘Ž‹‘Œ‡†ƒ‘’•‡”˜ƒ…‹Œƒܻ ൌ ‫Œ‘Œƒ«—Ž•Œ‘‰—”†‘‡Œ‹…ƒ”‘ˆ‹‡Œƒ†ݕ‬ ˜‡Ž‹«‹‹ܺǤ ”‡¯‹‘ •ƒ†ƒ •ƒ ’‘Œ‡†‹ƒ«‹Š ‘’•‡”˜ƒ…‹Œƒ ƒ ‘«‡‹˜ƒ‡ ˜”‡†‘•–‹ Ž‘ƒŽ‹Š —œƒŒƒ‹Š‹ˆ‘”ƒ…‹ŒƒǤ ‫ܫ‬ሺܺǢ ܻሻ ൌ ෍ ‫݌‬௒ ሺ‫ݕ‬ሻ݅ሺ‫ݕ‬Ǣ ܺሻ ൌ ෍ ‫݌‬௒ ሺ‫ݕ‬ሻ൫‫ܪ‬ሺܺሻ െ ‫ܪ‬ሺܺȁ‫ݕ‬ሻ൯ ൌ ‫ܪ‬ሺܺሻ െ ‫ܪ‬ሺܺȁܻሻǤ ௬

௬

‡Ž‹«‹ƒ‫ܫ‬ሺܺǢ ܻሻ•‡ ƒœ‹˜ƒ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ ‹œ‡¯— •Ž—«ƒŒ‹Š ˜‡Ž‹«‹ƒܺ‹ܻǤ ƒ ’”‡†•–ƒ˜ŽŒƒ Œ‡†ƒ ‘† …‡–”ƒŽ‹Š ’‘Œ‘˜ƒ –‡‘”‹Œ‡ ‹ˆ‘”ƒ…‹ŒƒǤ –”‹–‘ ‰‘˜‘”‡©‹ ‘ƒ ‹Œ‡ ‹ˆ‘”ƒ…‹Œƒ ˜‡© ‘«‡‹˜ƒƒ ˜”‡†‘•– ‘Ž‹«‹‡ ‹ˆ‘”ƒ…‹Œ‡ ‘Œ— †‘„‹Œƒ‘‘ܺƒ†ƒ‘’•‡”˜‹”ƒ‘˜”‡†‘•–‹ܻǤ ƒ‘•‘˜—ƒ”‘Žƒ”‹ŒƒʹǤ͵‘Œ‹–˜”†‹†ƒŒ‡—˜‡‫ܪ‬ሺܺȁܻሻ ൑ ‫ܪ‬ሺܺሻǤ TEOREMA 2.5‫ܫ‬ሺܺǢ ܻሻ ൒ Ͳǡ†‘Œ‡ ሺǢ ሻ ൌ Ͳǡƒ‘‹•ƒ‘ƒ‘—•ܺ‹ܻ‡¯—•‘„‘ ‡œƒ˜‹•‡•Ž—«ƒŒ‡˜‡Ž‹«‹‡Ǥ ‘†•‡–‹‘•‡†ƒŽ‘ƒŽƒ—œƒŒƒƒ‹ˆ‘”ƒ…‹Œƒ‹ሺ›Ǣ ሻ‘ā‡„‹–‹‹‡‰ƒ–‹˜ƒǡ†‘Œ‡ —œƒŒƒƒ‹ˆ‘”ƒƒ‘Œ‡‘ƒ–‡ƒ–‹«‘‘«‡‹˜ƒŒ‡—˜‡’‘œ‹–‹˜ƒǤƒ‘•‘˜— •˜‘Œ•–˜ƒ‫ܪ‬ሺܺȁܻሻ ൌ ‫ܪ‬ሺܺǡ ܻሻ  െ ‫ܪ‬ሺܺሻǡ †‘„‹Œƒ‘ †ƒ ˜ƒā‹ ‫ܫ‬ሺܺǢ ܻሻ ൌ ሺሻ ൅ ሺሻ െ ሺǡ ሻǤ œ‘˜‡†‘„‹Œ‡‡•‹‡–”‹Œ‡•Ž‡†‹•Ž‡†‡©ƒ‡‘”‡ƒǤ TEOREMA 2.6 ‫ܫ‬ሺܺǢ ܻሻ ൌ ‫ܫ‬ሺܻǢ ܺሻ Ǥ —‹”ƒŒ‘ •ƒ†ƒ ƒŒœƒ«ƒŒ‹Œƒ •˜‘Œ•–˜ƒ —œƒŒƒ‡‹ˆ‘”ƒ…‹Œ‡‹Œ‡‘†‘•’”‡ƒ‡–”‘’‹Œ‹Ǥ TEOREMA 2.6a ሺǢ ሻ ൌ ሺሻ െ ሺȁሻ ሺǢ ሻ ൌ ሺሻ െ ሺȁሻ ሺǢ ሻ ൌ ሺሻ ൅ ሺሻ െ ሺǡ ሻ  ሺǢ ሻ ൌ ሺǢ ሻ ሺǢ ሻ ൌ ሺሻ

47

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤʹǤ͵Ǥ  ,  , 

 

  Ǧ  

Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡‘‘Œ‹‰‘˜‘”‹‘•—†‹•”‡–‡Ǥƒ†˜‡•Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡ ܺ‹ܻǡe‡‘‘˜‡‹ˆ‘”ƒ…‹‘‡‡”‡•—ǣ‫ܪ‬ሺܺሻǡ ‫ܪ‬ሺܻሻǡ ‫ܪ‬ሺܺȁܻሻ‹‫ܫ‬ሺܺǢ ܻሻǤƒ’”ƒ˜ŽŒ‡ƒ Œ‡‘˜ƒ’”‡œ‡–ƒ…‹Œƒ‹ˆ‘”ƒ…‹‘‘Ǧ–‡‘”‹Œ•‹Š‡”ƒǤ‘‰Ž‡†ƒŒ‘ܺ෨‹ܻ෨’”‘‡ŽŒ‹˜‡ǡ ‘Œ‡ ‘†‰‘˜ƒ”ƒŒ— ’”‘‡ŽŒ‹˜‘Œܺ‹ܻǡ ”‡•’‡–‹˜‘Ǥܺ෨ ‫ܻ ׫‬෨„‹©‡ —‹˜‡”œƒŽ‹ •‡– πǡ ƒ—–‘”Œ‡—”ƒ†—†‡ˆ‹‹•ƒ‘•–˜ƒ”—‡”—ρ‫†ƒ כ‬ɐǦ’‘ŽŒ‡ǣ ~

~

~

~

~

~

~

~

~

~

~

~

F {( X ‰ Y ), X , Y , ( X ˆ Y ), ( X ˆ Y c ), ( X c ˆ Y ), ( X ˆ Y )c , I}  œƒǣ ~

~

P *( X ‰ Y ) H ( X , Y ) ~

P *( X ) H ( X ) ~

P *(Y ) H (Y ) ~

~

P *( X ˆ Y ) I ( X ; Y ) ~

~

~

~



P *( X  Y ) H ( X | Y ) P *(Y  X ) H (Y | X ) ~

~

P *((Y  X )c ) H ( X | Y )  H (Y | X ) ‹ǣ

P * (I )

0

”‹‡©—Œ‡‘ †ƒ ’”˜‹Š 懕– Œ‡†ƒ‘•–‹ •ƒ Ž‡˜‡ •–”ƒ‡ — ‹œ”ƒœ— ‘ā‡‘ †‘„‹–‹ •ƒ ‹œ”ƒœ‹ƒ•ƒ†‡•‡•–”ƒ‡•ƒ‘Œ‹ƒ•—’”‡†•–ƒ˜ŽŒ‡‡e‡‘‘˜‡‹ˆ‘”ƒ…‹‘‡‡”‡ œƒ X ‹ Y ǡ—”ƒ†‹˜æ‹œƒ‡—•‹„‘Žƒǣ

48

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

H /I oP ,o ‰ ;o ˆ



|o . ˜‘Œ‡ˆ‘”ƒŽƒœƒ‡ƒ•‹„‘ŽƒǤ‡’‘•–‘Œ‹œƒ«ƒŒƒ”ƒœŽ‹ƒ‹œ‡¯—‡–”‘’‹Œ‡‹ œƒŒ‡†‹«‡‹ˆ‘”ƒ…‹Œ‡Ǥ–”‘’‹Œƒ•‡‡ƒ†‘†‘•‹ƒ•ƒ—‹ˆ‘”ƒ…‹Œ—Ǥƒ‘†ƒ œƒ †˜‡ •Ž—«ƒŒ‡ ’”‘‡ŽŒ‹˜‡ X ‹ Y ‘ā‡‘ ‘”‹•–‹–‹ e‡‘‘˜‡ ‹ˆ‘”ƒ…‹‘‡ ‡”‡ƒ’‘ŽŒ— F Ǥ‡”ƒ P * Œ‡‹•–‘ƒ‘IǦ‡”ƒœƒ†˜‡•Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡ X ‹

Y Ǥƒ‘Œ‡—˜‹†‡–‹†ƒœƒ„‹Ž‘‘Œ‹–‡‘”‹Œ•‹‹†‡–‹–‡–‹ˆ‘”ƒ…‹Œ‡ X ‹ Y ǡ‘ā‡‘ †‘„‹–‹‘†‰‘˜ƒ”ƒŒ—©‹–‡‘”‹Œ•‹‹†‡–‹–‡–ˆ‘”ƒŽ‘œƒ‡‘•‹„‘ŽƒǤ ƒ’”‹‡”ǡœƒ‹ˆ‘”ƒ…‹‘‘–‡‘”‹Œ•‹‹†‡–‹–‡–ǣ

H ( X , Y ) { H ( X )  H (Y )  I ( X ; Y ),  Ž‡†‹•‡––‡‘”‹Œ•‘‰‹†‡–‹–‡–ƒǣ ~

~

~

~

~

~

P ( X ‰ Y ) { P ( X )  P (Y )  P ( X ˆ Y ).  ƒ•–ƒ˜—•Ž‡†‹‰”ƒˆ‹«ƒ’”‡œ‡–ƒ…‹Œƒe‡‘‘˜‹Š‡”ƒǡ’”‡—œ‡–ƒ‹œ”ƒ†ƒȋͳͻͻͳȌǤ ƒŒ‡†‹«ƒ ‡–”‘’‹Œƒ †˜‡ †‹•”‡–‡ •Ž—«ƒŒ‡ ’”‘‡ŽŒ‹˜‡ X ‹ Y ǡ ‹Ž‹ Œ‹Š‘˜ƒ ‡–”‘’‹Œƒ ƒ‘ —†”—ā‹˜ƒŒƒ †‡ˆ‹‹•ƒƒ Œ‡ •ƒ H ( X , Y ) Ǥ ˜‘ œƒ«‹ †ƒ ƒ‘ •— ’”‘‡ŽŒ‹˜‡ ‡œƒ˜‹•‡ǡ Œ‹Š‘˜ƒ ‡–”‘’‹Œƒ „‹©‡ œ„‹” Œ‹Š‘˜‹Š ’‘Œ‡†‹ƒ«‹Š ‡–”‘’‹Œƒ H ( X )  H (Y ) H ( X , Y ) ǡ’”‹ƒœƒ‘ƒǡȋŽ‹ƒʹǤͳͳȌ.

 Ž‹ƒʹǤͳͳ˜‡•Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡ 49

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘†—•Ž‘˜‘†ƒŒ‡ǣ

H ( X , Y ) d H ( X )  H (Y )  ‹ǣ

0 d H ( X ) d log 2 n 

†‡ n ’”‡†•–ƒ˜ŽŒƒ„”‘Œ‘‰—©‹Š˜”‡†‘•–‹ X Ǥ ʹǤ •Ž‘˜ƒ ‡–”‘’‹Œƒ ‹Ž‹ —•Ž‘˜ƒ ‡œƒ˜‹•‘•– ’”‘‡ŽŒ‹˜‡ X ƒ†ƒ ’‘œƒŒ‡‘ ’”‘‡ŽŒ‹˜— Y ȋ«‡•–‘•‡ƒœ‹˜ƒ‡˜‹˜‘ƒ…‹ŒƒȌŒ‡’”‘•‡«ƒ—•Ž‘˜ƒ‡–”‘’‹Œƒƒ† Y Ǥ•‘˜ƒ‘•‘„‹ƒ‘˜‘‰‘„Ž‹ƒ‡–”‘’‹Œ‡Œ‡ǣ

H (X |Y )

H ( X , Y )  H (Y ). 

Ž‡†‹‰”ƒˆ‹«ƒ’”‡œ‡–ƒ…‹Œƒ‘˜‡˜‡Ž‹«‹‡ǡȋŽ‹ƒʹǤͳʹȌǤ

 Ž‹ƒʹǤͳʹ•Ž‘˜ƒ‡–”‘’‹Œƒ

‘†—•Ž‘˜‘†ƒŒ‡ǣ

H ( X | Y ) d H ( X ), H (Y | X ) d H (Y ).



͵ǤœƒŒƒƒ‹ˆ‘”ƒ…‹Œƒ‡”‹‘Ž‹«‹—‹ˆ‘”ƒ…‹Œ‡‘Œ—Œ‡‘‰—©‡†‘„‹–‹‘Œ‡†‘Œ ’”‘‡ŽŒ‹˜‘Œǡƒ†ƒŒ‡‘’•‡”˜‹”ƒŽƒ‹Ž‹ƒ†ƒŒ‡’‘œƒ–ƒ†”—‰ƒǤ˜ƒ˜‡Ž‹«‹ƒŒ‡˜ƒāƒ— ‘—‹ƒ…‹Œƒƒǡ ‰†‡ •‡ ‘ā‡ ‘”‹•–‹–‹ — …‹ŽŒ— ’‘˜‡©ƒ˜ƒŒƒ ”ƒœ‡Œ‡‡ ‘Ž‹«‹‡ ‹ˆ‘”ƒ…‹Œ‡ ‹œ‡¯— ’‘•Žƒ–‹Š ‹ ’”‹ŽŒ‡‹Š •‹‰ƒŽƒǤ Ž‡†‹ ‰”ƒˆ‹«ƒ ’”‡œ‡–ƒ…‹Œƒ ‘˜‡ ˜‡Ž‹«‹‡ǡȋŽ‹ƒʹǤͳ͵ȌǤ 50

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________



 Ž‹ƒʹǤͳ͵œƒŒƒƒ‹ˆ‘”ƒ…‹Œƒ

‘†—•Ž‘˜‘†ƒŒ‡ǣ ‫ܫ‬ሺܺǢ ܻሻ ൌ ‫ܪ‬ሺܺሻ െ ‫ܪ‬ሺ݈ܻܺሻ‫ܫ‬ሺܺǢ ܻሻ ൌ ‫ܪ‬ሺܻሻ െ ‫ܪ‬ሺܻ݈ܺሻ  ʹǤʹǤͶǤ    ‘•ƒ–”ƒŒ‘ †˜ƒ ˜‡”‘˜ƒ–‘•ƒ •‹•–‡ƒ ‘‰—©‘•–‹ ƒ† ‹•–‹ •—’‘ ‘‰—©‘•–‹Ǥ‘•—‹‘”‡•’‘†‡–‡•Ž—«ƒŒ‡’”‘‡ŽŒ‹˜‡ǡ–ƒ†ƒ•‡˜‡Ž‹«‹ƒǣ ‫ܭ‬ሺܲ௑ ǡ ܴ௒ ሻ ൌ ෍ ‫ܺ݌‬ሺ‫ݔ‬ሻ Ž‘‰ ௫‫א‬ௌ

‫ܺ݌‬ሺ‫ݔ‬ሻ  ‫ܻ݌‬ሺ‫ݔ‬ሻ

ƒœ‹˜ƒ”‡Žƒ–‹˜ƒ ‡–”‘’‹Œƒ‹Ž‹—Ž„ƒ ‡Œ„Ž‡”‘˜ƒ†‹˜‡”‰‡…‹Œƒȋ—Ž„ƒǦ‡Œ„Ž‡”‘˜‘ ”ƒ•–‘ŒƒŒ‡Ȍ ‹œ‡¯— ”ƒ•’‘†‡Ž‡ †˜‡ •Ž—«ƒŒ‡ ˜‡Ž‹«‹‡  ‹ Ǥ ƒ‘ •‡ — Œ‡†‘ ‘† ƒœ‹˜ƒ‘”‹•–‹”ƒ•–‘ŒƒŒ‡ǡ’”‹‡–‹‘†ƒ‡˜ƒā‹—•Ž‘˜•‹‡–”‹«‘•–‹ǡƒ‹‡ǣ ݀൫ܲ௑ǡ ܲ௒ ൯ ് ݀ሺܲ௒ ǡ ܲ௑ ሻǤ ‹˜‡”‰‡…‹ŒƒŒ‡Œ‡†ƒƒ—Ž‹ǣ ‫ܭ‬ሺܲ௑ ǡ ܲ௒ ሻ ൌ ‫ܭ‬ሺܲ௒ ǡ ܲ௑ ሻ ൌ Ͳǡ ‘‹•ƒ‘ƒ‘•—ǣ ܲ௑ ൌ ܲ௒Ǥ  51

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘æ–‘•‡—•˜ƒŒƒ‘˜‡…‹Œƒ†ƒŒ‡ǣ ͲŽ‘‰ሺͲȀͲሻ ൌ Ͳǡ ͲŽ‘‰ሺͲȀ‫ݍ‬ሻ ൌ Ͳǡ ’Ž‘‰ሺ’ȀͲሻ ൌ λǡ ሺܲ௑ ǡ ܲ௒ ሻ ൌ λǡ —‘Ž‹‘’‘•–‘Œ‹‫’‡Œ‡Œ‘ƒœݔ‬ଡ଼ ሺšሻ ൐ Ͳǡƒ’ଢ଼ ሺšሻαͲǤ ‘•ƒ–”ƒŒ‘ œ†”—ā‡‹ ˜‡”‘˜ƒ–‘•‹ •‹•–‡ ‘‰—©‘•–‹ ሺ ൈ ǡ ሻ ‘‡ Œ‡ ƒ•‘…‹”ƒ ’ƒ” •Ž—«ƒŒ‹Š ˜‡Ž‹«‹ƒ ǡ  ‫ א‬Ǥ ƒ”‰‹ƒŽ‹ •‹•–‡‹ ሺǡ ଡ଼ ሻ ‹ ሺǡ ଢ଼ ሻ •— ‹†—‘˜ƒ‹ƒ”‰‹ƒŽ‹”ƒ•’‘†‡Žƒƒ˜‡”‘˜ƒ–‘©ƒǣ ‫ܺ݌‬ሺ‫ݔ‬ሻ ൌ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻǡ ‫ܻ݌‬ሺ‫ݕ‬ሻ ൌ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻǤ ௬

௫

œƒ«‹‘•ƒଡ଼ ȉ ଢ଼ ”ƒ•’‘†‡Ž—˜‡”‘˜ƒ–‘©ƒ‫ܺ݌‬ሺ‫ݔ‬ሻ ȉ ‫ܻ݌‬ሺ‫ݕ‬ሻǤƒ†ƒ˜ƒā‹ǣ ‫ܫ‬ሺܺǢ ܻሻ ൌ ‫ܫ‬ሺܻǢ ܺሻ ൌ ‫ܭ‬ሺܲǡ ܲ௑ ȉ ܲ௒ ሻ ‫ܫ‬ሺܺǢ ܻሻ ൌ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ݅ሺ‫ݕ‬Ǣ ܺሻ ൌ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ൫‫ܪ‬ሺܺሻ െ ‫ܪ‬ሺܺȁ‫ݕ‬ሻ൯ ൌ ‫ܪ‬ሺܺሻ െ ‫ܪ‬ሺܺȁܻሻǤ ௬

௬

‘—‰‘”Œ‹‹œ”ƒœœƒ‡‹‘˜”‡†‘•–‹‫ܪ‬ሺܺሻ‹‫ܪ‬ሺܺȁܻሻ†‘„‹Œƒ‘ǣ ‫ܫ‬ሺܺǢ ܻሻ ൌ ෍ ‫ܺ݌‬ሺ‫ݔ‬ሻ Ž‘‰ ‫ܺ݌‬ሺ‫ݔ‬ሻ ൅ ෍ ‫ܻ݌‬ሺ‫ݕ‬ሻ ‫ܺ݌‬ȁܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ Ž‘‰ ‫ܺ݌‬ȁܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ ௫

௫ǡ௬

ൌ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻሺŽ‘‰ ௫ǡ௬

ൌ ෍ ‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ Ž‘‰ ௫ǡ௬

‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ െ Ž‘‰ ‫ܺ݌‬ሺ‫ݔ‬ሻ ‫ܻ݌‬ሺ‫ݕ‬ሻ

‫ܺ݌‬ǡ ܻሺ‫ݔ‬ǡ ‫ݕ‬ሻ Ǥ ‫ܺ݌‬ሺ‫ݔ‬ሻ‫ܻ݌‬ሺ‫ݕ‬ሻ

ƒ‘•‘˜—‘˜‹Š—˜‹†ƒƒŒ‡Œƒ•‘†ƒ—œƒŒƒƒ‹ˆ‘”ƒ…‹Œƒ‫ܫ‬ሺܺǢ ܻሻ‡”‹•–‡’‡ †‹˜‡”‰‡…‹Œ‡ œ†”—ā‡‡ ”ƒ•’‘†‡Ž‡ ˜‡”‘˜ƒ–‘©‡ ’ƒ”ƒ ሺܺǡ ܻሻ ‘† ”ƒ•’‘†‡Ž‡ ˜‡”‘˜ƒ–‘©‡‘˜‘‰’ƒ”ƒ—•Ž—«ƒŒ—Œ‹Š‘˜‡‡œƒ˜‹•‘•–‹Ǥ –‘‰ƒ •‡ «‡•–‘ •ƒ ‘’”ƒ˜†ƒŒ‡ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ —œ‹ƒ ƒ‘ ‡”ƒ ‡¯—œƒ˜‹•‘•–‹†˜‡•Ž—«ƒŒ‡˜‡Ž‹«‹‡‘Œ‡—œ‹ƒŒ—˜”‡†‘•–‹ƒ†‹•–‹•—’‘Ǥ

52

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ͵Ǥ e ,     Ž‘† e‡‘ ȋClaude E. ShannonȌ Œ‡ — ”ƒ†— ȋͳͻͶͺȌ ˆ‘”—Ž‹•ƒ‘ –‡‘”‹Œ— œƒ ‘’”‡•‹Œ— ’‘†ƒ–ƒƒǤ e‡‘ Œ‡ —–˜”†‹‘ †ƒ ’‘•–‘Œ‹ ˆ—†ƒ‡–ƒŽ‹ Ž‹‹– œƒ ‘’”‡•‹Œ— ’‘†ƒ–ƒƒ „‡œ ‰—„‹–ƒƒǤ ˜‘ ‘‰”ƒ‹«‡Œ‡ •‡ ƒœ‹˜ƒ •–‘’ƒ ‡–”‘’‹Œ‡ ‹ ‘œƒ«ƒ˜ƒ•ƒ‫ܪ‬Ǥƒ«ƒ˜”‡†‘•–‡–”‘’‹Œ‡œƒ˜‹•‹‘†‹œ˜‘”ƒ‹ˆ‘”ƒ…‹Œƒǡ–ƒ«‹Œ‡ǡ‘† •–ƒ–‹•–‹«‡ ’”‹”‘†‡ ‹œ˜‘”ƒǤ e‡‘ –˜”†‹ †ƒ Œ‡ ‘‰—©‡ ‘’”‡•‘˜ƒ–‹ ’‘”—‡ ƒ ‹œ˜‘”—„‡œ‰—„‹–ƒƒǡ—œ•–‡’‡‘’”‡•‹Œ‡„Ž‹œ—‫‡©—‰‘‡‹«‹–ƒ‡–ƒ‡Œƒ†‹ܪ‬ —”ƒ†‹–‹„‘ŽŒ‡‘†‫ܪ‬Ǥ ‘…‡’– ‹ƒ ‘‰‘ ’”‹‡ƒ — –‡‘”‹Œ‹ ‹ˆ‘”ƒ…‹Œƒ ‹ ‘—‹ƒ…‹Œƒǡ ƒ e‡‘ ‰ƒ Œ‡ ’”‹‡‹‘ ‹ †ƒ „‹ ‹œ”ƒœ‹‘ ‘Ž‹«‹— ƒ–—‡Ž‹Š ‹ˆ‘”ƒ…‹Œƒ — ‡‰Ž‡•‘ –‡•–—ǡ ”‡«‹ƒǣDz–”‘’‹ŒƒŒ‡•–ƒ–‹•–‹«‹’ƒ”ƒ‡–ƒ”‘Œ‹‡”‹—‘†”‡¯‡‘•‹•Ž—ǡ‘Ž‹‘ •‡‘‰‘‹ˆ‘”ƒ…‹Œƒ’”‘‹œ˜‘†‹—’”‘•‡—œƒ•˜ƒ‘•Ž‘˜‘–‡•–ƒ—Œ‡œ‹—Ǥ‘•‡ Œ‡œ‹ ’”‡˜‡†‡ — „‹ƒ”‡ †‹‰‹–ƒŽ‡ œƒ‘˜‡Ǧ„‹–‘˜‡ ȋͲ ‹Ž‹ ͳȌ — ƒŒ‡ˆ‹ƒ•‹Œ‡ •Ž—«ƒŒ—ǡ ‡–”‘’‹Œƒ‫‰‘Žƒ‹‰‹”‘ —˜‘Ž• ‘’ ƒ˜‡–Šƒœ ‡• ‹Œ‘ ƒ–‹„ Œ‘”„ ‹Œ†‡”• ‡Œܪ‬ Œ‡œ‹ƒǤdz ƒ‘¯‡ǡe‡‘Œ‡”ƒœ˜‹‘–‡‘”‹Œ—‘‰—„‹…‹ƒ’”‹Ž‹‘‘’”‡•‹Œ‡’‘†ƒ–ƒƒǤ˜‘Œ‡ ˜‹æ‡ ’‘œƒ–‘ ƒ‘ •–‘’ƒ †‹•–‘”œ‹Œ‡ — –‡‘”‹Œ‹Ǥ  ‘’”‡•‹Œ‹ •ƒ ‰—„‹…‹ƒǡ †‡‘’”‡•‘˜ƒ‹ ’‘†ƒ…‹ ‡ ‘”ƒŒ— „‹–‹ ‹•–‹ ƒ‘ ‘”‹‰‹ƒŽ‹ ’‘†ƒ…‹Ǥ ‡•–‘ –‘‰ƒǡ ‡ƒ˜”‡†‘•–†‹•–‘”œ‹Œ‡‫ܦ‬ǡ‘ā‡†ƒ•‡–‘Ž‡”‹æ‡Ǥe‡‘Œ‡’‘ƒœƒ‘†ƒœƒ‘†”‡¯‡‹ ‹œ˜‘” •ƒ ’‘œƒ–‹ •–ƒ–‹•–‹«‹ ‘•‘„‹ƒƒ ‹ †ƒ–‘ ‡”‘ †‹•–‘”œ‹Œ‡ǡ ’‘•–‘Œ‹ ˆ—…‹Œƒܴሺ‫ܦ‬ሻ‘Œƒ•‡ƒœ‹˜ƒˆ—…‹Œƒœƒ•–‘’—†‹•–‘”œ‹Œ‡Ǥ‡‘”‹Œƒƒā‡†ƒƒ‘Œ‡‫ܦ‬ –‘Ž‡”ƒ–ƒ‘Ž‹«‹ƒ†‹•–‘”œ‹Œ‡ǡ‘†ƒŒ‡ܴሺ‫ܦ‬ሻƒŒ„‘ŽŒ‹•–‡’‡‘’”‡•‹Œ‡Ǥ ƒ†ƒ •‡ ”ƒ†‹ ‘ ‘’”‡•‹Œ‹ „‡œ ‰—„‹–ƒƒ ȋ–ŒǤ „‡œ †‹•–‘”œ‹Œ‡ ‹Ž‹‫ ܦ‬ൌ ͲȌǡ ƒŒ„‘ŽŒ‹ ‘‰—©‹ •–‡’‡ ‘’”‡•‹Œ‡ Œ‡ܴሺͲሻ ൌ ‫ܪ‬ȋ‘†‘•‹ •‡ ƒ ƒŽˆƒ„‡–ǡ ƒ‘ ‘ƒ«‹ ‹œ˜‘” ’‘”—ƒȌǤ”—‰‹”‡«‹ƒǡƒŒ„‘ŽŒƒ‘‰—©ƒ•–‘’ƒ‘’”‡•‹Œ‡„‡œ‰—„‹–ƒƒŒ‡•–‘’ƒ ‡–”‘’‹Œ‡‫ܪ‬Ǥ ‡‘”‹Œƒ‘‘’”‡•‹Œ‹’‘†ƒ–ƒƒ„‡œ‰—„‹–ƒƒ‹•–‘’ƒ†‹•–‘”œ‹Œ‡œƒŒ‡†‘«‹‡–‡‘”‹Œ— ‘ ‘†‘˜ƒŒ— ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒǤ ‡‘”‹Œƒ ‘ ‘†‘˜ƒŒ— ‹œ˜‘”ƒ ’‘•–ƒ˜ŽŒƒ ˆ—†ƒ‡–ƒŽƒ ‘‰”ƒ‹«‡Œƒ ƒ ’‡”ˆ‘”ƒ•‡ •˜‹Š ƒŽ‰‘”‹–ƒƒ œƒ ‘’”‡•‹Œ— ’‘†ƒ–ƒƒǤ ‡‘”‹Œƒǡ •ƒƒ ’‘ •‡„‹ ‡ †‡ˆ‹‹æ‡ ƒ‘ †‡ •‡ †‹œƒŒ‹”ƒŒ— ‹ •’”‘˜‡†— — †‡Ž‘ ‘˜‹ ƒŽ‰‘”‹–‹Ǥ  ‡¯—–‹ǡ †ƒŒ‡ ‡‡ •ƒ˜‡–‡ ‹ •‡”‹…‡ œƒ ’‘•–‹œƒŒ‡ 53

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘’–‹ƒŽ‹Š ’‡”ˆ‘”ƒ•‹Ǥ  ƒ•–ƒ˜— ’‘‰Žƒ˜ŽŒƒ ƒƒŽ‹œ‹”ƒ©‡‘ ƒ‘ Œ‡ e‡‘ ‘†‡Ž‘˜ƒ‘ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒ — ’‘‰Ž‡†— •Ž—«ƒŒ‘‰ ’”‘…‡•ƒ ‹ Œ‡‰‘˜— –‡‘”‡— œƒ ‘†‘˜ƒŒ‡‹œ˜‘”ƒ„‡œ‰—„‹–ƒƒǤ ʹǤ͵ǤͳǤ    ƒ‹•Ž‹‘†ƒ‘†‡‘—„‹„Ž‹‘–‡—̶ƒœ‘̶Ǥƒ„‹„Ž‹‘–‡ƒ‹ƒ˜‡Ž‹‹‹œ„‘”Œ‹‰ƒǡ ‡‰†‡ ‘‘ ͷͲ ‹Ž‹‘ƒ Œ‹‰ƒǤ ˜ƒƒ Œ‹‰ƒ ‹ƒ — ’”‘•‡— ͷͲ ‹Ž‹‘ƒ œƒ‘˜ƒ ȋ•Ž‘˜ƒȌǤ œƒ„”ƒ©‡‘Œ‡†—Œ‹‰—ƒ•Ž—«ƒŒƒƒ«‹Ǥ–‘‘‡–—–ƒŒ‹‰ƒŒ‡ ‘’”‡•‘˜ƒ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” — ‡‘   ˆ‘”ƒ–—ǡ †ƒ „‹•‘ Œ‹‰— ’”‡‡Ž‹ †‘ —©‡ ƒ †‹•— ‹Ž‹ ’”‡‘ –‡”‡–ƒǤ ƒ–‡ƒ–‹«‹ǡ Œ‹‰— ‘Œ— ‹œƒ„‡”‡‘ ‘œƒ«ƒ˜ƒ‘ƒ•Ž‡†‡©‹ƒ«‹ǣ

X

{ X 1 , X 2 , X 3 ,...}. 

‰†‡ X ’”‡†•–ƒ˜ŽŒƒ…‡Ž—Œ‹‰—ǡ’”˜‹œƒ—Œ‹œ‹Œ‡ X 1 ǡ†”—‰‹œƒ—Œ‹œ‹Œ‡ X 2  ‹ –ƒ‘ ”‡†‘Ǥ ƒ†ƒ ©‡‘ †ƒ †‡ˆ‹‹æ‡‘ ‘ƒ«ƒ •—’ •‹„‘Žƒ ‹Ž‹ ’‘”—ƒ A  ȋƒŽˆƒ„‡–Ȍ‘Œ‡‰‡‡”‹æ‡Œ‹‰ƒƒ‘‹ˆ‘”ƒ…‹‘‹‹œ˜‘”Ǥ ‫ ܣ‬ൌ ሼܽǡ ܾǡ ܿǡ ݀ǡ ݁ǡ ݂ǡ ݃ǡ ݄ǡ ݅ǡ ݆ǡ ݇ǡ ݈ǡ ݉ǡ ݊ǡ ‫݋‬ǡ ‫݌‬ǡ ‫ݍ‬ǡ ‫ݎ‬ǡ ‫ݏ‬ǡ ‫ݐ‬ǡ ‫ݑ‬ǡ ‫ݓ‬ǡ ‫ݔ‬ǡ ‫ݕ‬ǡ ‫ݖ‬ǡ ‫݇ܽ݉ݖܽݎ‬ሽ –ƒ˜‹©‡‘•ƒ†ƒƒ•——Ž‘‰—‡‘‰‹ā‡Œ‡”ƒ‘Œ‹–”‡„ƒ†ƒ†‹œƒŒ‹”ƒƒŽ‰‘”‹–ƒœƒ ‘’”‡•‹Œ— ‹œƒ„”ƒ‡ Œ‹‰‡Ǥ œ ƒæ‡ ’‡”•’‡–‹˜‡ǡ ƒ”ƒ–‡”‹ — Œ‹œ‹ •— •Ž—«ƒŒ‡ ’”‘‡ŽŒ‹˜‡‘Œ‡—œ‹ƒŒ—˜”‡†‘•–‹‹œƒŽˆƒ„‡–ƒ A Ǥ‡ŽƒŒ‹‰ƒŒ‡„‡•‘ƒ«ƒ‹œ •Ž—«ƒŒ‹Š ’”‘‡ŽŒ‹˜‹Š ȋ•Ž—«ƒŒƒ ’”‘…‡•ȌǤ ‘•–‘Œ‹ ‡‘Ž‹‘ ƒ«‹ƒ ƒ‘ ‘ā‡‘ ‘†‡Ž‘˜ƒ–‹•–ƒ–‹•–‹«‡‘•‘„‹‡Œ‹‰‡Ǥ ʹǤ͵ǤʹǤ e     ‘†‡Žƒ’”‘•‹ƒ…‹Œ‡—Ž–‘‰”‡†ƒǦ˜ƒ‹ƒ”ƒ–‡”Œ‡•–ƒ–‹•–‹«‹‡œƒ˜‹•–ƒ‘†•˜‹Š †”—‰‹Šƒ”ƒ–‡”ƒ‹˜‡”‘˜ƒ–‘©‡•˜‹Šʹ͹ƒ”ƒ–‡”ƒ•—Œ‡†ƒ‡Ǥ‘Œ‡‘˜ƒŒ‘†‡Ž –ƒ«ƒǡ‘†ƒ„‹‹œƒ”ƒ–‡”ƒ‹œ‘˜‡Œ‹‰‡‹œ‰Ž‡†ƒ‘‘˜ƒ‘ȋ•˜‹’”‹‡”‹•—’”‡—œ‡–‹ ‹œ”ƒ†ƒȋŠƒ‘ǡͳͻͶͺȌȌǣ xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd

54

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘„‹Œ‡‹–‡•–‹Œ‡’”‘‹œ˜‘†Œ‡†‘‰‹–‡Ž‹‰‡–‘‰„‹©ƒǤ‡œ—Ž–ƒ–˜‹æ‡†‡Ž—Œ‡ƒ‘ ’‘•Ž‡†‹…ƒƒ•—‹«‘‰—†ƒ”ƒŒƒ’‘–ƒ•–ƒ–—”‹Ǥ ‘†‡Ž ƒ’”‘•‹ƒ…‹Œ‡ ’”˜‘‰ ”‡†ƒ Ǧ ’‘œƒ–‘ Œ‡ †ƒ •‡ — ’”‹”‘†‹ Œ‡œ‹…‹ƒ ‡ƒ •Ž‘˜ƒ Œƒ˜ŽŒƒŒ— «‡æ©‡ ‘† †”—‰‹ŠǤ ƒ ’”‹‡”ǡ — ‡‰Ž‡•‘ Œ‡œ‹— •Ž‘˜ƒ ǷƒDz ‹ Ƿ‡Dz •— «‡æ©‹‡‰‘ǷDz‹ǷœDzǤƒŽ‡ǡ—‘˜‘‘†‡Ž—ǡƒ”ƒ–‡”‹•—‹†ƒŽŒ‡‡œƒ˜‹•‹Œ‡†ƒ‘† †”—‰‘‰ǡ ƒŽ‹ ’‘•–‘Œ‹ ˜‡”‘˜ƒ–‘©ƒ †‹•–”‹„—…‹Œ‡ ƒ”ƒ–‡”ƒ ‘Œƒ ‘†‰‘˜ƒ”ƒ Œ‡†‘ Œ‡œ‹—Ǥ‹’‹«ƒ–‡•–œƒ‘˜ƒŒ‘†‡Ž‹œ‰Ž‡†ƒ‘˜ƒ‘ǣ ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl ‘†‡Ž ƒ’”‘•‹ƒ…‹Œ‡ †”—‰‘‰ ”‡†ƒ Ǧ ‘† ’”‡–Š‘†ƒ †˜ƒ ‘†‡Žƒ ’”‡–’‘•–ƒ˜ŽŒƒ •‡ •–ƒ–‹•–‹«ƒ‡œƒ˜‹•‘•–‘†Œ‡†‘‰†‘•Ž‡†‡©‡‰ƒ”ƒ–‡”ƒǤ‹•–”‹„—…‹Œƒƒ”ƒ–‡”ƒ‡ ‘†”ƒāƒ˜ƒ—’‘–’—‘•–‹•–”—–—”—Œ‡œ‹ƒǤƒ†”—‰‡•–”ƒ‡ǡ’‘•–‘Œ‡ƒ”ƒ–‡”‹‘Œ‹•‡ «‡æ©‡ƒŽƒœ‡—œ‡‡ƒ”ƒ–‡”‡Ǥ˜‘œƒ«‹†ƒ’‘•–‘Œ‹œƒ˜‹•‘•–‹œ‡¯—ƒ”ƒ–‡”ƒǤ ‘˜‘‘†‡Ž—ǡ•ƒ†ƒæŒ‹ƒ”ƒ–‡”œƒ˜‹•‹‘†’”‡–Š‘†‘‰ƒ”ƒ–‡”ƒǡƒŽ‹Œ‡—•Ž‘˜‘ ‡œƒ˜‹•ƒ ‘† •˜‹Š ’”‡–Š‘†‹Š ƒ”ƒ–‡”ƒǤ ƒ ’”‹‡”ǡ •Ž‘˜‘ Ƿ—̶ •‡ ”‡–‘ Œƒ˜ŽŒƒ ȋ˜‡”‘˜ƒ–‘©ƒ α ͲǤͲʹʹȌǤ ‡¯—–‹ǡ ‘„œ‹”‘ †ƒ Œ‡ ’”‡–Š‘†‹ ƒ”ƒ–‡” Ƿ“̶ǡ ˜‡”‘˜ƒ–‘©ƒ ƒ”ƒ–‡”ƒ Ƿƒ̶ Œ‡ •ƒ†ƒ ‘‰‘ ˜‡©ƒ ȋ˜‡”‘˜ƒ–‘©ƒ α ͲǤͻͻͷȌǤ ‹’‹«ƒ ’”‹‡”œƒ‘˜ƒŒ‘†‡Ž©‡‹œ‰Ž‡†ƒ–‹‘˜ƒ‘ǣ on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at teasonare fuso tizin andy tobe seace ctisbe ‘†‡Ž ƒ’”‘•‹ƒ…‹Œ‡ –”‡©‡‰ ”‡†ƒ Ǧ –”‡©‹ ‘†‡Ž Œ‡ ƒ•–ƒ˜ƒ †”—‰‘‰ ‘†‡Žƒ ƒ’”‘•‹ƒ…‹Œ‡Ǥ ˜†‡ ƒ”ƒ–‡” œƒ˜‹•‹ ‘† ’”‡–Š‘†ƒ †˜ƒ ƒ”ƒ–‡”ƒǡ ƒŽ‹ Œ‡ —•Ž‘˜‘ ‡œƒ˜‹•ƒ ‘† •˜‹Š ’”‡–Š‘†‹Š ƒ”ƒ–‡”ƒǤ  ‘˜‘ ‘†‡Ž—ǡ †‹•–”‹„—…‹Œƒ ˜ƒ”‹”ƒ ‘† –‘‰ƒ斃’”‡†•–ƒ˜ŽŒƒŒ—Ǥ‹’‹«ƒ–‡•–œƒ‘˜ƒŒ‘†‡Ž©‡‹œ‰Ž‡†ƒ–‹‘˜ƒ‘ǣ in no ist lat whey cratict froure birs grocid pondenome of demonstures of the reptagin is regoactiona of cre ƒ†ƒ Œ‡ •Ž‹«‘•– •ƒ ‘„‹«‹ ‡‰Ž‡•‹ –‡•–‘ ’‘’”‹Ž‹«‘ —‘«ŽŒ‹˜ƒ ƒ •˜ƒ‘ ‘† ƒ˜‡†‡‹Š‘”ƒƒǤ ’æ–‹ ‘†‡Ž ƒ’”‘•‹ƒ…‹Œ‡ -  ‘˜‘ ‘†‡Ž—ǡ Œ‹‰ƒ Œ‡ ’”‘‹œ˜‘ŽŒ‹ •–ƒ…‹‘ƒ”‹ •Ž—«ƒŒ‹’”‘…‡•Ǥ–ƒ–‹•–‹«‡‘•‘„‹‡‘˜‘‰‘†‡Žƒ•—’”‡˜‹æ‡‘’Ž‡•‡†ƒ„‹•‡ ”ƒœƒ–”ƒŽ‘’”ƒ–‹«‘Ǥ˜ƒŒ‘†‡ŽŒ‡‹–‡”‡•ƒ–ƒ•ƒ‘•ƒ–‡‘”‹Œ•‘‰•–ƒ‘˜‹æ–ƒǤ 55

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ͵Ǥ͵Ǥ      –”‘’‹Œƒ ‹œ˜‘”ƒ Œ‡ „”‘Œ ‘Œ‹ œƒ˜‹•‹ •ƒ‘ ‘† •–ƒ–‹•–‹«‡ ’”‹”‘†‡ ‹œ˜‘”ƒǤ ‘ ‹œ˜‘” ‹ƒ Œ‡†‘•–ƒ˜ƒ ‘†‡Žǡ ‘†ƒ •‡ ‘˜ƒŒ „”‘Œ ‘ā‡ Žƒ‘ ‹œ”ƒ«—ƒ–‹Ǥ Ž‡†‹ Œ‡†ƒ ’”‘‹œ˜‘ŽŒƒ‹œ˜‘”ǣ ܺ ൌ ሼܺଵ ǡ ܺଶ ǡ ܺଷ ǡ ǥ ሽǡ «‹Œ‡©‡•‡˜”‡†‘•–‹‘†‘•‹–‹ƒ‡‰Ž‡•‹Œ‡œ‹Ǥ ‘†‡Žƒ’”‘•‹ƒ…‹Œ‡—Ž–‘‰”‡†ƒǦƒ”ƒ–‡”‹•—•–ƒ–‹•–‹«‹‡œƒ˜‹•‹ǡ•˜ƒ‘•Ž‘˜‘ ƒŽˆƒ„‡–ƒ’‘†Œ‡†ƒ‘˜‡”‘˜ƒ–‘‘ā‡†‘©‹—‘„œ‹”Ǥ‡ƒ„—†‡˜‡Ž‹«‹ƒƒŽˆƒ„‡–ƒǤ ‘˜‘•Ž—«ƒŒ—ǡ‡–”‘’‹Œƒ‹œ˜‘”Œ‡‘†”‡¯‡ƒ•ƒ‹œ”ƒœ‘ǣ ‫ ܪ‬ൌ Ž‘‰ ʹ݉ǡ „‹–‘˜ƒ’‘ƒ”ƒ–‡”—Ǥƒ‡‰Ž‡•‹–‡•–ǡ˜‡Ž‹«‹ƒƒŽˆƒ„‡–ƒ݉ ൌ ʹ͹ǤƒŽ‡ǡƒ‘Œ‡‘˜‘ „‹‘’”‡…‹œƒ‘†‡Žœƒ‡‰Ž‡•‹Œ‡œ‹ǡ‘†ƒ‡–”‘’‹Œƒ‹œ˜‘”ƒŒ‡‫ ܪ‬ൌ ͶǤ͹ͷ„‹–‘˜ƒ’‘ ƒ”ƒ–‡”—Ǥ ‘†‡Žƒ’”‘•‹ƒ…‹Œ‡’”˜‘‰”‡†ƒǦƒ”ƒ–‡”‹•—•–ƒ–‹•–‹«‹‡œƒ˜‹•‹ǡ——’ƒ„”‘Œ ƒ”ƒ–‡”ƒ ‘†‰‘˜ƒ”ƒ ˜‡Ž‹«‹‹ ƒŽˆƒ„‡–ƒ ‹ ˜‡”‘˜ƒ–‘©ƒ •˜ƒ‘‰ iǦ–‘‰ ƒ”ƒ–‡”ƒ Œ‡ ’‘œƒ–ƒǤ–”‘’‹Œƒ‹œ˜‘”ƒ—–‘•Ž—«ƒŒ—Œ‡ǣ ௠

‫ ܪ‬ൌ ෍ ‫݌‬௜ Ž‘‰ ʹ‫݌‬௜ Ǥ ௜ୀଵ

‘”‹•–‡©‹ƒ’”‘•‹ƒ…‹Œ—’”˜‘‰”‡†ƒǡ‡–”‘’‹Œƒ‡‰Ž‡•‘‰–‡•–ƒŒ‡ͶǤͲ͹„‹–‘˜ƒ’‘ ƒ”ƒ–‡”—ǡƒ‘„‹‘˜‘„‹‘‘†‰‘˜ƒ”ƒŒ—©‹‘†‡Ž‹œ˜‘”ƒǤ ‘†‡Žƒ’”‘•‹ƒ…‹Œ‡†”—‰‘‰”‡†ƒǦܲ௝ȁ௜ ‡ƒ„—†‡—•Ž‘˜ƒ˜‡”‘˜ƒ–‘©ƒ•ƒ†ƒæŒ‡‰ ƒ”ƒ–‡”ƒ݆ǡ„—†—©‹†ƒŒ‡’‘œƒ–’”‡–Š‘†‹ƒ”ƒ–‡”݅Ǥ–”‘’‹ŒƒŒ‡ǣ ௠

௠

‫ ܪ‬ൌ ෍ ܲ௜ ෍ ܲ௜ȁ௝ Ž‘‰ ʹܲ௜ȁ௝ ǡ ௜ୀଵ

௝ୀଵ

‘”‹•–‡©‹ ƒ’”‘•‹ƒ…‹Œ— ‘†‡Žƒ †”—‰‘‰ ”‡†ƒǡ ‡–”‘’‹Œƒ ‡‰Ž‡•‘‰ –‡•–ƒ ©‡ „‹–‹ ͵Ǥ͵͸„‹–ƒ’‘ƒ”ƒ–‡”—ǡ’‘†—•Ž‘˜‘†ƒŒ‡‘†‡Ž‹•’”ƒ˜ƒǤ 56

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘†‡Žƒ’”‘•‹ƒ…‹Œ‡–”‡©‡‰”‡†ƒ -ܲ௞ȁ௜ǡ௝ ‡ƒ„—†‡—•Ž‘˜ƒ˜‡”‘˜ƒ–‘©ƒ•ƒ†ƒæŒ‡‰ ƒ”ƒ–‡”ƒ݇ǡ„—†—©‹†ƒ•—’‘œƒ–ƒ’”‡–Š‘†ƒ†˜ƒƒ”ƒ–‡”ƒ݅ǡ ݆Ǥ–”‘’‹ŒƒŒ‡ǣ ௠

௠

௠

‫ ܪ‬ൌ ෍ ܲ௜ ෍ ܲ௝ȁ௜ ෍ ܲ௞ȁ௝ǡ௜ Ž‘‰ ʹܲ௞ȁ௝ǡ௜ ǡ ௜ୀଵ

௝ୀଵ

௞ୀଵ

’æ–‹ ‘†‡Ž ƒ’”‘•‹ƒ…‹Œ‡ - ‫ܤ‬௡ ’”‡†•–ƒ˜ŽŒƒ ’”˜‹݊ƒ”ƒ–‡”Ǥ –”‘’‹Œƒ — ‘’æ–‡ •Ž—«ƒŒ—†ƒ–ƒǣ ͳ ‫ ܪ‬ൌ Ž‹ ෍ ‫݌‬ሺ‫ܤ‬௡ Ž‘‰ ʹ‫݌‬ሺ‫ܤ‬௡ ሻሻ ௫՜ ݊ ‰†‡Œ‡•—ƒ˜‡©ƒ‘†݉௡ ‘‰—©‹Š˜”‡†‘•–‹‫ܤ‬௡ Ǥ”ƒ–‹«‘Œ‡‡‘‰—©‡‹œ”ƒ«—ƒ–‹ ‡–”‘’‹Œ—•ƒ‰‘”‡ƒ˜‡†‡‘ˆ—…‹Œ‘Ǥ‘”‹•–‡©‹‡–‘†‹–—‹–‹˜‘‰ǡe‡‘Œ‡„‹‘ —•–ƒŒ—†ƒ’”‘…‡‹‡–”‘’‹Œ—œƒʹ͹ƒ”ƒ–‡”ƒ‡‰Ž‡•‘‰ƒŽˆƒ„‡–ƒǡ‰†‡Œ‡‡–”‘’‹Œƒ ’‘ Œ‡†‘ ƒ”ƒ–‡”— ʹǤ͵ „‹–ƒǤ ‹æ‡ †‡–ƒŽŒƒ ‘ ‘˜‘‡ǡ ‘‰—©‡ Œ‡ ’”‘ƒ©‹ — e‡‘‘˜‘œ„‘”‹—Ǥ ʹǤ͵ǤͶǤ e    e‡‘‘˜ƒ –‡‘”‡ƒ œƒ ‘†‘˜ƒŒ‡ ‹œ˜‘”ƒ œƒ•‹˜ƒ •‡ ƒ ‘…‡’–— „Ž‘‘˜•‘‰ ‘†‘˜ƒŒƒǤ ƒ „‹ ‹Ž—•–”‘˜ƒŽ‹ ‘˜ƒŒ ‘…‡’–ǡ —˜‘†‹‘ ’‘•‡„ƒ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒ — ‘Œ‡•‡ƒŽˆƒ„‡–•ƒ•–‘Œ‹•ƒ‘‘††˜ƒ•Ž‘˜ƒǣ ‫ ܣ‬ൌ ሼܽǡ ܾሽ Ž‘ ‘† œƒ ƒ’”‘•‹ƒ…‹Œ— —Ž–‘‰  ”‡†ƒ Ȃ — ‘˜‘ ‘†‡Ž— •˜ƒ‹ ƒ”ƒ–‡” Œ‡ ƒ’‹”ƒ—Œ‡†ƒ„‹–Ǥ ࡮૚

࢖ሺ࡮૚ ሻ ‘†ƒ”‡«

ƒ

0.5

0

„

0.5

1

αͳ„‹–

57

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 PRIMER ”‹‰‹ƒŽ‹

a a a a a a a a a a b b b b b a a a a a

’‘†ƒ…‹ ‘’”‡•‘˜ ƒ‹

0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0

’‘†ƒ…‹   ‘˜‘ •Ž—«ƒŒ— ‘”‹•–‹Ž‹ •‘ ʹͲ „‹–‘˜ƒ œƒ ’”‡†•–ƒ˜ŽŒƒŒ‡ ʹͲ ƒ”ƒ–‡”ƒǤ ”‘•‡«‹ „”‘Œ„‹–‘˜ƒ’‘Œ‡†‘ƒ”ƒ–‡”—Œ‡ͳ„‹–Ǥ Ž‘ ‘† ƒ’”‘•‹ƒ…‹Œƒ †”—‰‘‰ ”‡†ƒ Ȃ — ‘˜‘ ‘†‡Ž— •˜ƒ‹ ƒ”ƒ–‡” ‘ā‡ †ƒ „—†‡’”‡†•–ƒ˜ŽŒ‡•ƒŒ‡†‹ǡ†˜ƒ‹Ž‹–”‹„‹–ƒǤ ࡮૛

࢖ሺ࡮૛ ሻ ‘†ƒ”‡«

ƒƒ

0.45

Ͳ

„„

0.45

ͳͲ

ƒ„

0.05

ͳͳͲ

„ƒ

0.05

ͳͳͳ

αͲǤ͹ͳ„‹–‘˜ƒ PRIMER

58

”‹‰‹ƒŽ‹’‘†ƒ…‹

aa

aa

aa

aa

aa

bb

bb

ba

aa

aa

‘’”‡•‘˜ƒ‹’‘†ƒ…‹

0

0

0

0

0

10

10

111

0

0

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ‘˜‘ •Ž—«ƒŒ— ‘”‹•–‹Ž‹ •‘ ͳͶ „‹–‘˜ƒ œƒ ’”‡†•–ƒ˜ŽŒƒŒ‡ ʹͲ ƒ”ƒ–‡”ƒǤ ”‘•‡«‹ „”‘Œ„‹–‘˜ƒ’‘Œ‡†‘ƒ”ƒ–‡”—Œ‡ͲǤ͹„‹–ƒǤ Ž‘‘†ƒ’”‘•‹ƒ…‹Œƒ–”‡©‡‰”‡†ƒ Ȃ’‘–”‹ƒ”ƒ–‡”ƒ•—’”‡†•–ƒ˜ŽŒ‡ƒ„‹ƒ”‘ •‡˜‡…‘†—ā‹‡‘†Œ‡†‘‰†‘懕–„‹–‘˜ƒǤ ࡮૜

࢖ሺ࡮૜ ሻ ‘†ƒ”‡«

aaa

0.405

0

bbb

0.405

10

aab

0.045

1100

abb

0.045

1101

bba

0.045

1110

baa

0.045

11110

aba

0.005

111110

bab

0.005

111111

αͲǤͷͷ„‹–‘˜ƒ PRIMER ”‹‰‹ƒŽ‹ ’‘†ƒ…‹

aaa

aaa

aaa

abb

bbb

aaa

‘’”‡•‘˜ƒ‹ ’‘†ƒ…‹

0

0

0

1101

10

0

 ‘˜‘ •Ž—«ƒŒ— ‘”‹•–‹Ž‹ •‘ ͳͲ „‹–‘˜ƒ œƒ ’”‡†•–ƒ˜ŽŒƒŒ‡ ͳͺ ƒ”ƒ–‡”ƒǤ ”‘•‡«‹ „”‘Œ„‹–‘˜ƒ’‘Œ‡†‘ƒ”ƒ–‡”—Œ‡ͲǤͷͷ„‹–‘˜ƒǤ

59

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤͶǤ    VEŽBA 1. ‡”‡Œ‡‘Ž‹«‹‡‹ˆ‘”ƒ…‹Œ‡ǡ—˜‘†ƒƒ’‘‡ƒǣ ‘ Œ‡ ˜‡”‘˜ƒ–‘©ƒ ’‘”—‡ ˜‡©ƒǡ ’‘”—ƒ •ƒ†”ā‹ ƒŒ— ‘Ž‹«‹— ‹ˆ‘”ƒ…‹Œ‡ ‹ ‘„”—–‘Ǥ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡ ‹Ž‹ ‹ˆ‘”ƒ…‹‘‹ •ƒ†”āƒŒ ’‘”—‡‫‡Œ ƒ•‹‹ˆ‡†ݔ‬ Ž‘‰ƒ”‹–ƒ•‘ˆ—…‹Œ‘ǣ ‫ܫ‬௫ ൌ Ž‘‰ ʹ

ͳ ൌ െ Ž‘‰ ʹ‫݌‬௫ ǡ ‫݌‬௫

‰†‡Œ‡’୶ ˜‡”‘˜ƒ–‘©ƒ’‘”—‡‫ݔ‬Ǥ „œ‹”‘ †ƒ ‘”‹•–‹‘ Ž‘‰ƒ”‹–ƒ •ƒ ‘•‘˜‘ †˜ƒǡ –ƒ†ƒ •‡ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œƒ ‡”‹—„‹–‘˜‹ƒǤ ‡‹ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” ‰‡‡”‹æ‡ Ͷ ’‘”—‡ Œ‡†ƒ‡ ˜‡”‘˜ƒ–‘©‡ͳΤͶǤ †”‡†‹–‹ ‘Ž‹«‹—‹ˆ‘”ƒ…‹Œ‡•ƒ†”āƒ‡—•˜ƒ‘Œ’‘”—…‹‹——’—‘Ž‹«‹—‹ˆ‘”ƒ…‹Œ‡—‘˜‡ «‡–‹”‹’‘”—‡Ǥ ୑ αŽ‘‰ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ α ౦భ

౦మ

౦య

౦ర

αŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ α ర

ర

ర

ర

ൌ ʹ ൅ ʹ ൅ ʹ ൅ ʹ ൌ ͺܾ݅‫ܽݒ݋ݐ‬ ƒ†ƒǡ ƒ‘ ā‡Ž‹‘ †ƒ ‘†—Œ‡‘ „‹ƒ”‘ ‘˜‡ Ͷ ’‘”—‡ǡ ‘”‹•–‹ •‡ •Ž‡†‡©‹ „‹ƒ”‹ ‘†ȋ•˜ƒƒ’‘”—ƒŒ‡‘†‘˜ƒƒ•ƒ’‘ʹ„‹–ƒȌǣ Poruke ‘†‘˜‹ M1

60

ͲͲ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

M2

Ͳͳ

M3

ͳͲ

M4

ͳͳ

‡æ‡Œ‡œƒ†ƒ–ƒ’”‡‘ƒ–Žƒ„ǦƒǤ ‹œ•ƒ˜‡”‘˜ƒ–‘©ƒƒǣ εε’αȏͲǤʹͷǡͲǤʹͷǡͲǤʹͷǡͲǤʹͷȐǢ ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡—Œ‡†‘Œ’‘”—…‹ǣ εεǦŽ‘‰ʹȋ’ȋͳȌȌ ƒ•αʹ —’ƒ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡ǣ εεǦŽ‘‰ʹȋ’ȋͳȌȌǦŽ‘‰ʹȋ’ȋʹȌȌǦŽ‘‰ʹȋ’ȋ͵ȌȌǦŽ‘‰ʹȋ’ȋͶȌȌ ƒ•αͺ VEŽBA 2 –”‘’‹Œƒǡ—˜‘†ƒƒ’‘‡ƒǣ –”‘’‹Œƒ ƒ †ƒŒ‡ ’”‘•‡«— ‘Ž‹«‹— ‹ˆ‘”ƒ…‹Œ‡ œƒ Œ‡†ƒ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” ‹ †‡ˆ‹‹•ƒƒŒ‡‹œ”ƒœ‘ǡ ௅ିଵ

‫ ܪ‬ൌ െ ෍ ‫݌‬௜ Ž‘‰ ‫݌‬௜ǡ ௜ୀ଴

„‹–‘˜ƒ’‘Œ‡†‘Œ’‘”—…‹Ǥ

61

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡‹ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œ‡ ‰‡‡”‹æ‡ ͸ ’‘”—ƒ •ƒ •Ž‡†‡©‹ ˜‡”‘˜ƒ–‘©ƒǣ ‫݌‬ሼͳΤͶ ǡ ͳΤͶ ǡ ͳΤͺ ǡ ͳΤͺ ǡ ͳΤͺ ǡ ͳΤͺሽǤ †”‡†‹–‹ ’‘Œ‡†‹ƒ«‡ ‘Ž‹«‹‡ ‹ˆ‘”ƒ…‹Œ‡ — •˜ƒ‘Œ’‘”—…‹ǡ——’—‘Ž‹«‹—‹ˆ”‘ƒ…‹Œ‡‹‡–”‘’‹Œ—‹œ˜‘”ƒǤ ‘Œ‡†‹ƒ«‡ ‘Ž‹«‹‡ ‹ˆ‘”ƒ…‹Œ‡ •ƒ†”āƒ‡ — ’‘”—ƒƒ ‹ ——’ƒ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œ‡ǣ ୑ αŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ ΪŽ‘‰ ଶ భభ α ర

ర

ఴ

ఴ

ఴ

ఴ

ൌ ʹ ൅ ʹ ൅ ͵ ൅ ͵ ൅ ͵ ൅ ͵ ൌ ͳ͸ܾ݅‫ܽݒ݋ݐ‬ –”‘’‹Œƒ‹œ˜‘”ƒǣ ଵ

ଵ

ଵ

ଵ

ଵ

ଵ

ସ

ସ

଼

଼

଼

଼

୑ = െ Ž‘‰ ଶ భర െ Ž‘‰ ଶ భర െ  Ž‘‰ ଶ భఴ െ  Ž‘‰ ଶ భఴ െ  Ž‘‰ ଶ భఴ െ  Ž‘‰ ଶ భఴ= αǦͲǤʹͷŽ‘‰ ଶ ͲǤʹͷǦͲǤʹͷŽ‘‰ ଶ ͲǤʹͷǦͲǤͳʹͷŽ‘‰ ଶ ͲǤͳʹͷǦͲǤͳʹͷŽ‘‰ ଶ ͲǤͳʹͷǦ ͲǤͳʹͷŽ‘‰ ଶ ͲǤͳʹͷǦͲǤͳʹͷŽ‘‰ ଶ ͲǤͳʹͷǦα αͲǤͷΪͲǤͷΪͲǤ͵͹ͷΪͲǤ͵͹ͷΪͲǤ͵͹ͷΪͲǤ͵͹ͷαʹǤͷ„‹–ƒ ƒ†ƒǡ ƒ‘ ā‡Ž‹‘ †ƒ ‘†—Œ‡‘ „‹ƒ”‘ ‘˜‹Š ͸ ’‘”—ƒǡ ‘”‹•–‹ •‡ •Ž‡†‡©‹ „‹ƒ”‹ ‘† ȋ•˜ƒƒ ’‘”—ƒ Œ‡ ‘†‘˜ƒƒ •ƒ ’‘ ͵ „‹–ƒǤ ƒ•‹ƒŽƒ „”‘Œ ’‘”—ƒ ‘Œ‹ ‘ā‡‘†ƒ‘†—Œ‡‘•ƒ͵„‹–ƒŒ‡ͺǤ

62

Poruke

Kodovi

M1

ͲͲͲ

M2

ͲͲͳ

M3

ͲͳͲ

M4

Ͳͳͳ

M5

ͳͲͲ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳͲͳ

M6

‡†‘•–ƒ˜ƒ’”‹‡”‘†‘˜ƒŒƒǣ ‘”—ƒα‫ܯͳܯ‬Ͷ‫ܯ‬͸‫ʹܯ‬Ǣ ‘†‘˜ƒƒ’‘”—ƒαͲͲͲͲͳͳͳͲͳͲͲͳǢ ‡‘†‘˜ƒƒ’‘”—ƒα‫ܯͳܯ‬Ͷ‫ܯ‬͸‫ʹܯ‬Ǣ ‡æ‡Œ‡œƒ†ƒ–ƒ’”‡‘ƒ–Žƒ„ǦƒǤ ‹œ•ƒ˜‡”‘˜ƒ–‘©ƒƒǣ

εε’αȏͲǤʹͷǡͲǤʹͷǡͲǤͳʹͷǡͲǤͳʹͷǡͲǤͳʹͷǡͲǤͳʹͷȐǢ ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡—•˜ƒ‘Œ’‘”—…‹ǣ εεǦŽ‘‰ʹȋ’Ȍ ƒ•αʹʹ͵͵͵͵ —’ƒ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡ǣ εε•—ȋƒ•Ȍ ƒ•αͳ͸ –”‘’‹Œƒ‹œ˜‘”ƒǣ εεǦ•—ȋ’ǤȗŽ‘‰ʹȋ’Ϊȋ’ααͲȌȌȌ ƒ•αʹǤͷͲͲͲ

63

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

VEŽBA 3. –”‘’‹Œƒ„‹ƒ”‘‰‹œ˜‘”ƒǡ—˜‘†ƒƒ’‘‡ƒǣ ‘† „‹ƒ”‘‰ ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒǡ ‹œ˜‘” ‰‡‡”‹æ‡ •ƒ‘ †˜‡ ’‘”—‡ǡ –ƒ†ƒ ‡–”‘’‹Œƒ ‹œ˜‘”ƒ œƒ˜‹•‹ ‘† ˜‡”‘˜ƒ–‘©‡ ’‘”—ƒǤ –”‘’‹Œƒ „‹ƒ”‘‰ ‹œ˜‘”ƒ †‡ˆ‹‹•ƒƒŒ‡‹œ”ƒœ‘ǣ ‫ ܪ‬ൌ െ‫ ݌ ‰‘Ž ݌‬െ ሺͳ െ ‫݌‬ሻ Ž‘‰ሺͳ െ ‫݌‬ሻǤ

Ž‹ƒʹǤͳͶ–”‘’‹Œƒ„‹ƒ”‘‰‹ˆǤ‹œ˜‘”ƒ•ƒ’‘”—ƒƒŒ‡†ƒ‹Š˜‡”‘˜ƒ–‘©ƒ

‹ƒ”‹ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” ‰‡‡”‹æ‡ ’‘”—‡ •ƒ ˜‡”‘˜ƒ–‘©ƒƒǣ‫݌‬ሼ͵ΤͶ ǡ ͳΤͶሽǤ  –‘•Ž—«ƒŒ—‡–”‘’‹Œƒ‹œ˜‘”ƒŒ‡ǣ ଷ

ଷ

ଷ

ସ

ସ

ସ

‫ ܪ‬ൌ  െ Ž‘‰ ଶ యరെሺͳ െ  ሻŽ‘‰ ଶ ሺͳ െ ሻൌ ൌ  െͲǤ͹ͷŽ‘‰ ଶ ͲǤ͹ͷȂ ͲǤʹͷŽ‘‰ ଶ ͲǤʹͷ ൌ ൌ ͲǤ͵ͳͳ ൅ ͲǤͷ ൌ ͲǤͺͳͳbitova inf./bit ‘Ž‹‘„‹ƒ”‹‹ˆ‘”ƒ…‹‘‹‹œ˜‘”‰‡‡”‹æ‡’‘”—‡•ƒŒ‡†ƒ‹˜‡”‘˜ƒ–‘©ƒƒǣ ‫݌‬ሼͳΤʹ ǡ ͳΤʹሽǡ–ƒ†ƒ Œ‡ ‡–”‘’‹Œƒ ‹œ˜‘”ƒ ƒ•‹ƒŽƒ ‹ ”‡æ‡Œ‡ Œ‡ ’”‡†•–ƒ˜ŽŒ‡‘ ƒ ȋŽ‹ƒʹǤͳͶȌǤ˜”•–‹‘˜‡”‘˜ƒ–‘©‡—•Ž‡†‡©‹‹œ”ƒœǣ ଵ

ଵ

ଵ

ଶ

ଶ

ଶ

‫ܪ‬αെ Ž‘‰ ଶ భమെሺͳ െ  ሻŽ‘‰ ଶ ሺͳ െ ሻα 64

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ൌ  െͲǤͷŽ‘‰ ଶ ͲǤͷȂ ͲǤͷŽ‘‰ ଶ ͲǤͷ ൌ ൌ ͲǤͷ ൅ ͲǤͷ ൌ ͳܾ݅‫݂݊݅ݐ‬ǤȀܾ݅‫ݐ‬ œ”‡æ‡Œƒ˜‹†‹‘†ƒŒ‡‡–”‘’‹Œƒ‫ƒŽƒ‹•ƒܪ‬ȋͳ„‹–ȌǤ ‡æ‡Œ‡œƒ†ƒ–ƒ’”‡‘ƒ–Žƒ„ǦƒǤ ‹œ‘˜‹•ƒ˜‡”‘˜ƒ–‘©ƒƒ‘„ƒ‹œ˜‘”ƒǣ εε’ͳαȏͲǤ͹ͷǡͲǤʹͷȐǢ εε’ʹαȏͲǤͷǡͲǤͷȐǢ –”‘’‹Œƒ’”˜‘‰‹œ˜‘”ƒǣ εεͳαǦȋ’ͳȋͳȌȌȗŽ‘‰ʹȋ’ͳȋͳȌȌǦȋͳǦȋ’ͳȋͳȌȌȌȗŽ‘‰ʹȋͳǦ’ͳȋͳȌȌ ͳαͲǤͺͳͳ͵ –”‘’‹Œƒ†”—‰‘‰‹œ˜‘”ƒǣ εεͳαǦȋ’ʹȋͳȌȌȗŽ‘‰ʹȋ’ʹȋͳȌȌǦȋͳǦȋ’ʹȋͳȌȌȌȗŽ‘‰ʹȋͳǦ’ʹȋͳȌȌ ͳαͳ VEŽBA 4. †”‡†‹–‹ ‡–”‘’‹Œ— „‹ƒ”‘‰ ‹œƒ‫—†ܣ‬ā‹‡ ͷͲ „‹–‘˜ƒ — ‘†‘•— ƒ Œ‡‰‘˜— —‹ˆ‘”—†‹•–”‹„—…‹Œ—Ǥ‹œŒ‡‰‡‡”‹•ƒƒ•Ž—«ƒŒƒƒ«‹ǡƒƒ‘‹œ˜‘”‘”‹æ©‡Œ‡ ƒ–‘•ˆ‡”•‹族Ǥ ࡭ ൌ ሾ૚૙ͲͲ૙૚ͳͲ૚૙ͲͲ૚૚ͲͲ૙૚ͳͳ૙૚ͳͲ૙૙ͳͲ૚૙ͳͲ૚૚ͳͳ૚૙ͲͲ૚૙ͳͲ૚૙ͲͲ૚૙ሿ  ’”˜‘ ‘”ƒ—ǡ ’”‡„”‘Œƒ©‡‘ •˜‡ ’ƒ”‘˜‡ •ƒ«‹Œ‡‡ ‘† —Žƒ ‹ Œ‡†‹‹…ƒ ȋͲͲǡ Ͳͳǡ ͳͲǡͳͳȌǤ—’ƒ„”‘Œ‘‰—©‹Š’ƒ”‘˜ƒŒ‡ͶǤƒ”‘˜‡©‡‘–”‡–‹”ƒ–‹ƒ‘’‘”—‡‘˜‘‰ ˜‡”‘˜ƒ–‘•‘‰•—’ƒܵ ൌ ሼͲͲǡ Ͳͳǡ ͳͲǡ ͳͳሽǤ ”‡†‘•–‹‘Œ‡•‘’”‡†•–ƒ˜‹Ž‹•ƒ‫݌‬௦೔ •—˜‡”‘˜ƒ–‘©‡’‘”—ƒܵ—„‹ƒ”‘‹œ—Ǥ

pS00

0.24, pS01

0.12, pS10

0.48, pS11

0.16;  65

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

–”‘’‹Œ— •ƒ†ƒ ‘†”‡¯—Œ‡‘ ƒ ƒ«‹ ƒ‘ — ’”‹‡”— ʹǡ œƒ–‹ †‘„‹Œ‡— ˜”‡†‘•– †‡Ž‹‘•ƒ„”‘Œ‡ʹ†ƒ„‹•‘†‘„‹Ž‹’”‘•‡«—˜”‡†‘•–‡–”‘’‹Œ‡’‘Œ‡†‘„‹–—Ǥ

H

 ps00 log 2( ps00 )  ps01 log 2( ps01 )  ps10 log 2( ps10 )  ps11 log 2( ps11 ) 0.24 log 2(0.24)  0.12 log 2(0.12)  0.48 log 2(0.48)  0.16 log 2(0.16)

1.7925 / 2

0.8962bit



‡œ—Ž–ƒ–‫Ͳ †‘ܪ‬ǡͺͻ͸ʹ „‹–ƒ ’”‡†•–ƒ˜ŽŒƒ ’”‘•‡«— ‘Ž‹«‹— ‹ˆ‘”ƒ…‹Œ‡ ‘Œƒ Œ‡ •ƒ†”āƒƒ’‘Œ‡†‘„‹–Ǧ—œƒ†ƒ–‹„‹ƒ”‹‹œǤ‘’‘‘ā‹‘——’ƒ„”‘Œ„‹–ƒ‹œ ‹œƒ•ƒ†‘„‹Œ‡‘˜”‡†‘•–‹‡–”‘’‹Œ‡‫ ܪ‬ൌ Ͳǡͺͻ͸ʹǡ†‘„‹©‡‘——’‘ͶͶǤͺͳ„‹–ƒ ‹ˆ‘”ƒ…‹Œ‡Ǥ‘ā‡‘†ƒœƒŽŒ—«‹‘†ƒ‘˜ƒŒ‹œ‹Œ‡ƒ’•‘Ž—–‘•Ž—«ƒŒƒǡ‘„œ‹”‘ †ƒŒ‡Œ‡†‹‹…ƒ‡”‡œƒ‘Ž‹«‹—‹ˆ‘”ƒ…‹Œ‡ͳ„‹–Ǥ  ƒ†ƒƒŒ‡‘ā†ƒƒŽ‘Œƒ•‹Œ‡œƒæ–‘Œ‡–‘Ž‹‘–‡æ‘’”‘ƒ©‹‹ˆ‘”ƒ…‹‘‹‹œ˜‘” ‘Œ‹©‡‰‡‡”‹•ƒ–‹«‹•–‘•Ž—«ƒŒ‡„‹ƒ”‡‹œ‘˜‡Ǥ’”ƒ•‹Œ‡–‘—‰Žƒ˜‘•Ž—«ƒŒ†ƒ •‡‘”‹•–‡’•‡—†‘•Ž—«ƒŒ‹‰‡‡”ƒ–‘”‹Ǥ•‡—†‘‰‡‡”ƒ–‘”‹‘–ŽƒŒƒŒ—•˜ƒ’”‹”‘†ƒ ‡•ƒ˜”懐•–˜ƒ ’”ƒ˜‹Š •Ž—«ƒŒ‹Š ‹œ‘˜ƒǤ  –‘ •Ž—«ƒŒ— †‘„‹Œƒ‘ ‹ ’•‡—†‘ •‹‰—”‘•–Ǥƒ’‘–˜”†—‹•’”ƒ˜‘•–‹’•‡—†‘‰‡‡”ƒ–‘”ƒǡ‡‘’Š‘†‘Œ‡•’”‘˜‡•–‹‹œ –‡•–‘˜ƒ‘Œ‡Œ‡’”‡†Ž‘ā‹‘ ǡœƒ’”‘˜‡”—’‘•–‘ŒƒŒƒ‘•‘„‹ƒ•Ž—«ƒŒ‹Š‹œ‘˜ƒǤ VEŽBA 5: ‘ƒŽƒ‡–”‘’‹Œƒ‹‡–”‘’‹Œƒ•Ž‹‡ǡ—˜‘†ƒƒ’‘‡ƒǣ Ƿe‡‘‘˜ƒ‡–”‘’‹ŒƒDzŒ‡’”˜‹’—–—˜‡†‡ƒ‘†•–”ƒ‡e‡‘ƒͳͻͶͺǤ–”‘’‹Œƒ—–‘Œ —’‘–”‡„‹–‡”‹ƒ•‡†‡ˆ‹‹æ‡ƒ‘‘«‡‹˜ƒ‹‹ˆ‘”ƒ…‹‘‹•ƒ†”āƒŒ‡‘‰†‘‰ƒ¯ƒŒƒǤ ‘ Œ‡ ’‘œƒ–ƒ ˜‡”‘˜ƒ–‘©ƒ œƒ ‡‹ †‘‰ƒ¯ƒŒǡ ‘†ƒ •‡ ‡–”‘’‹Œƒ ‘ā‡ ‹œ”ƒ«—ƒ–‹ ƒ‘ǣ ௟

‫ ܪ‬ൌ െ ෍ Ž‘‰൫‫݌‬௜ ሺ‫ݔ‬௜ ሻ൯ǡ ௜ୀଵ

‰†‡•‡‫‡‹Ž•ƒƒ”‰‘–•‹ŠƒŽ‘„‹•‡©‘–ƒ˜‘”‡˜ƒ‹•‘†‘݌‬Ǥƒ’Ž‹ƒ…‹Œƒƒǡ‘”‹•–‹ •‡ Ž‘‰ƒ”‹–ƒ ‘•‘˜‡ ʹ œ„‘‰ Žƒæ‡‰ ”—‘˜ƒŒƒ •ƒ „‹ƒ”‹ ‹ˆ‘”ƒ…‹‘‹ •ƒ†”āƒŒ‡Ǥ ƒ ’‘•ƒ–”ƒ‡ ’‘†ƒ–‡ †‘„‹Œ‡‹ ”‡œ—Ž–ƒ– •‡ ‘ā‡ –—ƒ«‹–‹  ƒ‘ ”‡Žƒ–‹˜ƒˆ”‡˜‡…‹Œƒ†‘‰ƒ¯ƒŒƒǤ

66

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘ƒŽƒ ‡–”‘’‹Œƒ œƒ˜‹•‹ ‘† ‹œ„‘”ƒ ˜‡Ž‹«‹‡ ’”‘œ‘”ƒ ’”‡‘ ‘‰ƒ •‡ ‘†”‡¯—Œ‡ ‡–”‘’‹Œƒ•˜ƒ‘‰’‹•‡ŽƒǤ”‘Œ’”‘œ‘”ƒŒ‡†ƒŒ‡——’‘„”‘Œ—’‹•‡Žƒƒ•Ž‹…‹Ǥ ‡–‘†˜”ƒ©ƒ‹œ‡–”‘’‹Œ•‹Š˜”‡†‘•–‹ Hi ‰†‡Œ‡݅ ൌ ݉ ‫—‹Ž•ʹƒœ݊ כ‬Ǥ ˜ƒ‹ ’‹•‡Ž Œ‡ …‡–ƒ” Œ‡†‘‰ ’”‘œ‘”ƒ ‘‡ •‡ ’‘•‡„‘ ‘†”‡¯—Œ‡ ˜”‡†‘•– ‡–”‘’‹Œ‡Ǥ‘„‹Œ‡‡˜”‡†‘•–‹‹œ”ƒā‡‡•—’”‡‘Ž‘‰ƒ”‹–ƒ•ƒ‘•‘˜‘ʹǡ«‹‡Œ‡ ‘†”‡¯‡ƒŒ‡†‹‹…ƒ ‡”‡ œƒ‹ˆ‘”ƒ…‹Œ—ͳ„‹–Ǥ œƒ„”ƒ‹ ‡–‘† ƒ†‘œ˜‘ŽŒƒ˜ƒ†ƒ ‡Œƒ‘˜‡Ž‹«‹—’”‘œ‘”ƒ‘Œ‹Œ‡˜ƒ†”ƒ–‡†‹‡œ‹Œ‡Ǥ ‡ŒƒŒ‡˜‡Ž‹«‹‡’”‘œ‘”ƒ†‘•–ƒ’‘†•‡©ƒƒe‡‘‘˜‡‘†‡Ž‡ƒ’”‘•‹ƒ…‹Œ‡‘Œ‹ •‡ ’”‹‡Œ—Œ— œƒ ‘†‡Ž‘˜ƒŒ‡ ‹ˆ‘”ƒ…‹‘‹Š ‹œ˜‘”ƒ ’”‹”‘†‘‰ Œ‡œ‹ƒǤ ”‡†‘•– Ž‘ƒŽ‡‡–”‘’‹Œ‡•‡’‘˜‡©ƒ˜ƒ’‘˜‡©ƒŒ‡˜‡Ž‹«‹‡’”‘œ‘”ƒǤ ‘˜‘’”‹‡”—’‘ƒœƒ©‡‘ƒ‘‘ā‡‘Ž‘ƒŽ‘†ƒ‹œ”ƒ«—ƒ‘‹ˆ‘”ƒ…‹‘— ˜”‡†‘•– ‡‡ ʹ •Ž‹‡Ǥ ‡–‘† ‘Œ‹ ©‡‘ †ƒ ‘”‹•–‹‘ Œ‡ ‡–‘† œƒ ”ƒ«—ƒŒ‡ Ž‘ƒŽ‡‡–”‘’‹Œ‡‹œ’”‘‰”ƒ•‘‰’ƒ‡–ƒƒ–Žƒ„Ǥ‡–‘†Œ‡†‘„”‘’‘œƒ–—‘„Žƒ•–‹ œƒ‘„”ƒ†—•Ž‹ƒȋ‡‰ŽǤImage processing). œƒ„”ƒƒ•Ž‹ƒǣ

 Ž‹ƒʹǤͳͷ”‹‰‹ƒŽƒ•Ž‹ƒȋ”‰„ʹͶȌ

˜‘ā‡Œ‡•Ž‹‡—ƒ–Žƒ„‘”—ā‡Œ‡‹’”‹ƒœǣ εε•Ž‹ƒα‹”‡ƒ†ȋ̵•‹‰‹†——Ǥ  ̵ȌǢ ε勏•Š‘™ȋ•Ž‹ƒȌ

67

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘˜‡”–‘˜ƒŒ‡•Ž‹‡‹œ ˆ‘”ƒ–ƒ—ͺǦ„‹–—•Ž‹—ȋ‡‰ŽǤGray-scaleȌǣ εε•Ž‹ƒα”‰„ʹ‰”ƒ›ȋ•Ž‹ƒȌǢ ε勏•Š‘™ȋ•Ž‹ƒȌ

 Ž‹ƒʹǤͳ͸ ”ƒ›Ǧ•…ƒŽ‡ȋͺ„‹–Ȍ

Ž‹ƒ ‘˜‡”–‘˜ƒƒ ‹œ   — ‹Œƒ•‡ •‹˜‡ ‘”‹•–‹ ͺ „‹–‘˜ƒ œƒ ‘’‹• Œ‡†‘‰ ’‹•‡Žƒ ȋ‹Œƒ•‡ •‹˜‡ •— ‹œ ‘’•‡‰ƒ ‘† Ͳ †‘ ʹͷͷȌǤ  ƒ•–ƒ˜— ’”‹ƒœƒ©‡‘ Š‹•–‘‰”ƒ ‹Ž‹ †‹Œƒ‰”ƒˆ”‡˜‡…‹Œƒ‘†‘‰ƒœƒ˜‹•‹˜”‡†‘•–‡–”‘’‹Œ‡Ǥ ε勏Š‹•–ȋ•Ž‹ƒȌǢ

 Ž‹ƒʹǤͳ͹‹•–‘‰”ƒͺǦ„‹–‡•Ž‹‡

68

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

†”‡¯‹˜ƒŒ‡˜‡”‘˜ƒ–‘©‡œƒ•˜ƒ‹’‹•‡Žƒ•Ž‹…‹ǣ εεȏ„”‘Œƒ…ǡ•‹„‘Ž‹ȐዏŠ‹•–ȋ•Ž‹ƒȌǢ εε’α„”‘Œƒ…Ȁȋʹͷͷȗ͵ͶͳȌǢ ‘Ž‹‘’‘•ƒ–”ƒ‘•Ž‹—ƒ‘‹ˆ‘”ƒ…‹‘‹‹œ˜‘”ƒ’‹•‡Ž‡ƒ‘•‹„‘Ž‡ǡ‘ā‡‘ •ƒ†ƒƒ†ƒ•—ƒ’‘œƒ–‡˜‡”‘˜ƒ–‘©‡‘†”‡†‹–‹‡–”‘’‹Œ—‹œ˜‘”ƒǣ εεαǦ•—ȋ’ǤȗŽ‘‰ʹȋ’Ϊȋ’ααͲȌȌȌ αͷǤͺ͵ͷͻ ‘„‹Œ‡ƒ ˜”‡†‘•– ‫‘†‡Œ ‘’ ‡Œ‹…ƒ”‘ˆ‹ —‹«‹Ž‘ —«‡•‘”’ ƒŒŽ˜ƒ–•†‡”’ ܪ‬ ’‹•‡Ž—Ǥ ƒ ‘”‹‰‹ƒŽ— •Ž‹— „‹Ž‘ ƒ Œ‡ ’‘–”‡„‘൫ሺʹͷͷ ȉ ͵Ͷͳሻ ȉ ͺ൯ ൌ ͸ͻͷ͸ͶͲ„‹–‘˜ƒǡ •ƒ†ƒ ƒ†ƒ •‘ ‹œ”ƒ«—ƒŽ‹ ‡–”‘’‹Œ— ‹ —‘Ž‹‘ ‘†—Œ‡‘ ’”‡‘ ƒˆƒ‘˜‘‰ ƒŽ‰‘”‹–ƒ œƒ ‘†‘˜ƒŒ‡ǡ ’‘–”‡„‘ ƒ Œ‡൫ሺʹͷͷ ȉ ͵Ͷͳሻ ȉ ͷǤͺ͵ͷͻ൯ ൌ ͷͲ͹Ͷ͸Ͳ„‹–‘˜ƒǤ ƒ ‘˜ƒŒ ƒ«‹ ’‘˜‡©ƒŽ‹ •‘ „”œ‹— ’”‡‘•ƒǡ –ƒ‘ 斑 •‘ •ƒŒ‹Ž‹ ‘†— •‡˜‡…— œƒ ͳͺͺͳͺͲ„‹–‘˜ƒǤ •Ž‡†‡©‡‘”ƒ—’‘•ƒ–”ƒ©‡‘Ž‘ƒŽ‘’”‘•–‹”ƒŒ‡‡–”‘’‹Œ‡ƒ‘˜‘Œʹ•Ž‹…‹Ǥ ‘•–ƒ˜‹©‡‘•Ž‡†‡©‡’‹–ƒŒ‡ǣ Koji regioni slike sadrže najmanji informacioni sadržaj? ƒ«—ƒ‘ Ž‘ƒŽ— ‡–”‘’‹Œ— œƒ ˜‡Ž‹«‹— ’”‘œ‘”ƒ ȏͻ š ͻȐ ‹ ’”‹ƒœ—Œ‡‘ ”‡œ—Ž–ƒ– ’”‡‘–‘’Ž‘–‡ƒ’‡ǣ εε’”‘œ‘”α–”—‡ȋͻȌǢ εεᇐ–”‘’›ˆ‹Ž–ȋ•Ž‹ƒȌǢ ε勏ƒ‰‡•…ȋȌǢˆ‹‰—”‡ȋ‰…ˆȌǢ

69

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒʹǤͳͺ”‹ƒœŽ‘ƒŽ‡‡–”‘’‹Œ‡’”‡‘–‘’Ž‘–‡ƒ’‡

‡‰‹‘‹ •Ž‹‡ ‘œƒ«‡‹ •ƒ ‹Œƒ•ƒƒ …”˜‡‡ „‘Œ‡ ’”‡†•–ƒ˜ŽŒƒŒ— ”‡‰‹‘‡ •ƒ ƒŒ˜‡©‘ Ž‘ƒŽ‘ ‡–”‘’‹Œ‘ǡ †‘ •ƒ ‹Œƒ•ƒƒ ’Žƒ˜‡ „‘Œ‡ ’”‡†•–ƒ˜ŽŒ‡‹ •— ”‡‰‹‘‹•ƒ‹•‘Ž‘ƒŽ‘‡–”‘’‹Œ‘Ǥ Ž‡†‹͵–‘’Ž‘–ƒ‡–”‘’‹Œ•ƒƒ’ƒǡ’”‡‘‘Œ‡‘ā‡‘’”‡…‹œ‹Œ‡†ƒ‘œƒ«‹‘ ”‡‰‹‘‡•ƒ˜‹•‘‘‡–”‘’‹Œ‘Ǥ ε叇•ŠœȋȌǢˆ‹‰—”‡ȋ‰…ˆȌǢ

 Ž‹ƒʹǤͳͻ͵‡–”‘’‹Œ•ƒ–‘’Ž‘–ƒƒ’ƒ

70

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒʹǤʹͲ ‡†ƒ†‡‘ƒˆƒ‘˜‘‰”‡«‹ƒœƒ•Ž‹—‹œ’”‹‡”ƒͷǤ

’”˜‘Œ‘Ž‘‹•—‹Œƒ•‡•‹˜‡ƒ‘•‹„‘Ž‹’‘”—‡ǡƒ—†”—‰‘Œ‘Ž‘‹˜‡”‘˜ƒ–‘©‡Ǥ 71

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

3. EFIKASNO KODOVANJE INFORMACIJA ‘˜‘’‘‰Žƒ˜ŽŒ—†ƒ–‡•—‘•‘˜‡‘†‘˜ƒŒƒ†‹•”‡–‘‰‹œ˜‘”ƒ‹ˆ‘”ƒ…‹Œƒ—…‹ŽŒ— ‘’”‡•‹Œ‡’‘”—ƒǤ‘•–ƒ˜ŽŒ‡‹•——•Ž‘˜‹‘Œ‡‘”ƒŒ—†ƒœƒ†‘˜‘ŽŒ‡‘†‘˜‹—…‹ŽŒ— ‡ˆ‹ƒ•‡‘’”‡•‹Œ‡ǡƒ‘‹ˆ—†ƒ‡–ƒŽ‡‰”ƒ‹…‡‘’”‡•‹Œ‡’‘†ƒ–ƒƒ‹‡–‘†‡ ‘•–”—…‹Œ‡‡ˆ‹ƒ•‹Š‘’”‡•‹‘‹Š‘†‘˜ƒǤ ”˜‹’”ƒ–‹«‹’”‘„Ž‡‘Œ‹Œ‡‘‰—©‡”‡æƒ˜ƒ–‹œƒŠ˜ƒŽŒ—Œ—©‹e‡‘‘˜‘‘…‡’–— ‡”ƒ ‡‘†”‡¯‡‘•–‹ Œ‡•–‡ ‡ˆ‹ƒ•‘ ‘†‘˜ƒŒ‡ †‹•”‡–‘‰ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹Œƒ — ˆ‘”‹‹œƒ•‹„‘ŽƒǤ ‘ƒœƒ©‡ •‡ †ƒ Œ‡ ‡–”‘’‹Œƒ ‹œ˜‘”ƒ ˆ—†ƒ‡–ƒŽ‘ ‘‰”ƒ‹«‡Œ‡ œƒ ‘’”‡•‹Œ— ’‘†ƒ–ƒƒǡ‘†‘•‘†ƒ‘ƒ‘†”‡¯—Œ‡‹‹ƒŽ—‘«‡‹˜ƒ—˜”‡†‘•–†—ā‹‡‘†ƒǤ Ž‹ǡ’”‡•˜‡‰ƒ”ƒœ‘–”‹‘’‹–ƒŒ‡ǣ Šta je razlog da uopšte nešto kodujemo? ‘•–‘Œ‡–”‹‘•‘˜ƒ”ƒœŽ‘‰ƒœƒ–‘ǣ ͳǤ ‘†‘˜ƒŒ‡”ƒ†‹‘’”‡•‹Œ‡ȋ‹œ„ƒ…‹˜ƒŒ‡”‡†—†ƒ•‡Ȍ ʹǤ ‘†‘˜ƒŒ‡ — …‹ŽŒ— ˜ƒŽ‹–‡–‘‰ ’”‡‘•ƒ — —•Ž‘˜‹ƒ 族ƒ ƒ ƒƒŽ— ȋ†‘†ƒ˜ƒŒ‡”‡†—†ƒ•‡Ȍ ͵Ǥ ‘†‘˜ƒŒ‡ ”ƒ†‹ –ƒŒ‘•–‹ Ǧ  ’‘”—‡ •— †‘•–—’‡ •ƒ‘ ƒ—–‘”‹œ‘˜ƒ‹ ‘”‹•‹…‹ƒ ˜ƒ Ž‡…‹Œƒ ©‡ •‡ „ƒ˜‹–‹ ’”˜‹ ƒ•’‡–‘ ‡ˆ‹ƒ•‘‰ ‘†‘˜ƒŒƒ †‹•”‡–‘‰ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹ŒƒǤ

72

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͵ǤͳǤ   ,  ,  œ˜‘”‹ˆ‘”ƒ…‹ŒƒŒ‡‰‡‡”ƒ–‘”’‘”—ƒ‘†‘•‘•‡˜‡…‡•‹„‘ŽƒǤ

 Ž‹ƒ͵Ǥͳ‘†‘˜ƒŒ‡‹ˆ‘”ƒ…‹‘‘‰‹œ˜‘”ƒ

•‘˜ƒ 懏ƒ ‘†‘˜ƒŒƒ ‹œ˜‘”ƒ ȋ‡‰ŽǤ Source codingȌǣ •‹„‘Ž ‹œ˜‘”ƒ୲ — –”‡—–—–•‡–”ƒ•ˆ‘”‹æ‡—‘†‰‘˜ƒ”ƒŒ—©—‘†—”‡«୲ ǡƒȋŽ‹ƒ͵ǤͳȌǤ ‹„‘Ž‹•—‡Ž‡‡–‹•—’ƒ‘‰ƒƒœ‹˜ƒ‘alfabetǤ ˆ‘”ƒ…‹‘‹‹œ˜‘” je diskretanƒ‘Œ‡ƒŽˆƒ„‡–‘ƒ«ƒǤ ‹‡œ‹ŒƒƒŽˆƒ„‡–ƒ•‡ƒœ‹˜ƒ‹arnost‹œ˜‘”ƒǤ ƒœƒ–”ƒ©‡‘ •ƒ‘ ’‘”—‡ ‘ƒ«‡ †—ā‹‡Ǥ ƒ ’”‹‡”ǡ ‘˜‹‡ •‡ ‘‰— •ƒ–”ƒ–‹Œ‡†‹†‹•”‡–‹‹œ˜‘”‘‹ˆ‘”ƒ…‹Œƒǡƒ†ƒŽˆƒ„‡–‘†ƒ–‘‰Œ‡œ‹ƒǡ†‘ •—’‘”—‡‘˜‹•‹–‡•–‘˜‹Ǥ ‘†‡”–”ƒ•ˆ‘”‹æ‡’‘”—‡‹œ˜‘”ƒ—kodne reiǤ ‘†‡ ”‡«‹ •— •‡˜‡…‡ •‹„‘Žƒ ‹œ kodnog alfabetaǡ ‘Œ‹ Œ‡ — ‘’æ–‡ •Ž—«ƒŒ— ”ƒœŽ‹«‹–‘†ƒŽˆƒ„‡–ƒ’‘”—ƒǤ ‘”ƒŽ‘ǡ‹ˆ‘”ƒ…‹‘‹‹œ˜‘”ܷ௧ ǡ‘†‘•‘ܷ„‡œ‹†‡•ƒ‫•‡†‹‹•‡‡”˜‘ƒݐ‬ ‹Œ‡ ”‡Ž‡˜ƒ–ƒǡ –‘ Œ‡ œƒ’”ƒ˜‘ •Ž—«ƒŒƒ ’”‘…‡• ƒ† †ƒ–‹ ƒŽˆƒ„‡–‘ ߥ௎ Ǥ

‡†‘•–ƒ˜‹Œ‡”‡«‡‘ǡ–‘Œ‡‹œ•Ž—«ƒŒ‹Š˜‡Ž‹«‹ƒ‹œߥ௎ Ǥ œ˜‘”‡‹–—Œ‡•‹„‘Ž‡—•˜ƒ‘–”‡—–—‫ܲƒƒ©‘–ƒ˜‘”‡˜ƒ•ݐ‬ሺܷ௧ ൌ ‫ݑ‬௜ ሻǤ œ˜‘” Œ‡ „‡œ ‡‘”‹Œ‡ǡ —‘Ž‹‘ ˜‡”‘˜ƒ–‘©ƒ •‹„‘Žƒ‫ݑ‬௜ ‡ œƒ˜‹•‹ ‘† ’”‘掋Š ‡‹–‘˜ƒ‹Š˜”‡†‘•–‹ǣ ‫׊‬௧ ൒ ͳ‫׊‬௨೔ ‫ߥ א‬௎ ܲሺܷ௧ ൌ ‫ݑ‬௜ ȁܷଵ ǥ ܷ௧ିଵ ሻ ൌ ܲሺܷ௧ ൌ ‫ݑ‬௜ ሻ 73

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

œ˜‘” ‹ˆ‘”ƒ…‹Œƒ Œ‡ •–ƒ…‹‘ƒ”ƒǡ —‘Ž‹‘ ˜‡”‘˜ƒ–‘©‡ ‡‹–‘˜ƒŒƒ •‹„‘Žƒ ܲሺܷ௧ ൌ ‫ݑ‬௜ ሻ‡œƒ˜‹•‡‘†˜”‡‡ƒ‫ݐ‬Ǥ ‘†‡” ‘ā‡‘ ’‘•ƒ–”ƒ–‹ ƒ‘ ’”‡•Ž‹ƒ˜ƒŒ‡ ൌ ˆሺሻ‹œ ƒŽˆƒ„‡–ƒ ‹œ˜‘”ƒɋ୙ — •—’‘†‹Š”‡«‹ɋ୞ Ǥ‘•ƒ ‫Š‹‡ŒŽ˜ƒ–•ƒ•‹…‡˜‡•Š‹«ƒ‘Š‹˜•’—•‘‹«ƒœ‘ כ‬ ‘† •‹„‘Žƒ ‹œ ‘†‘‰ ƒŽˆƒ„‡–ƒɋ୞ ǡ –ƒ†ƒ •— ‘†‡ ”‡«‹ œƒ†ƒ–‘‰ ‘†‡”ƒ Œ‡†ƒ ’‘†•—’•—’ƒ ‫ כ‬Ǥ DEFINICIJA 3.1‡•‹‰—Žƒ”‹‘†‘˜‹Ǥ ‘† Œ‡†‘‰ †‹•”‡–‘‰ ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒ •‡ ƒœ‹˜ƒ ‡•‹‰—Žƒ”‹ǡ ƒ†ƒ •‡ ”ƒœŽ‹«‹–‹•‹„‘Ž‹ƒ‹œ˜‘”ƒ‘”‡•’‘†‹”ƒŒ—”ƒœŽ‹«‹–‡‘†‡”‡«‹Ǥ ‘”ƒŽ‘ǡ —୧ ് —୨ ՜ œ୧ ് œ୨ ǡ ’”‹ «‡— Œ‡œ୧ ‘†ƒ ”‡« ‘Œƒ ‘”‡•’‘†‹”ƒ •‹„‘Ž— ‹œ˜‘”ƒ—୧ Ǥ  ‘˜‘Œ Ž‡…‹Œ‹ „ƒ˜‹©‡‘•‡•ƒ‘‡•‹‰—Žƒ”‹‘†‘˜‹ƒǤ PRIMER 3.1‘†‘˜ƒŒ‡‘ƒ«‘‰‹œ˜‘”ƒǤ ‘”œ‡‘˜‘†•Ž—ā‹œƒ‘†‘˜ƒŒ‡•Ž‘˜‹Š‹„”‘Œ«ƒ‹Šœƒ‘˜ƒǤŽˆƒ„‡–‘”œ‡‘˜‘‰ ‘†ƒ«‹‡•ƒ‘†˜ƒ•‹„‘Žƒǣ–ƒ«ƒȋȉȌ‹…”–ƒȋǦȌǤƒ’”‹‡”ǡǡ‹•‡‘†—Œ—•ƒ Dzȉ DzǡDzȉǦdz‹DzǦȉǦdzǡ”‡•’‡–‹˜‘Ǥ —†—©‹†ƒŒ‡…‹ŽŒ‘†‡”ƒ‘†‘˜ƒŒ‡’‘”—ƒǡƒ‡’‘Œ‡†‹ƒ«‹Š•‹„‘Žƒǡ‘†‹–‡”‡•ƒ •— ‘†‘˜‹ ‘Œ‹ •‡ ‘‰— ƒ Œ‡†‹•–˜‡ ƒ«‹ †‡‘†‘˜ƒ–‹Ǥ ƒ˜‹ ‘†‘˜‹ •‡ œ‘˜— ‡†˜‘•‹•Ž‡‹ ‹Ž‹ Œ‡†‘œƒ«‘ †‡‘†‹˜‹ ‘†‘˜‹Ǥ ‘† ‘˜‹Š ‘†‘˜ƒ „‹Ž‘ ‘Œƒ •‡˜‡…ƒ ‘†‹Š ”‡«‹ ‘”‡•’‘†‹”ƒ Œ‡†‘œƒ«‘ •ƒ‘ Œ‡†‘Œ ’‘”—…‹ ‹ˆ‘”ƒ…‹‘‘‰‹œ˜‘”ƒǤ DEFINICIJA 3.2 ‡†‘œƒ«‘†‡‘†‹˜‹‘†‘˜‹Ǥ ‘††‹•”‡–‘‰‹œ˜‘”ƒ‹ˆ‘”ƒ…‹Œƒ•‡ƒœ‹˜ƒŒ‡†‘œƒ«‘†‡‘†‹˜‹ǡƒ‘‹•ƒ‘ ƒ‘„‹Ž‘‘Œƒ‘ƒ«ƒ•‡˜‡…ƒ‘†‹Š”‡«‹Œ‡†‘œƒ«‘‘†‰‘˜ƒ”ƒŒ‡†‘Œ’‘”—…‹ ‹œ˜‘”ƒǤ PRIMER 3.2‡Œ‡†‘œƒ«ƒ‘†Ǥ

74

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡ƒ•‡‹œ˜‘”•ƒ•–‘Œ‹‘†–”‹•‹„‘Žƒaǡb‹cǤ‘”—ƒ‘˜‘‰‹œ˜‘”ƒŒ‡•˜ƒ‹‹œ‘Œ‹•‡ •ƒ•–‘Œ‹‘†‘˜ƒ–”‹•‹„‘Žƒǡ’”ǤaaabcaaccǤ‘††‡ˆ‹‹•ƒ’”‡•Ž‹ƒ˜ƒŒ‡ ƒ ՜ ͳ„ ՜ ͲͲ… ՜ ͳͳ Œ‡‡Œ‡†‘œƒ«ƒǤƒ’”‹‡”ǡ’”‹Ž‹‘‘†‘˜ƒŒƒ‹œƒaaaaǡ†‘„‹©‡•‡‘†ƒ”‡« ͳͳͳͳǡ斑Œ‡‹•–‘ƒ‘‹†ƒ‘†—Œ‡‘‹œccǤ‡’‘•–‘Œ‹ƒ«‹’”‹Ž‹‘†‡‘†‘˜ƒŒƒ ‘Œ‹©‡„‹–‹—•–ƒŒ—†ƒ”ƒœŽ‹—Œ‡斃Œ‡‘†‘˜ƒƒ’‘”—ƒaaaa‹Ž‹ccǤ PRIMER 3.3 ‡†‘œƒ«‘†‡‘†‹˜‘†Ǥ ‡ƒŒ‡‹œ˜‘”‹ˆ‘”ƒ…‹Œƒƒ‘—’”‡–Š‘†‘’”‹‡”—Ǥ‡ƒŒ‡‘††‡ˆ‹‹•ƒ•ƒ ܽ ՜ ͳܾ ՜ ͲͲܿ ՜ ͳͲ ‘ā‡ •‡ †‘ƒœƒ–‹ †ƒ Œ‡ ‘˜ƒŒ ‘† Œ‡†‘œƒ«ƒǤ ’”Ǥ ‹œ ͳͲͲͲͲ •‡†‡‘†—Œ‡ — ‹œ abbǡƒ‹œͳͲͲͲ—cbǤ‡¯—Œ‡†‘œƒ«‹‘†‘˜‹ƒ‘†’‘•‡„‘‰œƒ«ƒŒƒ•—–œ˜Ǥ ’”‡ˆ‹•‹‘†‘˜‹ȋ‡‰ŽǤPrefix – Free CodeȌǤ

‡†ƒ ‹œ‫—†ݖ‬ā‹‡݊ሺ݊ ൒ ͳሻŒ‡ ’”‡ˆ‹• ‡‘‰ †”—‰‘‰ ‹œƒœ ᇱ ƒ‘ ‹ •ƒ‘ ƒ‘ Œ‡ ’”˜‹Š݊•‹„‘Žƒ—œ ᇱ Œ‡†ƒ‘‡‰œƒ–‘‹œ—‫ݖ‬Ǥ’”ǤܾܾܽܽŒ‡’”‡ˆ‹•‹œƒܾܾܾܽܽܿǤ DEFINICIJA 3.3”‡ˆ‹•‹‘†‘˜‹Ǥ ƒŒ‡†ƒ‘†•‡ƒā‡†ƒŒ‡’”‡ˆ‹•ƒƒ‘—Œ‡—‹Œ‡†ƒ‘†ƒ”‡«‹Œ‡’”‡ˆ‹• ‡‘Œ†—‰‘Œ‘†‘Œ”‡«‹Ǥ PRIMER 3.4”‡ˆ‹•‹‘†Ǥ ‡ƒ Œ‡ †ƒ– ‹œ˜‘” •ƒ –”‹ •‹„‘Žƒܽǡܾ‹ܿǤ ƒ ‘˜ƒŒ ‹œ˜‘” ’”‹‡” Œ‡†‘‰ ’”‡ˆ‹•‘‰ ‘†ƒŒ‡ǡ ܽ ՜ ͳܾ ՜ ͳͲܿ ՜ ͳͳ †‘‘†ǣ ܽ ՜ ͳܾ ՜ ͲͲܿ ՜ ͳͲ ‹Œ‡’”‡ˆ‹•ƒǡ„—†—©‹†ƒŒ‡ͳ‘†œƒ•‹„‘Žaǡ‹•–‘˜”‡‡‘‹’”‡ˆ‹•—‹œ—ͳͲǡ‘Œ‹ ’”‡†•–ƒ˜ŽŒƒ‘†—”‡«‹œƒ•‹„‘ŽcǤ

75

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Odakle potie naš interes za prefiksnim kodovima? †‰‘˜‘”Ž‡ā‹—†˜‡‘•‘„‹‡ǡ͵Ǥͳ‹͵ǤʹǤ OSOBINA 3.1 ˜ƒ‹ ’”‡ˆ‹•‹ ‘† Œ‡ Œ‡†‘œƒ«‘ †‡‘†‹˜Ǥ ƒā‘ Œ‡ ƒ’‘‡—–‹ †ƒ ’‘•–‘Œ‡ Œ‡†‘œƒ«‹‘†‘˜‹‘Œ‹‹•—’”‡ˆ‹•‹ǡƒ‘斑ƒ–‘’‘ƒœ—Œ‡”‹‡”͵Ǥ͵Ǥ DEFINICIJA 3.4”‡—–‘†‡‘†‹˜‹‘†Ǥ ‘† Œ‡ –”‡—–‘ †‡‘†‹˜ ƒ‘ ‹ •ƒ‘ ƒ‘ •‡ •˜ƒƒ ‘†ƒ ”‡« — „‹Ž‘ ‘ ‹œ— ‘†‹Š”‡«‹‘ā‡†‡‘†‘˜ƒ–‹—‹•–‘‘‡–—ƒ†ƒŒ‡†‘•–‹‰—–”ƒŒ‘†‡”‡«‹Ǥ OSOBINA 3.2 ‘†Œ‡–”‡—–‘†‡‘†‹˜ ƒ‘‹•ƒ‘ ƒ‘Œ‡’”‡ˆ‹•ƒǤ”‡—–‘†‡‘†‹˜‹‘†‘˜‹ ‡ œƒŠ–‡˜ƒŒ— ‡‘”‹•ƒŒ‡ ’”‹•’‡Ž‹ ‘†‹Š ”‡«‹ ‹Ž‹ «‡ƒŒ‡ †‘•’‡©ƒ ‘˜‹Š †ƒ „‹ †‡‘†‘˜ƒŒ‡ „‹Ž‘ ‘„ƒ˜ŽŒ‡‘Ǥ ˜‹ •‡ 文†‹ ‹ ˜”‡‡ ‹ ‡‘”‹Œ•‹ ’”‘•–‘” †‡‘†‡”ƒǤ Žƒ•‡‘†‘˜ƒ‘Œ‡•‘†‘•ƒ†ƒ‘’‹•ƒŽ‹•‡‡¯—•‘„‘‘†‘•‡ƒ‘ƒȋŽ‹ƒ͵ǤʹȌǤ 

 Ž‹ƒ͵ǤʹŽƒ•‡‘’‹•ƒ‹Š‘†‘˜ƒ

  76

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͵ǤͳǤͳǤ NǦ ‘‰‘†ƒƒ«‹’”‡†•–ƒ˜‡‹‹œ—«ƒ˜ƒŒƒ’”‡ˆ‹•‹Š‘†‘˜ƒ•—nǦƒ”ƒ•–ƒ„ŽƒǤƒ•Ž‹…‹ ȋŽ‹ƒ͵Ǥ͵Ȍ†ƒ–‹•—•ƒ•–ƒ˜‹‡Ž‡‡–‹Œ‡†‘‰•–ƒ„ŽƒǤ

 Ž‹ƒ͵Ǥ͵”‡‰Ž‡†–‡”‹ƒ˜‡œƒ‹Šœƒ•–ƒ„Žƒ

DEFINICIJA 3.5 N-ƒ”‘•–ƒ„Ž‘Ǥ N-ƒ”‘•–ƒ„Ž‘Œ‡•–ƒ„Ž‘—‘‡•˜ƒ‹——–”ƒæŒ‹«˜‘”‹ƒƒ”‘•–݊ǡ‘†‘•‘‹ƒ ‡‰œƒ–‘݊«˜‘”‘˜ƒǦ†‡…‡Ǥ ‘–’—‘ n-ƒ”‘ •–ƒ„Ž‘ Œ‡ n-ƒ”‘ •–ƒ„Ž‘ — ‘‡ •˜‹ Ž‹•–‘˜‹‹ƒŒ—‹•–—†—„‹—Ǥ PRIMER 3.5NǦƒ”ƒ•–ƒ„ŽƒǤ

 Ž‹ƒ͵ǤͶ‹ƒ”‘•–ƒ„Ž‘ȋαʹȌǡ‡”ƒ”‘•–ƒ„Ž‘ȋα͵Ȍǡ‘–’—‘–‡”ƒ”‘•–ƒ„Ž‘

77

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

,˜‘”ଵ ’‘”‹˜ƒ«˜‘”ଶ ǡ—‘Ž‹‘’—–‘†‘”‡ƒ†‘ଶ •ƒ†”ā‹«˜‘”ଵ Ǥ OSOBINA 3.3  ’‘–’—‘ n-ƒ”‘ •–ƒ„Ž— †—„‹‡݀ ൒ Ͳǡ•˜ƒ‹ «˜‘” †—„‹‡ߜሺͲ ൑ ߜ ൑ ݀ሻ ’‘”‹˜ƒ–ƒ«‘ୢିஔ Ž‹•–‘˜ƒǤ DEFINICIJA 3.6‘†‘•–ƒ„Ž‘ ‘†‘ •–ƒ„Ž‘ Œ‡ n-ƒ”‘ •–ƒ„Ž‘ «‹Œ‡ •— ‰”ƒ‡ ‘œƒ«‡‡ •Ž‘˜‹ƒ †ƒ–‘‰ ƒŽˆƒ„‡–ƒ †‹‡œ‹Œ‡ǡƒ–ƒƒ˜ƒ«‹†ƒ•‡•˜ƒ‘•Ž‘˜‘’‘Œƒ˜ŽŒ—Œ‡•ƒ‘Œ‡†ƒ’—–—‹œŽƒœ‹ ‰”ƒƒƒ «˜‘”‘˜ƒǤ ‘†‡ ”‡«‹ ‘†‰‘˜ƒ”ƒŒ— •‡˜‡…ƒƒ ‘œƒƒ ‰”ƒƒ †—ā ’—–‡˜ƒ ‘†‘”‡ƒ†‘Ž‹•–‘˜ƒǤ PRIMER 3.6‘†‘•–ƒ„Ž‘Ǥ

 Ž‹ƒ͵Ǥͷ‡”ƒ”‘‘†‘•–ƒ„Ž‘

‡”ƒ”‘ ‘†‘ •–ƒ„Ž‘ǣ ‘†ƒ ”‡« ’”‡†•–ƒ˜ŽŒ‡ƒ Ž‹•–‘ ͳ Œ‡ acǡ †‘ Ž‹•– ʹ ’”‡†•–ƒ˜ŽŒƒ‘†—”‡«cǡȋŽ‹ƒ͵ǤͷȌǤ DEFINICIJA 3.7N-ƒ”‹‘†Ǥ ‘†«‹Œ‹ƒŽˆƒ„‡–‹ƒ݊•Ž‘˜ƒ•‡ƒœ‹˜ƒn-ƒ”‹‘†Ǥ OSOBINA 3.4 ƒ•˜ƒ‹n-ƒ”‹’”‡ˆ‹•‹‘†’‘•–‘Œ‹ „ƒ”‡Œ‡†‘n-ƒ”‘‘†‘•–ƒ„Ž‘–ƒ˜‘†ƒ •˜ƒƒ ‘†ƒ ”‡« ‘†‰‘˜ƒ”ƒ •‡˜‡…‹ ‘œƒƒ ƒ Œ‡†‹•–˜‡‘ ’—–— ‘† ‘”‡ƒ •–ƒ„Žƒ†‘Ž‹•–ƒǤ ‘„”—–‘ǡ•˜ƒ‘‘†‘•–ƒ„Ž‘†‡ˆ‹‹æ‡Œ‡†ƒ’”‡ˆ‹•‹‘†Ǥ‘†‡ 78

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‡«‹‘˜‘‰’”‡ˆ‹•‘‰‘†ƒ•—‘†”‡¯‡‡•‡˜‡…‘‘œƒƒ’—–ƒŒƒ‘†‘”‡ƒ†‘ •˜ƒ‘‰Ž‹•–ƒ‘†‘‰•–ƒ„ŽƒǤ ”ƒ–‘ǡ‘†‘•–ƒ„Ž‘‹’”‡ˆ‹•‹‘†•—‡˜‹˜ƒŽ‡–‹‘„Œ‡–‹Ǥ PRIMER 3.7 ‘†‘•–ƒ„Ž‘‘Œ‡‘†‰‘˜ƒ”ƒ‘†—‹œ’”‹‡”ƒ͵ǤͶ ܽ ՜ Ͳܾ ՜ ͳͲܿ ՜ ͳͳ

 Ž‹ƒ͵Ǥ͸‘†‘•–ƒ„Ž‘

”‡ƒ•–ƒ†ƒ”†‘Œ‘˜‡…‹Œ‹’”‹ƒœ‹˜ƒŒƒǡŽ‹•–‘˜‹•—‘œƒ«‡‹•‹„‘Ž‹ƒ‹œ˜‘”ƒǡ ƒ ‘†‡ ”‡«‹ •‡ †‘„‹ŒƒŒ— ƒ‘ ‹œ‘˜‹ ‘œƒƒ ‰”ƒƒ ƒ ’—–ƒŒƒƒ ‘† ‘”‡ƒ †‘ Ž‹•–‘˜ƒǤ ”‹‡–‹‘ †ƒ ”‡’”‡œ‡–ƒ…‹Œ‘ ’”‡ˆ‹•‹Š ‘†‘˜ƒ ’‘‘©— ‘†‹Š •–ƒ„ƒŽƒǡ ‡‹ Ž‹•–‘˜‹ ‡ ‘”‡•’‘†‹”ƒŒ— ‹Œ‡†‘Œ ‘†‘Œ ”‡«‹Ǥ ƒ˜‹ Ž‹•–‘˜‹ •‡ ƒœ‹˜ƒŒ— ‡‘”‹æ©‡‹Ž‹•–‘˜‹Ǥ ƒ ’”‹‡”ǡ „‹ƒ”‘ ‘†‘ •–ƒ„Ž‘ ‘Œ‡ ‘†‰‘˜ƒ”ƒ ‘†— ሼͲǡͳͲͳሽ ‹ƒ †˜ƒ ‡‹•‘”‹æ©‡ƒŽ‹•–ƒǤ

79

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒ͵Ǥ͹‘†‘•–ƒ„Ž‘•ƒ†˜ƒ‡‹•‘”‹æ©‡ƒŽ‹•–ƒ

ƒ‹•–ƒ‹œ‘˜‹ͳͳ‹ͳͲͲ‡‘”‡•’‘†‹”ƒŒ—‹Œ‡†‘Œ‘†‘Œ”‡«‹’‘•ƒ–”ƒ‘‰‘†ƒǤ DEFINICIJA 3.8‘’Ž‡–‹‘†Ǥ ƒ†ƒ ‡ƒ ‡‘”‹æ©‡‹Š Ž‹•–‘˜ƒ — ‘†‰‘˜ƒ”ƒŒ—©‡ n-ƒ”‘ ‘†‘ •–ƒ„Ž—ǡ ‘† •‡ƒœ‹˜ƒ‘’Ž‡–‹‘†Ǥ ͵ǤͳǤʹǤ    ƒ†ƒ •— ƒ ’‘–”‡„‹ —•Ž‘˜‹ ‘Œ‹ ‘”ƒ †ƒ „—†— ‹•’—Œ‡‹ †ƒ „‹ Œ‡†ƒ ’”‡ˆ‹•‹ ‘†’‘•–‘Œƒ‘Ǥ •’‘•–ƒ˜ŽŒƒ•‡†ƒŒ‡”ƒˆ–‘˜ƒ‡Œ‡†ƒ‘•–’‘–”‡„ƒ‹†‘˜‘ŽŒƒ—•Ž‘˜Ǥ TEOREMA 3.1”ƒˆ–‘˜ƒ‡Œ‡†ƒ‘•–Ǥ ƒ•˜ƒ‹Ǧƒ”‹’”‡ˆ‹•‹‘†‘†ܰ‘†‹Š”‡«‹«‹Œ‡•—†—ā‹‡’‘œ‹–‹˜‹…‡Ž‹„”‘Œ‡˜‹ ሼŽଵ ǡ Žଶ ǡ ǥ ǡ Ž୒ ሽǡ‘”ƒ˜ƒā‹–‹ǣ ே

෍ ‫ିܦ‬௟೔ ൑ ͳ ௜ାଵ

‹ ‘„”—–‘ǡ ƒ‘ •— †ƒ–‡ †—ā‹‡ ‘†‹Š ”‡«‹ ‘Œ‡ œƒ†‘˜‘ŽŒƒ˜ƒŒ— ‘˜— ‡Œ‡†ƒ‘•–ǡ ’‘•–‘Œ‹’”‡ˆ‹•‹‘†•ƒ‘†‹”‡«‹ƒ†ƒ–‡†—ā‹‡Ǥƒ†ƒ—ȋ͵ǤͳȌ˜ƒā‹Œ‡†ƒ‘•–ǡ –ƒ†ƒŒ‡‘†‘’Ž‡–ƒǤ PRIMER 3.8 80

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ„‹ƒ”‹ȋ‫ ܦ‬ൌ ʹȌ‘’Ž‡–‹’”‡ˆ‹•‹‘†‹œ’”‹‡”ƒ͵ǤͶሼͲǡͳͲǡͳͳሽ˜ƒā‹ǣ ୒ ౟

෍ ି୪ ൌ ʹିଵ ൅ ʹିଶ ൅ ʹିଶ ൌ ୧ୀଵ

ͳ ͳ ͳ ൅ ൅ ൌ ͳ ʹ Ͷ Ͷ

”ƒˆ–‘˜ƒ‡Œ‡†ƒ‘•–ƒƒā‡†ƒ’‘•–‘Œ‹„ƒ”‡Œ‡†ƒ–‡”ƒ”‹’”‡ˆ‹•‹‘†«‹Œ‡ •—†—ā‹‡‘†‹Š”‡«‹ͳǡʹǡʹǡͶǡœƒ–‘斑˜ƒā‹ǣ ͵ିଵ ൅ ͵ିଶ ൅ ͵ିଶ ൅ ͵ିସ ൅

Ͷͺ ؆ ͲǤͷ͹ ൏ ͳ ͺͳ

˜ƒŒ‘†‡„‹„‹‘‘’Ž‡–ƒǤ Žƒ•‹«ƒ’‘‰”‡æƒ—’‘–”‡„ƒ”ƒˆ–‘˜‡‡Œ‡†ƒ‘•–‹Œ‡‘†‰‘˜ƒ”ƒŒ‡ƒ’‹–ƒŒ‡†ƒŽ‹ Œ‡ ‘† •ƒ œƒ†ƒ–‹ †—ā‹ƒƒ ‘†‹Š ”‡«‹ ’”‡ˆ‹•ƒǤ ˜ƒ ‡Œ‡†ƒ‘•– ƒ •ƒ‘ †ƒŒ‡‹ˆ‘”ƒ…‹Œ—ƒ†ƒ‘ā‡’‘•–‘Œƒ–‹Œ‡†ƒ’”‡ˆ‹•‹‘†Ǥ ƒ’”‹‡”ǡ’”˜‹‘†‹œ’”‹‡”ƒ͵ǤͶȓͳǡͲͲǡͳͲȔ‹Œ‡’”‡ˆ‹•‹‹ƒ‘Œ‡ǣ ෍ ‫ିܦ‬௟೔ ൌ ʹିଵ ൅ ʹିଶ ൅ ʹିଶ ൌ ͳ ‡‘”‡ƒ ͵Ǥͳ ƒ •ƒ‘ ƒā‡ †ƒ ’‘•–‘Œ‹ ’”‡ˆ‹•‹ ‘† ‹•–‹Š †—ā‹ƒ ‘†‹Š ”‡«‹ǡ ‹ œƒ‹•–ƒ‘’‘•–‘Œ‹‹†ƒ–Œ‡—‹•–‘’”‹‡”—͵ǤͶǡ–ŒǤ‘†ȓͲǡͳͲǡͳͳȔǤ PRIMER 3.9 Da li postoji binarni prefiksni kod sa dužinama kodnih rei ݈ଵ ൌ ʹ, ݈ଶ ൌ ʹ, ݈ଷ ൌ ʹ, ݈ସ ൌ ͵݈݅ହ ൌ Ͷ? †‰‘˜‘”Œ‡ǡ’‘æ–‘Œ‡ǣ ହ

෍ ʹି௟೔ ൌ ௜ୀଵ

ͳ ͳ ͳ ͳ ͳ ͳͷ ൅ ൅ ൅ ൅ ൌ ൏ ͳǤ Ͷ Ͷ Ͷ ͺ ͸ ͳ͸

”‹‡”Œ‡†‘‰–ƒ˜‘‰‘†ƒŒ‡†ƒ–ƒȋŽ‹ƒ͵ǤͺȌǤ

81

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒ͵Ǥͺ‘†‘•–ƒ„Ž‘„‹ƒ”‘‰’”‡ˆ‹•‘‰‘†ƒ

ࢁ ࢆ

࢛૚ ͲͲ

࢛૛ Ͳͳ

࢛૜ ͳͲ

࢛૞ ͳͳͲ

࢛૟ ͳͳͳͲ

PRIMER 3.10 Da li binarni prefiksni kod sa dužinama kodnih rei 1,2,2,3,4 postoji? †‰‘˜‘”Œ‡ǡ„—†—©‹†ƒ˜ƒā‹ǣ ହ

෍ ʹି௟೔ ൌ ௜ୀଵ

82

ͳ ͳ ͳ ͳ ͳ ͳͻ ൅ ൅ ൅ ൅ ൌ ൐ ͳǤ ʹ Ͷ Ͷ ͺ ͳ͸ ͳ͸

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͵ǤʹǤ    •‘˜‹…‹ŽŒ‡ˆ‹ƒ•‘‰‘†‘˜ƒŒƒŒ‡‘†‘˜ƒŒ‡†ƒ–‘‰‹œ˜‘”ƒ‹ˆ‘”ƒ…‹Œƒ–ƒ‘†ƒŒ‡ •”‡†Œƒ †—ā‹ƒ ‘†ƒ ‹‹ƒŽƒǤ ‘† ˜”Ž‘ ‘’æ–‹ —•Ž‘˜‹ƒ ƒ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒǡ ‘Œ‹ •— •‘”‘ —˜‡ ‹•’—Œ‡‹ — ’”ƒ•‹ǡ ‹‹‹œƒ…‹Œƒ •”‡†Œ‡ †—ā‹‡ ‘†ƒ Œ‡ ‡˜‹˜ƒŽ‡–‘‹‹‹œƒ…‹Œ‹‘«‡‹˜ƒ‡†—ā‹‡‘†ƒǤ DEFINICIJA 3.9«‡‹˜ƒƒ†—ā‹ƒ‘†ƒǤ ‡ƒ Œ‡ †ƒ– ‹œ˜‘”ǡ «‹Œ‹ •‡ •‹„‘Ž‹—୧ ‡‹–—Œ— •ƒ ˜‡”‘˜ƒ–‘©ƒƒ’୧ ǡሺͲ ൑ ‹ ൑ ሻ‹ ‡ƒ•—Ž୧ †—ā‹‡‘†‹Š”‡«‹Ǥ«‡‹˜ƒƒ†—ā‹ƒ‘†ƒǡ‘†‘•‘‘«‡‹˜ƒƒ†—ā‹ƒ ‘†‹Š”‡«‹Œ‡†ƒ–ƒ•ƒǣ ே

‫ܧ‬ሾ‫ܮ‬ሿ ൌ ෍ ‫݌‬௜ ݈௜  ௜ୀଵ

ƒæ…‹ŽŒŒ‡†ƒ’”‘ƒ¯‡‘’”‡ˆ‹•‹‘†‘Œ‹‹ƒ‫ܧ‬ሾ‫ܮ‬ሿ斑Œ‡‘‰—©‡ƒŒ‡Ǥ ƒ•‘ ƒŒ‡†ƒ”ƒ©‹‘†‹”‡«‹ƒ–”‡„ƒ‘†‘˜ƒ–‹ƒŒ˜‡”‘˜ƒ–‹Œ‡•‹„‘Ž‡Ǥ Kako odrediti dužine kodnih rei? Koja je najmanja teorijska vrednost za ‫ܧ‬ሾ‫ܮ‬ሿ? ͵ǤʹǤͳǤ Ǧ ”‡ˆ‹•‹ ‘†‘˜‹ •‡ ‘‰— †‡ˆ‹‹•ƒ–‹ n-ƒ”‹ •–ƒ„Ž‹ƒ — ‘Œ‹ƒ •˜ƒƒ ‘†ƒ ”‡« ‘†‰‘˜ƒ”ƒŒ‡†‘Ž‹•–—•–ƒ„Žƒǡ‘†‘•‘Œ‡†‹•–˜‡‘’—–—‘†‘”‡ƒ†‘–‘‰Ž‹•–ƒǤ —†—©‹ †ƒ ‹œ˜‘” ‡‹–—Œ‡ •‹„‘Ž‡ •ƒ ‘†”‡¯‡‹ ˜‡”‘˜ƒ–‘©ƒƒǡ Œƒ•‘ Œ‡ †ƒ ©‡ ‹ •˜ƒƒ‘†ƒ”‡«ǡ‘†‘•‘Ž‹•–ǡ‹ƒ–‹–ƒ«‘‘†”‡¯‡—˜‡”‘˜ƒ–‘©—Ǥ‡‹•‘”‹æ©‡‹ Ž‹•–‘˜‹ƒ•‡’‘‘˜‡…‹Œ‹†‘†‡ŽŒ—Œ—˜‡”‘˜ƒ–‘©‡Œ‡†ƒ‡ͲǤ ƒ‘ ‘œƒ«ƒ˜ƒŒƒ Ž‹•–‘˜ƒ ‘†‰‘˜ƒ”ƒŒ—©‹ ˜‡”‘˜ƒ–‘©ƒƒǡ ‘ā‡‘ •”ƒ«—ƒ–‹ ‹ ˜‡”‘˜ƒ–‘©‡——–”ƒæŒ‹Š«˜‘”‘˜ƒǡ”‡—”œ‹˜‘‘†Ž‹•–‘˜ƒƒ‘”‡—ǡ‹ƒŒ—©‹—˜‡— ˜‹†— †ƒ Œ‡ ˜‡”‘˜ƒ–‘©ƒ Œ‡†‘‰ «˜‘”ƒ Œ‡†ƒƒ •—‹ ˜‡”‘˜ƒ–‘©ƒ Œ‡‰‘˜‹Š †‡…ƒǦ «˜‘”‘˜ƒǤƒ‘‘˜‡’”‘…‡†—”‡†‘„‹Ž‹•‘˜‡”‘˜ƒ–‘•‘n-ƒ”‘•–ƒ„Ž‘Ǥ

83

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

DEFINICIJA 3.10‡”‘˜ƒ–‘•‘n-ƒ”‘•–ƒ„Ž‘Ǥ ‡”‘˜ƒ–‘•‘ n-ƒ”‘ •–ƒ„Ž‘ Œ‡ n-ƒ”‘ •–ƒ„Ž‘ «‹Œ‹ «˜‘”‘˜‹ƒ •— †‘†‡ŽŒ‡‡ ˜‡”‘˜ƒ–‘©‡ƒ•Ž‡†‡©‹ƒ«‹ǣ ͳǤ ‘”‡—Œ‡†‘†‡ŽŒ‡ƒ˜‡”‘˜ƒ–‘©ƒͳǡ ʹǤ ‡”‘˜ƒ–‘©ƒ •˜‹Š ‘•–ƒŽ‹Š «˜‘”‘˜ƒǡ —ŽŒ—«—Œ—©‹ ‹ ‘”‡ǡ Œ‡†ƒƒ Œ‡ •—‹ ˜‡”‘˜ƒ–‘©ƒŒ‡‰‘˜‹Š†‡…ƒǦ«˜‘”‘˜ƒǤ PRIMER 3.11 ƒ „‹ƒ”‹ ’”‡ˆ‹•‹ ‘† ‹œ ’”‹‡”ƒ ͵Ǥͻǡ ‡ƒ •— ˜‡”‘˜ƒ–‘©‡ ‘†‹Š ”‡«‹ ‫݌‬ଵ ൌ ‫݌‬ଶ ൌ ͲǤͳǡ ‫݌‬ଶ ൌ ‫݌‬ସ ൌ ͲǤʹǡ‫݌‬ଷ ൌ ͲǤͶǤ ƒ†ƒƒ‘”‡œ—Ž–ƒ–†‘„‹Œƒ‘˜‡”‘˜ƒ–‘•‘„‹ƒ”‘•–ƒ„Ž‘ǣ

 Ž‹ƒ͵Ǥͻ‡æ‡Œ‡’”‹‡”ƒ͵Ǥͳͳ

”‹‡–‹‘ †ƒ — ˜‡”‘˜ƒ–‘•‘ n-ƒ”‘ •–ƒ„Ž— •—ƒ ˜‡”‘˜ƒ–‘©ƒ •˜‹Š Ž‹•–‘˜ƒ ‘”ƒ„‹–‹Œ‡†ƒƒͳǤ LEMA 3.1‡ƒ†—ā‹‡’—–ƒǤ

84

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜‡”‘˜ƒ–‘•‘n-ƒ”‘•–ƒ„Ž—ǡ’”‘•‡«ƒȋ‘«‡‹˜ƒƒȌ˜”‡†‘•–†—„‹‡Ž‹•–‘˜ƒ Œ‡†ƒƒ Œ‡ •—‹ ˜‡”‘˜ƒ–‘©ƒ ——–”ƒæŒ‹Š «˜‘”‘˜ƒ ȋ‹•ŽŒ—«‹˜ƒŒ‡ Ž‹•–‘˜ƒ ‹ —ŽŒ—«‹˜ƒŒ‡‘”‡ƒȌǤ PRIMER 3.12‡ƒ†—ā‹‡’—–ƒœƒ’”‹‡”͵ǤͳͳǤ ƒ ’”‹‡” ‘˜‘‰ ˜‡”‘˜ƒ–‘•‘‰ „‹ƒ”‘‰ •–ƒ„Žƒǡ ‘«‡‹˜ƒƒ †—„‹ƒ Ž‹•–‘˜ƒ Œ‡ Œ‡†ƒƒͳ ൅ ͲǤ͵ ൅ ͲǤ͹ ൅ ͲǤ͵ ൅ ͲǤͳ ൌ ʹǤͶǤ ”‘˜‡”ƒǡ ‘«‡‹˜ƒƒ †—ā‹ƒ ‘†‹Š ”‡«‹ Œ‡ʹ ൉ ͲǤͳ ൅ ʹ ൉ ͲǤʹ ൅ ʹ ൉ ͲǤͶ ൅ ͵ ൉ ͲǤʹ ൅ Ͷ ൉ ͲǤͳ ൌ ʹǤͶǤ DEFINICIJA 3.11–”‘’‹ŒƒŽ‹•–‘˜ƒn-ƒ”‘‰˜‡”‘˜ƒ–‘•‘‰•–ƒ„ŽƒǤ ‡ƒ Œ‡ܰ„”‘Œ Ž‹•–‘˜ƒ ˜‡”‘˜ƒ–‘•‘‰ n-ƒ”‘‰ •–ƒ„Žƒ ‹ ‡ƒ •—’ଵ ǡ ’ଶ ǡ ǥ ǡ ’୒  Œ‹Š‘˜‡ ˜‡”‘˜ƒ–‘©‡Ǥ ‘† ‡–”‘’‹Œ‘ Ž‹•–‘˜ƒ ’‘†”ƒœ—‡˜ƒ©‡‘ ‡–”‘’‹Œ— †‡ˆ‹‹•ƒ—•ƒǣ ‫ ܪ‬ൌ ෍ ‫݌‬௜ Ž‘‰ ‫݌‬௜ ௜

OSOBINA 3.5 ƒ ˜‡”‘˜ƒ–‘•‘ n-ƒ”‘ •–ƒ„Ž‘ ‘Œ‡ ‘†‰‘˜ƒ”ƒ ’”‡ˆ‹•‘ ‘†— ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒǡ˜ƒā‹ǣ ‫ ܪ‬ൌ ‫ܪ‬ሺܷሻ DOKAZ OSOBINE 3.4 ‡ƒ Œ‡ܼ’”‡ˆ‹•‹ ‘† ‹œ˜‘”ƒܷǤ ‘ †‡ˆ‹‹…‹Œ‹ ˜‡”‘˜ƒ–‘©ƒ’୧ Œ‡ ˜‡”‘˜ƒ–‘©ƒ ‹Ǧ–‡ ‘†‡ ”‡«‹ǡ ’ƒ Œ‡ •–‘‰ƒ‫ ܪ‬ൌ ሺሻǤ  †”—‰‡ •–”ƒ‡ „—†—©‹ †ƒ Œ‡ ‘† ‡•‹‰—Žƒ”ƒǡ ‘†‘•‘ܼ ൌ ݂ሺܷሻŒ‡‹Œ‡–‹˜‘’”‡•Ž‹ƒ˜ƒŒ‡ǡ‫ܪ‬ሺܼሻ ൌ ‫ܪ‬ሺܷሻǤ–‘‰ƒŒ‡‫ ܪ‬ൌ ‫ܪ‬ሺܷሻǤ DEFINICIJA 3.12–”‘’‹Œƒ‰”ƒƒŒƒǤ ‡ƒŒ‡‫ƒ”–——Œ‘”„ܯ‬搌‹Š«˜‘”‘˜ƒ˜‡”‘˜ƒ–‘•‘‰Ǧ•–ƒ„Žƒ‹‡ƒ•—ଵ ǡ ଶ ǡ ǥ ୑  Œ‹Š‘˜‡ ˜‡”‘˜ƒ–‘©‡Ǥ ‡ƒ •— ‫ݍ‬௜ଵ ǡ ‫ݍ‬௜ଶǡǥǡ ‫ݍ‬௜௡೔ ǡ ˜‡”‘˜ƒ–‘©‡ ୧ «˜‘”‘˜ƒǦ†‡…‡ ȋ—ŽŒ—«—Œ—©‹‹Ž‹•–‘˜‡Ȍ——–”ƒæŒ‡‰«˜‘”ƒ«‹ŒƒŒ‡˜‡”‘˜ƒ–‘©ƒ୧ Ǥ–”‘’‹Œƒ‰”ƒƒŒƒ ୧ —–‘«˜‘”—Œ‡†ƒ–ƒ•ƒǣ 85

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________ ௡೔

௡೔

௝ୀଵ

௝ୀଵ

‫ݍ‬௜௝ ‫ݍ‬௜௝ ‫ܪ‬௜ ൌ ෍ Ž‘‰ ǡܲ௜ ൌ ෍ ‫ݍ‬௜௝ Ǥ ܲ௜ ܲ௜ PRIMER 3.13 ‡ƒŒ‡‫ ܯ‬ൌ ͷ«˜‘”‘˜ƒ˜‡”‘˜ƒ–‘•‘‰•–ƒ„Žƒ‹œ’”‹‡”ƒ͵Ǥͻ–ƒ‘—‡”‹•ƒ‘†ƒ Œ‡ଵ ൌ ͳǡଶ ൌ ͲǤ͵ǡଷ ൌ ͲǤ͹ǡସ ൌ ͲǤ͵ǡହ ൌ ͲǤͳǤƒ†ƒŒ‡ǣ ହ

‫ ܪ‬ൌ െ ෍ ‫݌‬௜ Ž‘‰ ‫݌‬௜ ؆ ʹǤͳʹʹܾ݅‫ݐ‬Ǥ ௜ୀଵ

݊ଵ ൌ ʹǡ‫ݍ‬ଵଵ ൌ ͲǤ͵ǡ‫ݍ‬ଵଶ ൌ ͲǤ͹ǡ ‫ܪ‬ଵ ൌ െͲǤ͵ Ž‘‰ ͲǤ͵ െ ͲǤ͹ Ž‘‰ ͲǤ͹ ؆ ͲǤͺͺͳܾ݅‫ݐ‬Ǥ ݊ଶ ൌ ʹǡ‫ݍ‬ଶଵ ൌ ͲǤͳǡ‫ݍ‬ଶଶ ൌ ͲǤʹǡ ‫ܪ‬ଵ ൌ െͲǤ͵ Ž‘‰ ͲǤ͵ െ ͲǤ͹ Ž‘‰ ͲǤ͹ ؆ ͲǤͻͳͺܾ݅‫ݐ‬Ǥ ‫ܪ‬ଷ ؆ ͲǤͻͺͷܾ݅‫ݐ‬ǡ ‫ܪ‬ସ ؆ ͲǤͻͳͺܾ݅‫ݐ‬ǡ ‫ܪ‬ହ ൌ ͲǤ TEOREMA 3.2–”‘’‹ŒƒŽ‹•–‘˜ƒǤ –”‘’‹Œƒ Ž‹•–‘˜ƒ ˜‡”‘˜ƒ–‘•‘‰ n-ƒ”‘‰ •–ƒ„Žƒ Œ‡†ƒƒ Œ‡ •—‹ ’‘ •˜‹ ——–”ƒæŒ‹ «˜‘”‘˜‹ƒ —ŽŒ—«—Œ—©‹ ‘”‡ǡ ‡–”‘’‹Œƒ ‰”ƒƒŒƒ «˜‘”‘˜ƒ •ƒ –‡ā‹•‹ˆƒ–‘”‹ƒŒ‡†ƒ‹Œ‹Š‘˜‹˜‡”‘˜ƒ–‘©ƒƒǡ–ŒǤǣ ெ

‫ ܪ‬ൌ ෍ ܲ௜ ‫ܪ‬௜  ௜ୀଵ

PRIMER 3.14 ‘ƒ•–ƒ˜‹‘•ƒ’”‹‡”‘͵Ǥͳ͵ǡ’”‡ƒ–‡‘”‡‹͵Ǥʹ˜ƒā‹ǣ ‫ ܪ‬ൌ ͳ ȉ ‫ܪ‬ଵ ൅ ͲǤ͵ ȉ ‫ܪ‬ଶ ൅ ͲǤ͹ ȉ ‫ܪ‬ଷ ൅ ͲǤ͵ ȉ ‫ܪ‬ସ ൅ ͲǤͳ ȉ ‫ܪ‬ହ ؆ ͲǤͺͺͳ ൅ ͲǤ͵ ȉ ͲǤͻͳͺ ൅ ͲǤ͹ ȉ ͲǤͻͺͷ ൅ ͲǤ͵ ȉ ͲǤͻͳͺ ൅ Ͳ ؆ ʹǤͳʹʹܾ݅‫ݐ‬ e–‘•‡•Žƒā‡•ƒ†‹”‡–‹”ƒ«—ƒŒ‡‘„ƒ˜ŽŒ‡‹—’”‹‡”—͵Ǥͳ͵Ǥ

86

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

TEOREMA 3.3 ƒ „‹Ž‘ ‘Œƒ †˜ƒ ’”‡ˆ‹•ƒ ‘†ƒ ƒ† ‹•–‹ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘”‘ǡ ‘† ‘Œ‹ ‹ƒ ”ƒ©— ‘«‡‹˜ƒ— †—ā‹— ‹ƒ ˜‡©— ‡–”‘’‹Œ— •‹„‘ŽƒǤ ‘’”‹‘˜ƒŒ‡ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹Œƒ’‘˜‡©ƒ˜ƒ‡–”‘’‹Œ—•‹„‘ŽƒǤ  ͵ǤʹǤʹǤ e  e ‘”‹•–‡©‹ †‘•ƒ†ƒæŒ‡ ”‡œ—Ž–ƒ–‡ǡ — •–ƒŒ— •‘ †ƒ ‘†”‡†‹‘ ˆ—†ƒ‡–ƒŽ— †‘Œ— ‰”ƒ‹…—‘«‡‹˜ƒ‡˜”‡†‘•–‹’”‡ˆ‹•‹Š‘†‘˜ƒ†ƒ–‘‰‹ˆ‘”ƒ…‹‘‘‰‹œ˜‘”ƒǤ TEOREMA 3.4e‡‘‘˜ƒ–‡‘”‡ƒ‘†‘˜ƒŒƒ‡‘  ƒ „‹Ž‘ ‘Œ‹ †‹•”‡–‹ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒ „‡œ ‡‘”‹Œ‡ «‹Œƒ Œ‡ ‡–”‘’‹Œƒ‫ܪ‬ሺܷሻǡ ‘«‡‹˜ƒƒ†—ā‹ƒǦƒ”‘‰’”‡ˆ‹•‘‰‘†ƒ‫ܧ‬ሾ‫ܮ‬ሿ–‘‰‹œ˜‘”ƒǡœƒ†‘˜‘ŽŒƒ˜ƒǣ ‫ܧ‬ሾ‫ܮ‬ሿ ൒

‫ܪ‬ሺܷሻ  Ž‘‰ ‫ ܦ‬ᇱ

‡‘”‡ƒ ͵ǤͶ †ƒŒ‡ Œ‡†— †‘Œ— ‰”ƒ‹…— œƒ ‘«‡‹˜ƒ— †—ā‹— ‘†ƒ †ƒ–‘‰ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹ŒƒǤ Kakva je ta granica? Da li ima i drugih granica (npr 1)?

ƒ•‘ Œ‡ †ƒ ‘˜ƒŒ ”‡œ—Ž–ƒ– ’‘•–ƒŒ‡ ˜‹•‘‘˜”‡†‘˜ƒ •ƒ‘ ƒ‘ ’‘ƒā‡‘ †ƒ Œ‡ –ƒ ‰”ƒ‹…ƒ ƒŒ„‘ŽŒƒ ‘‰—©ƒ †‘Œƒ ‰”ƒ‹…ƒǤ ƒ „‹ •‘ ‘˜‘ ’‘ƒœƒŽ‹ǡ ’‘–”‡„‘ Œ‡ ‘•–”—‹•ƒ–‹ ‘”‡–ƒ ‘† «‹Œƒ •‡ ‘«‡‹˜ƒƒ †—ā‹ƒ ‘†‹Š ”‡«‹ ’”‘‹œ˜‘ŽŒ‘ –ƒ«‘’”‹„Ž‹āƒ˜ƒ‘˜‘Œ‰”ƒ‹…‹Ǥ ”˜‘©‡‘‘•–”—‹•ƒ–‹‡ˆ‹ƒ•ƒ’”‡ˆ‹•‹‘†ǡ‘Œ‹‹ƒ‘‹Œ‡‘’–‹ƒŽƒ—‘’æ–‡ •Ž—«ƒŒ— •‡ †‘˜‘ŽŒ‘ †‘„”‘ ’”‹„Ž‹āƒ˜ƒ †‘Œ‘Œ ‰”ƒ‹…‹ ‘«‡‹˜ƒ‡ ˜”‡†‘•–‹ ‘†‹Š ”‡«‹Ǥ †‡Œƒ•‡•˜‘†‹ƒ‹œ„‘”݀—ā‹‡Ž୧ ‘†‡”‡«‹—୧ –ƒ‘†ƒ˜ƒā‹ǣ ݈௜ ൌ ൤െ

Ž‘‰ ‫݌‬௜ ൨ǡ Ž‘‰ ‫ܦ‬ 87

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‰†‡ሾ‫ ݔ‬ሿ‘œƒ«ƒ˜ƒ…‡Ž‘„”‘Œ—˜”‡†‘•––ƒ˜—†ƒŒ‡ǣ ‫ ݔ‬൑ ሾ‫ ݔ‬ሿ ൑ ‫ ݔ‬൅ ͳǤ ˜ƒƒ˜‘†•‡ƒœ‹˜ƒe‡‘Ǧ ƒ‘‘˜‘†ǡ„—†—©‹†ƒ‰ƒŒ‡e‡‘‹’Ž‹…‹–‘†ƒ‘— •˜‘”ƒ†—‹œͳͻͶͺ‰‘†‹‡ǡƒ ƒ‘‰ƒŒ‡‡•’Ž‹…‹–‘‘•–”—‹•ƒ‘Ǥ •

Da li ovakav kod uvek postoji?

†‰‘˜‘” Œ‡ ƒˆ‹”ƒ–‹˜ƒ ƒ ‘•‘˜— ”ƒˆ–‘˜‡ ‡Œ‡†ƒ‘•–‹Ǥ ƒ‹•–ƒ ’‘ †‡ˆ‹‹…‹Œ‹ ‘’‡”ƒ…‹Œ‡Œ‡ǣ ݈௜ ൒ െ

Ž‘‰ ‫݌‬௜ ǡ Ž‘‰ ‫ܦ‬

’ƒŒ‡ǣ ୪୭୥ ௣೔

෍ ‫ିܦ‬௟೔ ൑ ෍ ‫ ܦ‬୪୭୥ ஽ ൌ ෍ ‫ܦ‬୪୭୥ವ೛೔ ൌ ෍ ‫݌‬௜ ൌ ͳǤ ௜

௜

௜

௜

ƒ†ƒ©‡‘‹•–”ƒā‹–‹‘Ž‹‘Œ‡‘˜ƒŒ‘††‘„ƒ”—‘†‘•—ƒ‘«‡‹˜ƒ—†—ā‹—‘†ƒǤ ‘†‡ˆ‹‹…‹Œ‹˜ƒā‹ǣ ݈௜ ൏ െ

Ž‘‰ ‫݌‬௜ ൅ ͳǤ Ž‘‰ ‫ܦ‬

‘‘„‡•–”ƒ‡’‘‘ā‹‘•ƒ’୧ ‹•—‹”ƒ‘’‘݅ǡ†‘„‹Œƒ‘ǣ ෍ ‫݌‬௜ ݈௜ ൏ ௜

െ σ௜ ‫݌‬௜ Ž‘‰ ‫݌‬௜ ൅ ෍ ‫݌‬௜ ǡ Ž‘‰ ‫ܦ‬ ௜

‫ ܧ‬ሾ‫ܮ‬ሿ ൏

‫ܪ‬ሺܷሻ ൅ ͳǤ Ž‘‰ ‫ܦ‬

‹†‹‘†ƒŒ‡‘«‡‹˜ƒƒ˜”‡†‘•–‘†‹Š”‡«‹e‡‘Ǧ ƒ‘‘˜‘†ƒ—†ƒŽŒ‡ƒƒŒ˜‹æ‡ Œ‡†ƒ •‹„‘Ž ‘† †‘Œ‡ ‰”ƒ‹…‡ †ƒ–‡ ‡‘”‡‘ ͵ǤͶǤ ‘ œƒ«‹ †ƒ Œ‡ ‘˜ƒŒ ‘† ’”‹Ž‹«‘†‘„ƒ”‹†ƒ斑Œ‡‡–”‘’‹Œƒ‹œ˜‘”ƒ˜‡©ƒ‘Œ‡•˜‡ „‘ŽŒ‹Ǥ‡¯—–‹ œƒ ƒŽ‡ ‡–”‘’‹Œ‡‹œ˜‘”ƒ‘‰—©‡Œ‡’”‘ƒ©‹œƒ–‘„‘ŽŒ‹‘†Ǥ TEOREMA 3.5e‡‘‘˜ƒ–‡‘”‡ƒ‘†‘˜ƒŒƒǡ‡‘  88

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ „‹Ž‘ ‘Œ‹ †‹•”‡–‹ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒ „‡œ ‡‘”‹Œ‡ǡ «‹Œƒ Œ‡ ‡–”‘’‹Œƒ‫ܪ‬ሺܷሻǡ ’‘•–‘Œ‹„ƒ”‡Œ‡†ƒǦƒ”‹’”‡ˆ‹•‘†«‹ŒƒŒ‡‘«‡‹˜ƒƒ†—ā‹ƒ‘†‹Š”‡«‹‫ܧ‬ሾ‫ܮ‬ሿ †ƒ–ƒ•ƒǣ ‫ ܧ‬ሾ‫ܮ‬ሿ ൏

‫ܪ‬ሺܷሻ ൅ ͳǤ Ž‘‰ ‫ܦ‬

PRIMER 3.15 ƒœ‘–”‹‘ „‹ƒ”‹ሺ‫ ܦ‬ൌ ʹሻe‡‘Ǧ ƒ‘‘˜ ‘† œƒ ‹œ˜‘”ܷ•ƒ «‡–‹”‹ •‹„‘Žƒ «‹Œ‡ •—˜‡”‘˜ƒ–‘©‡‫ ͳ݌‬ൌ ͲǤͶǡ‫ ʹ݌‬ൌ ͲǤ͵ǡ‫ ͵݌‬ൌ ͲǤʹ‹‫݌‬Ͷ ൌ ͲǤͳǤ ‘†‡”‡«‹•—†ƒ–‡†—ā‹ƒƒǣ ݈ூ ൌ െ‫ ‰‘Žڿ‬ଶ ͲǤͶ‫ ۀ‬ൌ ʹǡ ݈ଶ ൌ െ‫ ‰‘Žڿ‬ଶ ͲǤ͵‫ ۀ‬ൌ ʹǡ ݈ଷ ൌ െ‫ ‰‘Žڿ‬ଶ ͲǤʹ‫ ۀ‬ൌ ͵ǡ ݈ூ ൌ െ‫ ‰‘Žڿ‬ଶ ͲǤͳ‫ ۀ‬ൌ ͶǤ ‘†‘•–”—‹æ‡‘ƒ‘•‘˜—’‘•–—’ƒ†ƒ–‘‰—†‘ƒœ—”ƒˆ–‘˜‡‡Œ‡†ƒ‘•–‹Ǥ Kako se konstruiše kodno stablo ሺܶ௞௢ௗ ሻ ? ‡ƒ•—œƒ†ƒ–‡†—ā‹‡‘†‹Š”‡«‹Žଵ ǡŽଶ ǡǤǤǤǡŽ୒   ൌ ƒš Ž୧ ൅ ͳ ୧

‘•–”—‹•ƒ–‹’‘–’—‘‘†‘•–ƒ„Ž‘†—„‹‡ሺ௣௢௧௣௨௡௢ ሻǤ ƒ«˜‘”‘˜‡‘Œ‡’”‘‰Žƒ•‹‘‘†‹”‡«‹ƒ‹œ˜”æ‹–‹’‘–”‡•‹˜ƒŒ‡‘†‰‘˜ƒ”ƒŒ—©‡‰ ’‘†•–ƒ„Žƒ‹•’‘†–‘‰«˜‘”ƒǤ

89

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒ͵ǤͳͲ‘–’—‘‘†‘•–ƒ„Ž‘

ƒ•–ƒ˜ƒ’”‹‡”ƒ͵ǤͳͷǤ

 Ž‹ƒ͵Ǥͳͳ”‹‡”͵ǤͳͷǤ

ƒ‘•‘˜—‡‡‘†—ā‹‹’—–ƒǡ‹ƒ‘ǣ ܴ ሾ‫ܮ‬ሿ ൌ ͳ ൅ ͲǤ͹ ൅ ͲǤ͵ ൅ ͲǤ͵ ൅ ͲǤͳ ൌ ʹǤͶǡ ‹”‡–ƒ”ƒ«—†ƒŒ‡ǣ ‫ܪ‬ሺܷሻ ൌ ͲǤͶ Ž‘‰ ͲǤͶ ൅ ͲǤ͵ Ž‘‰ ͲǤ͵ ൅ ͲǤʹ Ž‘‰ ͲǤʹ ൅ ͲǤͳ Ž‘‰ ͲǤͳ ؆ ͳǤͺܾ݅‫ݐ‬Ǥ ‹†‹‘†ƒŒ‡œƒ†‘˜‘ŽŒ‡ƒ‡Œ‡†ƒ‘•–ǣ 90

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ ܧ‬ሾ‫ ܮ‬ሿ ൏

‫ܪ‬ሺܷሻ ൅ ͳǤ Ž‘‰ ‫ܦ‬

†‘•‘ʹǤͶ ൏ ͳǤͺ ൅ ͳ ൌ ʹǤͺǤ ‡¯—–‹˜‹†‹•‡†ƒ‘˜ƒŒ‘†‹Œ‡‘’–‹ƒŽƒǤƒ†ƒ„‹•‘—’‘–”‡„‹Ž‹Ͷ‘†‡”‡«‹ †—ā‹‡ʹǡ‹ƒŽ‹„‹•‘”ƒ©—‘«‡‹˜ƒ—†—ā‹—‘†ƒ‫ܧ‬ሾ‫ܮ‬ሿ ൌ ʹǤ ͵ǤʹǤ͵Ǥ   ƒˆƒ‘˜ ƒŽ‰‘”‹–ƒ ‘†‘˜ƒŒƒ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹Œƒ „‡œ ‡‘”‹Œ‡ǡ ’‘‘©— Ǧ ƒ”‘‰ ’”‡ˆ‹•‘‰ ‘†ƒǡ †ƒŒ‡ ‘’–‹ƒŽƒ ‘† ‹‹ƒŽ‡ ‘‰—©‡ ‘«‡‹˜ƒ‡ ˜”‡†‘•–‹‘†‹Š”‡«‹Ǥ ‡ƒ ‹œ˜‘”ܷ ‹ƒ݊ •‹„‘Žƒ‫ͳݑ‬ǡ ‫ʹݑ‬ǡ Ǥ Ǥ Ǥ ǡ ‫ ݊ݑ‬ǡ •ƒ ‘†‰‘˜ƒ”ƒŒ—©‹ ˜‡”‘˜ƒ–‘©ƒƒ ‫ͳ݌‬ǡ ‫ʹ݌‬ǡ Ǥ Ǥ Ǥ Ǥ ǡ ‫݊݌‬Ǥ Hafmanov kod ͳǤ –ƒ”–—Œ‡‘ •ƒ •˜‹Š  «˜‘”‘˜ƒǡ ‘Œ‹ ©‡ ƒ ”ƒŒ— ‘†‘˜ƒŒƒ „‹–‹ Ž‹•–‘˜‹Ǥ ƒ–‹ǡ ‹œ”ƒ«—ƒŒ‘‘•–ƒ–ƒ”’”‹†‡ŽŒ‡Œ—ͳ െ ݊•ƒ‫ ܦ‬െ ͳǤȋ”‹‡–‹‘†ƒœƒ݊’ƒ”‘ǡ‫‡©ݎ‬ —˜‡„‹–‹—ŽƒȌ«‹‹‘•˜‹Š݊«˜‘”‘˜ƒǷaktivnimdzǤ ʹǤ ‘”‹”ƒŒ‘ ‘˜‹ «˜‘”ǡ «‹Œƒ •— †‡…ƒǦ«˜‘”‘˜‹ Ǧ” ƒŒƒŒ‡ ˜‡”‘˜ƒ–‹Š ƒ–‹˜‹Š «˜‘”‘˜ƒ‹‫‹”‘•‹‡ݎ‬橇‹Š«˜‘”‘˜ƒȋŽ‹•–‘˜ƒȌǤ

 Ž‹ƒ͵Ǥͳʹ–ƒ„Ž‘ƒˆƒ‘˜‘‰‘†ƒ

91

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

œƒ«‹–‹ Ǧ” ƒ–‹˜‹Š «˜‘”‘˜ƒ ƒ‘ ǷneaktivnedzǤ ‘˜‘ ”‡‹”ƒ‹ «˜‘” ‘œƒ«‹–‹ ƒ‘ ǷaktivandzǤ ‘†‡Ž‹–‹ ‘˜‘”‡‹”ƒ‘ «˜‘”— ˜‡”‘˜ƒ–‘©— Œ‡†ƒ— •—‹ —’”ƒ˜‘ †‡ƒ–‹˜‹”ƒ‹ŠǦ”«˜‘”‘˜ƒǤ ͵Ǥ ‘ ’‘•–‘Œ‹ •ƒ‘ Œ‡†ƒ ƒ–‹˜ƒ «˜‘” –ƒ†ƒ •‡ ’”‘…‡†—”ƒ ‘‘«ƒ˜ƒǤ ƒŒ «˜‘” Œ‡ —Œ‡†‘ ‹ ‘”‡ ‘ƒ«‘‰ ‘†‘‰ •–ƒ„ŽƒǤ  •—’”‘–‘ǡ ’‘•–ƒ˜‹–‹‫ ݎ‬ൌ Ͳ‹ ‹©‹ ƒ ‘”ƒʹǤ ”‡ˆ‹•‹‘†‘Œ‹”‡œ—Ž–—Œ‡—‘’‹•ƒ‘Œ’”‘…‡†—”‹•‡ƒœ‹˜ƒƒˆƒ‘˜‘†ǡ„—†—©‹ †ƒŒ‡—’”ƒ˜‘‘’‹•ƒ‹ƒŽ‰‘”‹–ƒ’”˜‹†ƒ‘ƒˆƒͷͲǦ–‹Š‰‘†‹ƒ˜‡ƒǤ PRIMER 3.16‹ƒ”‹ƒˆƒ‘˜‘†Ǥ ‡ƒŒ‡†ƒ–‹œ˜‘”ܷǣ ࢁ ࢖࢏

࢛૚ ͲǤͲͷ

࢛૛ ͲǤͳ

࢛૜ ͲǤͳͷ

࢛૝ ͲǤʹ͹

࢛૞ ͲǤʹͲ

࢛૟ ͲǤʹ͵

‡†ƒƒˆƒ‘˜‘†œƒ‹œ˜‘”ܷŒ‡†ƒ–•ƒǣ

 Ž‹ƒ͵Ǥͳ͵–ƒ„Ž‘ƒˆƒ‘˜‘‰‘†ƒœƒ†ƒ–‹’”‹‡”

ࢠ૚ ࢠ૛ ࢠ૜ ૙૙૙૙ ͲͲͲͳ ͲͲͳ

ࢠ૝ Ͳͳ

‡”‘˜ƒ–‘©‡——–”ƒæŒ‹Š«˜‘”‘˜ƒ•—†ƒ–‡—–ƒ„‡Ž‹ǣ 92

ࢠ૞ ͳͲ

ࢠ૟ ͳͳ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

࢜૚ ൌ ࢛૚ ْ ࢛૛

࢜૛ ൌ ࢜૚ ْ ࢛૜

૙Ǥ ૚૞

ͲǤ͵Ͳ

࢜૜ ൌ ࢛૞ ْ ࢛૟

࢜૝ ൌ ࢜૛ ْ ࢛૝

࢜૞ ൌ ࢜ ૝ ْ ࢜૜

ͲǤͷ͹

ͳ

ͲǤͶ͵

”‹‡–‹‘†ƒŒ‡ǣ ‫ ܧ‬ሾ‫ܮ‬ሿ ൌ ʹሺͲǤʹ ൅ ͲǤʹ͵ ൅ ͲǤʹ͹ሻ ൅ ͵ሺͲǤͳͷሻ ൅ ͶሺͲǤͳ ൅ ͲǤͲͷሻ ൌ ʹǤͶͷ Ž‹’‘‘©—‡‡†—ā‹‡’—–ƒǣ ‫ ܧ‬ሾ‫ܮ‬ሿ ൌ ͳ ൅ ͲǤͷ͹ ൅ ͲǤͶ͵ ൅ ͲǤ͵Ͳ ൅ ͲǤͳͷ ൌ ʹǤͶͷ ‘Œ‡‡–”‘’‹Œƒ‹œ˜‘”ƒܷǣ ଺

‫ܪ‬ሺܷሻ ൌ ෍ ‫݌‬௜ Ž‘‰ ‫݌‬௜ ൌ ʹǤͶʹܾ݅‫ݐ‬Ǥ ௜ୀଵ

PRIMER 3.17‡”ƒ”‹ƒˆƒ‘˜‘†Ǥ ‡ƒ Œ‡ ‹œ˜‘” ‹ˆ‘”ƒ…‹Œƒܷǡ ƒ‘ — ’”‡–Š‘†‘ ’”‹‡”— ͵Ǥͳ͸Ǥ ‘ —’‘–”‡„‹‘ –‡”ƒ”‹‘†‫ ܦ‬ൌ ͵ǡ‘•–ƒ–ƒ‘†ͳ െ ݊ ൅ ͳ െ ͸ ൌ ͷ’”‹†‡ŽŒ‡Œ—•ƒ‫ ܦ‬െ ͳ ൌ ͵ െ ͳ ൌ ʹ‹œ‘•‹‫ ݎ‬ൌ ͳǤȋ”‘˜‡”ƒെͷ ൌ െ͵ ൉ ʹ ൅ ͳȌǤ–‘‰ƒ–”‡„ƒ—˜‡•–‹Œ‡†ƒ ‡‹•‘”‹æ©‡‹ Ž‹•–Ǥƒˆƒ‘˜‘†—‘˜‘•Ž—«ƒŒ—Œ‡†ƒ–•ƒǣ

 Ž‹ƒ͵ǤͳͶ‘†‘•–ƒ„Ž‘œƒ’”‹‡”͵Ǥͳ͹

93

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ࢠ૚ ࢇࢇ࢈

ࢠ૛ ܽܽܿ

ࢠ૜ ܾܽ

ࢠ૝ ܿ

ࢠ૞ ܽܿ

ࢠ૟ ܾ

 ࢜૚ ൌ ࢛૚ ْ ࢛૛

࢜૛ ൌ ࢜૚ ْ ࢛૜ ْ ࢛૞

૙Ǥ ૚૞

ͲǤͷͲ

࢜૜ ൌ ࢜૛ ْ ࢛૟ ْ ࢛૝ ͳ

‫ ܧ‬ሾ‫ܮ‬ሿ ൌ ͳ ൅ ͲǤͷ ൅ ͲǤͳͷ ൌ ͳǤ͸ͷ ‫ܪ‬ሺܷሻ ʹǤͶʹ ൌ ൌ ͳǤͷʹǤ Ž‘‰ ͵ ͳǤͷͻ ͵ǤʹǤͶǤ     ƒ†ƒ ƒ Œ‡ …‹ŽŒ †ƒ ’‘ƒā‡‘ †ƒ Œ‡ ƒˆƒ‘˜ ‘† ‘’–‹ƒŽƒǡ ƒ –‘ œƒ«‹ †ƒ ‡ ’‘•–‘Œ‹ ‡‹ †”—‰‹ ’”‡ˆ‹•‹ ‘† «‹Œƒ Œ‡ ‘«‡‹˜ƒƒ †—ā‹ƒ ‘†‹Š ”‡«‹ ƒŒƒ ‘† ‘«‡‹˜ƒ‡†—ā‹‡‘†‹Š”‡«‹ƒˆƒ‘˜‘‰‘†ƒǤ ƒā‘ Œ‡ —‘«‹–‹ †ƒ ’‘•–‘Œ‹ Œƒ‘ ’—‘ ‘’–‹ƒŽ‹Š ‘†‘˜ƒǤ ˜ƒƒ ’‡”—–ƒ…‹Œƒ ‘†‹Š •‹„‘Žƒ Œ‡†‘‰ ‘’–‹ƒŽ‘‰ ‘†ƒǡ –ƒ‘†Œ‡ †ƒŒ‡ ‘’–‹ƒŽ‹ ‘†Ǥ ˜ƒƒ œƒ‡ƒ‘†‹Š”‡«‹‘Œ‡‘†‰‘˜ƒ”ƒŒ—Œ‡†ƒ‘˜‡”‘˜ƒ–‹•‹„‘Ž‹ƒ†ƒ–‘‰‹œ˜‘”ƒǡ –ƒ‘¯‡ Œ‡ ‘’–‹ƒŽƒ ‘†Ǥ ƒˆƒ‘˜ ƒŽ‰‘”‹–ƒ ‘•–”—‹æ‡ •ƒ‘ Œ‡†ƒ ‘† Œ‹ŠǤ ”˜‘©‡‘ƒ˜‡•–‹•˜‘Œ•–˜ƒ‘’–‹ƒŽ‹Š‘†‘˜ƒǤ ƒŒ‡†ƒ‘†©‡‘”‡©‹†ƒŒ‡‘’–‹ƒŽƒ—‘Ž‹‘Œ‡σ୬୧ୀଵ ’୧ Ž୧ ‹‹ƒŽƒ‘‰—©ƒƒ •—’— •˜‹Š ’”‡ˆ‹•‹Š ‘†‘˜ƒ †ƒ–‘‰ ‹œ˜‘”ƒ ‹ˆ‘”ƒ…‹Œƒǡ ‰†‡ Œ‡ •ƒŽ୧ ‘œƒ«‡ƒ †—ā‹ƒ‘†‡”‡«‹•‹„‘Žƒ—୧ ‘Œ‹•‡‡‹–—Œ‡•ƒ˜‡”‘˜ƒ–‘©‘’୧ Ǥ LEMA 3.2 ƒ•˜ƒ‹‘’–‹ƒŽ‹‘†‹œ˜‘”ƒ•ƒ݊‘‰—©‹Š•‹„‘Žƒǡ˜ƒā‹ǣ ’୧ ൐ ’୨ ฺ Ž୧ ൑ Ž୨ ǡ ‹ǡ Œ ൌ ͳǡʹǡ ǥ Ǥ LEMA 3.3

94

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‘ŒŽ‹•–‘˜ƒ—Ǧƒ”‘•–ƒ„Ž—Œ‡ͳ ൅ ݇ሺ‫ ܦ‬െ ͳሻǡ‰†‡Œ‡݇„”‘Œ——–”ƒæŒ‹Š«˜‘”‘˜ƒǡ —ŽŒ—«—Œ—©‹‘”‡Ǥ LEMA 3.4 ƒ†ƒ–‹‹œ˜‘”‹ˆ‘”ƒ…‹Œƒܷǡ—‘†‘•–ƒ„Ž—‘Œ‡‘†‰‘˜ƒ”ƒ‘’–‹ƒŽ‘Ǧƒ”‘ ’”‡ˆ‹•‘ ‘†— œƒܷǡ ’‘•–‘Œ‹ ƒŒ˜‹æ‡‫ ܦ‬െ ʹ‡‹•‘”‹æ©‡‹Š Ž‹•–‘˜ƒ ‹ •˜‹ •‡ ‘‹ ƒŽƒœ‡ƒƒ•‹ƒŽ‘Œ†—„‹‹‘†‘‰•–ƒ„ŽƒǤ e–ƒ ˜‹æ‡ǡ ’‘•–‘Œ‹ ‘’–‹ƒŽ‹ Ǧƒ”‹ ‘† œƒܷǡ — ‘‡ •— •˜‹ ‡‹•‘”‹æ©‡‹ Ž‹•–‘˜‹ǡ †‡…ƒŒ‡†‘‰‹•–‘‰”‘†‹–‡ŽŒ•‘‰«˜‘”ƒǤ LEMA 3.5 ”‘Œ‡‹•‘”‹æ©‡‹ŠŽ‹•–‘˜ƒ—‘†‘•–ƒ„Ž—‘Œ‡‘†‰‘˜ƒ”ƒ‘’–‹ƒŽ‘Ǧƒ”‘ ’”‡ˆ‹•‘ ‘†— ‹œ˜‘”ƒܷ•ƒ݊•‹„‘Žƒ Œ‡ Œ‡†ƒ ’‘œ‹–‹˜‘ ‘•–ƒ–— †‡ŽŒ‡Œƒ ݊ െ ͳ•ƒ‫ ܦ‬െ ͳǤ LEMA 3.6 ‘•–‘Œ‹‘’–‹ƒŽ‹ Ǧƒ”‹’”‡ˆ‹•‹‘†‹œ˜‘”ƒܷ•ƒ •‹„‘Žƒሺ݊ ൒ ʹሻ–ƒƒ˜†ƒ•‡ Ǧ”ƒŒƒŒ‡˜‡”‘˜ƒ–‹Š‘†‹Š”‡«‹”ƒœŽ‹—Œ‡•ƒ‘’‘’‘•Ž‡†Œ‡•‹„‘Ž—ǡ‰†‡ Œ‡‫ ͳƒŒ‡Ž‡†ƒ–ƒ–•‘ݎ‬െ ݊•ƒ‫ ܦ‬െ ͳȋ•–‘‰ƒŒ‡‫ ܦ‬െ ‫ ݎ‬൒ ʹȌǤ TEOREMA 3.6 ƒˆƒ‘˜‘ ‘†‘˜ƒŒ‡ Œ‡ ‘’–‹ƒŽ‘ǡ 斑 œƒ«‹ †ƒ ƒ‘ Œ‡ܼŒ‡†ƒ ƒˆƒ‘˜ ‘† ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒ ܷ ǡ ƒ ܺ †”—‰‹ Œ‡†‘œƒ«‹ ‘† ‹•–‘‰ ‹œ˜‘”ƒǡ –ƒ†ƒ Œ‡ ሾଡ଼ ሿ ൒ ሾ୞ ሿǤ

95

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͵Ǥ͵Ǥ    VEŽBA 6. ƒˆƒ‘˜‘†Ȃ‡–”‘’‹Œ•‘‘†‘˜ƒŒ‡ǡ—˜‘†ƒƒ’‘‡ƒǣ –”‘’‹Œ•‘ ‘†‘˜ƒŒ‡ Œ‡ ‡–‘†ƒ œƒ ‘†”‡¯‹˜ƒŒ‡ Œ‡†‘œƒ«‘‰ ‘†ƒ ‹‹ƒŽ‡ †—ā‹ƒǤ ‹‹‹œ‘˜ƒƒ †—ā‹ƒ ‘†ƒ ‘‘‰—©‹©‡ ƒ•‹ƒŽ— „”œ‹— ’”‡‘•ƒ ‹ˆ‘”ƒ…‹Œ‡ ’”‡‘ ‘—‹ƒ…‹‘‘‰ ƒƒŽƒǤ •‘˜ƒ ‹†‡Œƒ ‹ ’”‡–’‘•–ƒ˜ƒ Œ‡ †ƒ ’‘”—‡•ƒ˜‡©‘˜‡”‘˜ƒ–‘©‘„—†—‘†‘˜ƒ‡•ƒ”ƒ©‹‘†‘˜‹ƒǡ†‘’‘”—‡ •ƒƒŒ‘˜‡”‘˜ƒ–‘©‘„—†—‘†‘˜ƒ‡†—ā‹‘†‘˜‹ƒǤ ‡‹ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” ܵ ‰‡‡”‹æ‡ ͸ ’‘”—ƒ •ƒ •Ž‡†‡©‹ ˜‡”‘˜ƒ–‘©ƒǣ ‫ ݌‬ൌ ሼͲǤͶͻǡ ͲǤʹ͸ǡ ͲǤͳʹǡ ͲǤͲͶǡ ͲǤͲͶǡ ͲǤͲ͵ǡ ͲǤͲʹሽǤ ‘Ž‹‘ƒ˜‡”‘˜ƒ–‘©ƒ‹Œ‡’‘œƒ–ƒǡ‡–”‘’‹Œƒ‹œ˜‘”ƒŒ‡‫ ܪ‬ൌ Ž‘‰ ʹሺ͹ሻǡ‹—‘˜‘ •Ž—«ƒŒ—•˜ƒ—’‘”——„‹•‘‘†‘˜ƒŽ‹•ƒ͵„‹–ƒǣ ‫ ܪ‬ൌ ʹǤͺͲ͹Ͷܾ݅‫ܽݒ݋ݐ‬ –”‘’‹Œƒ‹œ˜‘”ƒœƒ’‘œƒ–‡˜‡”‘˜ƒ–‘©‡Œ‡ǣ ୗ ൌ ʹǤͲͳʹͺܾ݅‫ܽݒ݋ݐ‬ —’ƒ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œ‡ǣ ୗ ൌ ͳǤͲ͵ ൅ ͳǤͻͶ ൅ ͵ǤͲ͸ ൅ ͶǤ͸Ͷ ൅ ͶǤ͸Ͷ ൅ ͷǤͲ͸ ൅ ͷǤ͸͵ ൌ ʹ͸ǤͲܾ݅‫ܽݒ݋ݐ‬ Ž‡†‹ ‡–‘† œƒ Œ‡†‘•–ƒ˜‘ ‰‡‡”‹•ƒŒ‡ ƒˆƒ‘˜‘‰ ‡ˆ‹ƒ•‘‰ ‘†ƒǤ ƒ ‰‡‡”‹•ƒŒ‡‘˜‘‰‘†ƒ‹Œ‡’‘–”‡„ƒ”ƒ«—ƒ”•‹’”‘‰”ƒǤ

96

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ‡æ‡Œ‡œƒ†ƒ–ƒ’”‡‘ƒ–Žƒ„ǦƒǤ ‹œ•ƒ˜‡”‘˜ƒ–‘©ƒƒǣ εε’αȏͲǤͶͻǡͲǤʹ͸ǡͲǤͳʹǡͲǤͲͶǡͲǤͲͶǡͲǤͲ͵ǡͲǤͲʹȐǢ ‹„‘Ž‹’‘”—ƒǣ εε•‹„‘Ž‹α…‡ŽŽ•–”ȋ…Šƒ”ȋ̵ͳ̵ǡ̵ʹ̵ǡ̵͵̵ǡ̵Ͷ̵ǡ̵ͷ̵ǡ̵͸̵ǡ̵͹̵ȌȌǢ

‡‡”‹•ƒŒ‡ƒˆƒ‘˜‘‰”‡«‹ƒǣ εεȏ”‡…‹ǡ‡–”‘’‹ŒƒȐαŠ—ˆˆƒ†‹…–ȋ•‹„‘Ž‹ǡ’ȌǢ

 Ž‹ƒ͵Ǥͳͷƒˆƒ‘˜”‡«‹

97

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ •Ž‹…‹ ‹œƒ† ȋŽ‹ƒ ͵ǤͳͷȌǡ ’”‹ƒœƒ‘ Œ‡ •–ƒŒ‡ ’”‘‡ŽŒ‹˜‡ ”‡«‹ǡ ‘Œƒ Œ‡ ‰‡‡”‹•ƒƒ’”‡‘ƒ–Žƒ„Ǧ‘˜‡ˆ—…‹Œ‡huffmandict(). ’”˜‘Œ‘Ž‘‹•—ƒ˜‡†‡‡ ’‘”—‡‫ ܯ‬ൌ ሼͳǡ ʹǡ ͵ǡ Ͷǡ ͷǡ ͸ǡ ͹ሽǡƒ—†”—‰‘Œ‘Ž‘‹•—’”‡†•–ƒ˜ŽŒ‡‡‘†‡”‡«‹‘Œ‡ ‘†‰‘˜ƒ”ƒŒ—‹ˆ‘”ƒ…‹‘‘Œ˜”‡†‘•–‹•˜ƒ‡’‘”—‡Ǥ ”‹‡”‘†‘˜ƒŒƒ’”‡‘‰‡‡”‹•ƒ‘‰”‡«‹ƒǣ ‘”—ƒǣ ͸͸͸ͳ͸͹ͳ͵ͳ͸͹ͳ͵ͳͷͷͳ͹ͷ͹ͳ͵͹ͳ ‘†‘˜ƒŒ‡’‘”—‡ǣ εε’‘”—ƒα …‡ŽŽ•–”ȋ…Šƒ”ȋ̵͸̵ǡ̵͸̵ǡ̵͸̵ǡ̵ͳ̵ǡ̵͸̵ǡ̵͹̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵ͳ̵ǡ̵͸̵ǡ̵͹̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵ͳ̵ǡ̵ͷ̵ǡ̵ͷ̵ǡ̵ͳ̵ǡ̵͹̵ǡ̵ͷ̵ǡ̵͹̵ǡ̵ͳ̵ǡ̵͵̵ǡ̵͹̵ǡ̵ͳ̵ ȌȌǢ ε卑†‘˜ƒƒ̴’‘”—ƒαŠ—ˆˆƒ‡…‘ȋ’‘”—ƒǡ”‡…‹ȌǢ ‘†‘˜ƒƒ’‘”—ƒǣ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ Ͳ ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ͳ Ͳ Ͳ Ͳ ͳ Ͳ ͳ Ͳ ͳ ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ Ͳ ͳ Ͳ ͳ ͳ –”‘’‹Œƒ‘†‘˜ƒ‡’‘”—‡ǣ ε凐–”‘’›ȋ‘†‘˜ƒƒ̴’‘”—ƒȌ ƒ•αͲǤͻͻͻ͸„‹–‘˜ƒ ‡‘†‘˜ƒŒ‡’‘”—‡ǣ ε冇‘†‘˜ƒƒ̴’‘”—ƒαŠ—ˆˆƒ†‡…‘ȋ‘†‘˜ƒƒ̴’‘”—ƒǡ”‡…‹ȌǢ ‡‘†‘˜ƒƒ’‘”—ƒǣ ε冇‘†‘˜ƒƒ̴’‘”—ƒ ̵͸̵̵͸̵̵͸̵̵ͳ̵̵͸̵̵͹̵̵ͳ̵̵͵̵̵ͳ̵̵͸̵̵͹̵̵ͳ̵̵͵̵̵ͳ̵̵ͷ̵̵ͷ̵̵ͳ̵̵͹̵̵ͷ̵̵͹̵̵ͳ̵̵͵̵̵͹̵̵ͳ̵

98

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

4. KANALI ZA PRENOS INFORMACIJA ‹ŽŒ‡˜‹‘˜‘‰’‘‰Žƒ˜ŽŒƒ•—ǣ ͳǤ ”‡œ‡–‘˜ƒŒ‡‘•‘˜ƒ‘†‘˜ƒŒƒ‹ˆ‘”ƒ…‹‘‹Š‹œ˜‘”ƒ—…‹ŽŒ—’‘—œ†ƒ‘‰ ’”‡‘•ƒǡ«ƒ‹—’”‹•—•–˜—族ƒǤ ʹǤ ‘”ƒŽ‹œƒ…‹Œƒ’”‡‘•ƒ‹ˆ‘”ƒ…‹Œƒ’”‡‘’‘ŒƒƒƒŽƒ ͵Ǥ ’‘œƒ˜ƒŒ‡•ƒ†˜ƒ„ƒœ‹«ƒ’‘Œƒ˜‡œƒƒœƒ’”‡‘•—’”‹•—•–˜—族‘˜ƒǣ ƒ’ƒ…‹–‡–ƒƒŽƒ‹„”œ‹ƒ’”‡‘•ƒǤ ͶǤ —†ƒ‡–ƒŽ‡‰”ƒ‹…‡‰”‡æ‡’”‡‘•ƒ—’”‹•—•–˜—族ƒǤ

99

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͶǤͳǤ      ”‡‘•‹ˆ‘”ƒ…‹Œƒ’‘†”ƒœ—‡˜ƒ‹Ž‹Œ‹Š‘˜‘’”‡‘懐Œ‡‹œŒ‡†‡–ƒ«‡—†”—‰—‹Ž‹ Œ‹Š‘˜‘’”‡‘懐Œ‡”‘œ˜”‡‡Ǥ ”‹‡”’”‡‘懐Œƒ‘†Œ‡†‡–ƒ«‡†‘†”—‰‡Œ‡‘—‹…‹”ƒŒ‡‹œ‡¯—†˜ƒ‘„‹Žƒ –‡Ž‡ˆ‘ƒ—Œ‡†‘Œ”‡ā‹ǡ†‘Œ‡’”‹‡”’”‡‘懐Œƒ”‘œ˜”‡‡‡‘”‹•ƒŒ‡‡‘‰ •ƒ†”āƒŒƒ ƒ ‡‘ ‡‘”‹Œ•‘ ‡†‹Œ—ǡ ƒ œƒ–‹ Œ‡‰‘˜‘ ‹æ«‹–ƒ˜ƒŒ‡ — ‡‘ „—†—©‡–”‡—–—˜”‡‡ƒǤ ‘„ƒ•Ž—«ƒŒƒǡ•—•”‡©‡‘•‡•ƒ’”‘„Ž‡‘’‘—œ†ƒ‘‰’”‡‘•ƒ‹ˆ‘”ƒ…‹Œƒǡƒ‘ —•Ž‡† †‡Ž‘˜ƒŒƒ 族‘˜ƒ ƒ ƒƒŽ— œƒ ’”‡‘•ǡ –ƒ‘ ‹ — ‡†‘•–ƒ–— ‡‘”‹Œ•‘‰ ’”‘•–‘”ƒ‹Ž‹Œ‡‰‘˜‘‰˜ƒ”ƒǤ ˜‡’”‹•—–‹ 族‘˜‹ ƒ ƒƒŽ‹ƒ ’”‡‘•ƒ ‘‰— †‡Ž‘˜ƒ–‹ ƒ Œ‡†ƒ ‘† •Ž‡†‡©‹Š ƒ«‹ƒǣ ͳǤ  —•Ž‘˜‹ƒ ‹œ—œ‡–‘ ˜‹•‘‘‰ 族ƒ ‹Œ‡ —‘’æ–‡ ‘‰—©‡ ‘„ƒ˜‹–‹ ’‘—œ†ƒ ’”‡‘•’‘”—ƒǤ ʹǤ ‹˜‘族ƒŒ‡–ƒƒ˜†ƒŒ‡‘‰—©‡’”‡‡–‹’‘”—‡•ƒ’”‹Š˜ƒ–ŽŒ‹˜‹‹˜‘‘ ‰”‡æƒƒ—’”‡‘•—Ǥ ͵Ǥ ‘‰—©‡Œ‡’”‡‡–‹’‘”—‡•ƒ˜‡”‘˜ƒ–‘©‘‰”‡æ‡‘Œƒ•‡‘ā‡—«‹‹–‹’‘ ā‡ŽŒ‹ ƒŽ‘ ’”‹‡‘ ‘†‘˜ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǤ •‘˜ƒ ‹†‡Œƒ œƒæ–‹–‘‰‘†‘˜ƒŒƒŒ‡†‘†ƒ˜ƒŒ‡”‡†—†ƒ•‡—‘†‹”ƒ‡’‘”—‡ǡ–ƒ‘†ƒ ‹’‘”‡†‰”‡æƒƒ—’”‡‘•—’”‡‘•–ƒŒ‡†‘˜‘ŽŒ‘‡’”‘‡Œ‡‹Š‹ˆ‘”ƒ…‹Œƒ — ‘†‘˜ƒ‹ ’‘”—ƒƒ ƒ ‘•‘˜— ‘Œ‹Š •‡ ‘ā‡ ”‡‘•–”—‹•ƒ–‹ ’‘•Žƒ–ƒ ’‘”—ƒ•ƒœƒ†ƒ–‹‹˜‘‘‰”‡æ‡”‡‘•–”—…‹Œ‡Ǥ

 Ž‹ƒͶǤͳ‘†‡Ž‘—‹ƒ…‹‘‘‰ƒƒŽƒ 100

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘—‹ƒ…‹‘‹ ƒƒŽǡ ‹Ž‹ ”ƒ©‡ ƒƒŽǡ ”‡’”‡œ‡–—Œ‡ •˜‡ 斑 •‡ ‘ā‡ †‘‰‘†‹–‹ •ƒ ’‘”—‘—–‘—Œ‡‘‰’”‡‘•ƒ‘†’”‡†ƒŒ‹ƒ†‘’”‹Œ‡‹ƒȋŽ‹ƒͶǤͳȌǤ‘”—ƒ Œ‡‹œ•‹„‘ŽƒǤ‹„‘ŽŒ‡‡Ž‡‡–•—’ƒ‘‰ƒƒœ‹˜ƒ‘ƒŽˆƒ„‡–Ǥ ƒœƒ–”ƒ‘ •ƒ‘ ‘ƒ«‡ ƒŽˆƒ„‡–‡Ǥ Žƒœƒ •‡˜‡…ƒଵ ǡ  ଶ ǡ ǥ ȋ•‡˜‡…ƒ ‘Œ— –”‡„ƒ ’”‡‡–‹Ȍ Œ‡ ‘†”‡¯‡ƒ — ’‘–’—‘•–‹  ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘”‘Ǥ œŽƒœƒ •‡˜‡…ƒଵ ǡ ଶ ǡ Ǥ Ǥ ȋ’”‹ŽŒ‡ƒ •‡˜‡…ƒȌ Œ‡ ‘†”‡¯‡ƒ —•Ž‘˜‘ ˜‡”‘˜ƒ‘©‘ ‹œŽƒœƒœƒ’‘œƒ–‹—ŽƒœǤ –‘‰ƒ Œ‡ — ƒ–‡ƒ–‹«‘ •‹•Ž— ƒƒŽ ‘†”‡¯‡ —•Ž‘˜‹ ˜‡”‘˜ƒ–‘©ƒƒ ”ƒœŽ‹«‹–‹Š ’”‹ŽŒ‡‹Š •‡˜‡…‹ǡ ’‘† —•Ž‘˜‘ ’‘œƒ–‹Š •‡˜‡…‹ ‘Œ‡ •‡ 惎Œ—ǡ –Œ ሺ›ଵ ǡ ›ଶ ǡ ǥ ǡ ›୬ ȁšଵ ǡ šଶ ǡ ǥ ǡ š୬ ሻǤ DEFINICIJA 4.1 ‹•”‡–‹ ƒƒŽ „‡œ ‡‘”‹Œ‡ ȋ Ȃ Discrete Memoryless ChannelȌ ‹•”‡–‹ƒƒŽ„‡œ‡‘”‹Œ‡Œ‡ƒŒŒ‡†‘•–ƒ˜‹Œ‹‘—‹ƒ…‹‘‹ƒƒŽǤ ‘”ƒŽ‘ Œ‡‘†”‡¯‡•ƒ–”‹˜‡Ž‹«‹‡Ǥ‹•”‡–‹—Žƒœ‹ƒŽˆƒ„‡–ȯଡ଼ ǡ«‹Œ‹•—‡Ž‡‡–‹•‹„‘Ž‹•˜‹Š —Žƒœ‹Š ’‘”—ƒ ‹œ˜‘”ƒ Ǥ ‹•”‡–‹ ‹œŽƒœ‹ ƒŽˆƒ„‡–ȯଢ଼ ǡ «‹Œ‹ ‡Ž‡‡–‹ ’”‡†•–ƒ˜ŽŒƒŒ— ‘‰—©‡’”‹ŽŒ‡‡•‹„‘Ž‡‹œŽƒœ‡•‡˜‡…‡ƒƒŽƒǤ ƒ•˜ƒ‘ ‫ א‬ȯଡ଼ ǡ—•Ž‘˜‡˜‡”‘˜ƒ–‘©‡’ሺ›ȁšሻƒ†•—’‘ȯଢ଼ ǡ–ƒ‘†ƒŒ‡œƒ•˜ƒ‘ ݊ ൌ ͳǡʹǡ͵ǡ Ǥ Ǥ ǤǤ ’ሺ›୬ ȁšଵ ǡ šଶ ǡ ǥ ǡ š୬ ǡ ›ଵ ǡ ›ଶ ǡ ǥ ǡ ›୬ିଵ ሻ ൌ ’ሺ›୬ ȁš୬ ሻ ˜‘•‡ƒœ‹˜ƒŒ—–”ƒ•‹•‹‘‡˜‡”‘˜ƒ–‘©‡ƒƒŽƒǤ ‡ˆ‹‹…‹ŒƒͶǤͳǤŒ‡ƒ–‡ƒ–‹«ƒˆ‘”—Žƒ…‹Œƒ«‹Œ‡‹…‡†ƒŒ‡„‡œ‡‘”‹Œ‡Ǥ‘ 斑 ©‡ •‡ †‡•‹–‹ •ƒ •‹‰ƒŽ‘ ’‘•Žƒ–‹ — Ǧ–‘ ‘”‹æ©‡Œ— ƒƒŽƒ Œ‡ ‡œƒ˜‹•‘ ‘† ‘‘‰ƒ斑•‡†‡•‹Ž‘—’”‡–Š‘†‹Š݊ െ ͳ—’‘–”‡„ƒƒƒŽƒǤ ”‹‡–‹‘ †ƒ Œ‡  ˜”‡‡•‹ ‡’”‘‡ŽŒ‹˜ǡ ’‘æ–‘ ”ƒ•’‘†‡Žƒ ˜‡”‘˜ƒ–‘©ƒ ’ሺ›୬ ȁš୬ ሻ‡œƒ˜‹•‹‘†݊Ǥ ƒ†ƒ•—ȯଡ଼ ‹ȯଢ଼ ‘ƒ«‹ǡƒƒŽ•‡‘ā‡’”‡†•–ƒ˜‹–‹†‹Œƒ‰”ƒ‘—‘‡ǣ ͳǤ «˜‘”‘˜‹•ƒŽ‡˜‡•–”ƒ‡‘†‰‘˜ƒ”ƒŒ——Žƒœ‘ƒŽˆƒ„‡–—ߓ௑ ǡ ʹǤ «˜‘”‘˜‹•ƒ†‡•‡•–”ƒ‡‘†‰‘˜ƒ”ƒŒ—‹œŽƒœ‘ƒŽˆƒ„‡–—ߓ௒ ǡ 101

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͵Ǥ ‰”ƒ‡‘Œ‡’‘˜‡œ—Œ—«˜‘”‘˜‡‫ݔ‬௜ ݅‫ݕ‬௝ •—‘œƒ«‡‡—•Ž‘˜‹˜‡”‘˜ƒ–‘©ƒƒ ‫݌‬ሺ‫ݕ‬௝ ȁ‫ݔ‬௜ ሻǡ‘•‹—•Ž—«ƒŒ‡˜‹ƒƒ†ƒ•—‘˜‡˜‡”‘˜ƒ–‘©‡Œ‡†ƒ‡Ͳ‹ƒ†ƒ•‡ ‘†‰‘˜ƒ”ƒŒ—©ƒ‰”ƒƒŒ‡†‘•–ƒ˜‘‹œ‘•–ƒ˜ŽŒ‡Ǥ PRIMER 4.1‹ƒ”‹•‹‡–”‹«‹ƒƒŽȋȂBinary Symmetric ChannelȌǤ ƒŒ’”‘•–‹Œ‹  Œ‡ „‹ƒ”‹ •‹‡–”‹«‹ ƒƒŽ ȋȌ ‘† ‘‰ƒ •—ȯଡ଼ ൌ ȯଢ଼ ൌ ሼͲǡͳሽ „‹ƒ”‹ǡ‹ ‫ܻ݌‬ȁܺୀ଴ ሺͳሻ ൌ ‫ܻ݌‬ȁܺୀଵ ሺͲሻ ”‡†‘•–‫ ݌‬ൌ ‫ܻ݌‬ȁܺୀ଴ ሺͳሻ ൌ ‫ܻ݌‬ȁܺୀଵ ሺͲሻ•‡ ƒœ‹˜ƒ ˜‡”‘˜ƒ–‘©ƒ ‰”‡æ‡ ȋ‡‰Ǥ error rateȌ ‹ –‘ Œ‡ —Œ‡†‘ Œ‡†‹‹ ’ƒ”ƒ‡–ƒ” ǡ „—†—©‹ †ƒ Œ‡‫ ݌‬ൌ ‫ܻ݌‬ȁܺୀ଴ ሺͳሻ ൌ ‫ܻ݌‬ȁܺୀଵ ሺͲሻǤ •‡’”‡œ‡–—Œ‡•Ž‡†‡©‹†‹Œƒ‰”ƒ‘Ǥ

 Ž‹ƒͶǤʹ‹Œƒ‰”ƒ„‹ƒ”‘‰•‹‡–”‹«‘‰ƒƒŽƒȋȌ

PRIMER 4.2”‡‘•’”‡‘—’”‹•—•–˜—族ƒǤ ”‡–’‘•–ƒ˜‹‘ †ƒ ā‡Ž‹‘ †ƒ ’”‡‡•‡‘ ‘•ƒ ’‘”—ƒǣ ͲͲͲǡ ͲͲͳǡ ͲͳͲǡ Ͳͳͳǡ ͳͲͲǡ ͳͲͳǡͳͳͲǡͳͳͳǤƒ–‹ǡ’”‡–’‘•–ƒ˜‹‘†ƒŒ‡ƒƒƒŽ—œƒ’”‡‘•’”‹•—–ƒ族ǡ–ƒ‘ †ƒ  — ’”‘•‡— •‡ •˜ƒ‹ ͳͲǦ–‹ •‹„‘Ž ’”‘‡‹ — •—’”‘–‹ ȋͲ — ͳ ‹Ž‹ ͳ — ͲȌǤ ƒƒ˜ ƒƒŽŒ‡•ƒ’ƒ”ƒ‡–”‘‫ ݌‬ൌ ͲǤͳǤ Kolika je verovatnoa da prenesemo jednu poruku korektno? ‡œ‘„œ‹”ƒ‘Œƒ•‡’‘”—ƒ惎Œ‡‘˜ƒ˜‡”‘˜ƒ–‘©ƒ‹œ‘•‹ǣ ሺͳ െ ‫݌‬ሻଷ ൌ ͲǤͻଷ ൌ ͲǤ͹ͳͻ 102

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

e–‘ ‘†‰‘˜ƒ”ƒ ˜‡”‘˜ƒ–‘©‹ †ƒ –”‹ ’—–ƒ ’”‡‡•‡‘ Œ‡†ƒ „‹– „‡œ  ‰”‡æ‡Ǥ †‰‘˜ƒ”ƒŒ—©ƒ˜‡”‘˜ƒ–‘©ƒ‰”‡æ‡Œ‡ͳǦͲǤ͹ͳͻαͲǤʹͺͳǡ†ƒŽ‡’”‹Ž‹«‘˜‹•‘ƒǤ ”‡–’‘•–ƒ˜‹‘ •ƒ†ƒ ‘†‘˜ƒŒ‡ — ‘‡ Œ‡ •˜ƒ‹ „‹– ’”‡–Š‘†‘‰ ‘†ƒ ’‘‘˜ŽŒ‡ ȋ—†˜‘Œ‡ȌǤ Poruka Kod

000

001

010

011

100

ͲͲͲͲͲͲ ͲͲͲͲͳͳ ͲͲͳͳͲͲ ͲͲͳͳͳͳ ͳͳͲͲͲͲ

…

111

ǥ

ͳͳͳͳͳͳ

ƒ†ƒ Œ‡ ˜‡”‘˜ƒ–‘©ƒ –ƒ«‘‰ ’”‹Œ‡ƒ Œ‡†‡ ’‘”—‡ሺͳ െ ‫݌‬ሻ଺ ൌ ͲǤͷ͵ͳǤ †‘•‘ ˜‡”‘˜ƒ–‘©ƒ ‰”‡æ‡ͲǤͶ͸ͻǡ 斑 Œ‡ ˜‡©‡ ‡‰‘ — ’”‡–Š‘†‘ •Ž—«ƒŒ—Ǥ ‡¯—–‹ǡ ’‘–”‡„‘ Œ‡ ”ƒœ‘–”‹–‹ Œ‘æ Œ‡†ƒ –‹’ ‰”‡æƒƒǡ ƒ‹‡ ‘Ž‹ƒ Œ‡ ˜‡”‘˜ƒ–‘©ƒ ’‘‰”‡æ‘‰’”‹Œ‡ƒ‘Œƒ•‡‡‘ā‡†‡–‡–‘˜ƒ–‹Ǥ ˜ƒ•‹–—ƒ…‹Œƒƒ•–ƒŒ‡ƒ†ƒ•‡’”‘‡‡’”Ǥ†˜ƒ•‹„‘Žƒǡ’”Ǥ—‡•–‘ͲͲͲͲͲͲ•‡ ’”‹‹ ͳͳͲͲͲͲǤ  ‘’æ–‡  •Ž—«ƒŒ— ’”‘‡‡ ‘† ʹǡ Ͷ ‹Ž‹ •˜‹Š ͸ •‹„‘Žƒ †‘˜‘†‡ †‘ ’‘‰”‡æ‘‰’”‹Œ‡ƒ‘Œ‹•‡‡‘ā‡”ƒœŽ‹‘˜ƒ–‹‘†–ƒ«‘‰’”‹Œ‡ƒǤ ‡”‘˜ƒ–‘©ƒ’”‘‡‡†˜ƒ•‹„‘ŽƒŒ‡†ƒ–ƒ•ƒǣ ͵ ൬ ൰ ‫݌‬ଶ ሺͳ െ ‫݌‬ሻସ ൌ ͵‫݌‬ଶ ሺͳ െ ‫݌‬ሻସ Ǥ ͳ ‡”‘˜ƒ–‘©ƒ ’”‘‡‡ Ͷ •‹„‘Žƒ Œ‡ †ƒ–ƒ •ƒ͵‫݌‬ସ ሺͳ െ ‫݌‬ሻଶ ǡ ‹ ‘ƒ«‘ ˜‡”‘˜ƒ–‘©ƒ ’”‘‡‡ ͸ •‹„‘Žƒ Œ‡ †ƒ–ƒ •ƒ‫ ଺݌‬Ǥ —’ƒ ˜‡”‘˜ƒ–‘©ƒ ‰”‡æ‡ ‘Œƒ •‡ ‡ ‘ā‡ †‡–‡–‘˜ƒ–‹Œ‡†ƒ–ƒœ„‹”‘ǣ ͵‫݌‬ଶ ሺͳ െ ‫݌‬ሻସ ൅ ͵‫݌‬ସ ሺͳ െ ‫݌‬ሻଶ ൅ ‫ ଺݌‬ൌ ͲǤͲʹͲǤ ˜ƒ˜‡”‘˜ƒ–‘©ƒŒ‡’”‹Ž‹«‘ƒŽƒǤƒŽŒ—«ƒŒ‡†ƒ•‡‘†‰‘˜ƒ”ƒŒ—©‹‘†‘˜ƒŒ‡ ‘ā‡’‘„‘ŽŒæƒ–‹’”‡‘•’‘”—ƒ’”‡‘ƒƒŽƒƒ‘‡†‡Ž—Œ—族‘˜‹Ǥ ƒƒƒŽƒā‡‘†ƒŒ‡„‡œ’‘˜”ƒ–‡•’”‡‰‡—‘Ž‹‘”ƒ•’‘†‡Žƒ˜‡”‘˜ƒ–‘©‡—Žƒœƒ ‡œƒ˜‹•‹‘†‹œŽƒœƒǡ‹Ž‹ˆ‘”ƒŽ‘ǣ ‫ܺ݌‬௡ ȁ‫ݔ‬ଵ ǡ ǥ ǡ ‫ݔ‬௡ିଵ ǡ ‫ݕ‬ଵ ǡ ǥ ǡ ‫ݕ‬௡ିଵ ൌ ‫ܺ݌‬௡ ȁ‫ݔ‬ଵ ǡ ǥ ǡ ‫ݔ‬௡ିଵ  TEOREMA 4.1 ƒ„‡œ’‘˜”ƒ–‡•’”‡‰‡˜ƒā‹ǣ 103

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________ ௡

‫ܪ‬ሺܻଵ ǥ ܻ௡ ȁܺଵ ǥ ܺ௡ ሻ ൌ ෍ ‫ܪ‬ሺܻ௜ ȁܺ௜ ሻ ௜ୀଵ

ͶǤͳǤͳǤ   ƒ’ƒ…‹–‡– ƒƒŽƒ ‡”‹ •’‘•‘„‘•– Œ‡†‘‰ ƒƒŽƒ †ƒ ’”‡‘•‹ ‹ˆ‘”ƒ…‹Œ‡Ǥ ‘ Œ‡ ƒ•‹ƒŽƒ’”‘•‡«ƒ‘Ž‹«‹ƒ‹ˆ‘”ƒ…‹Œƒ‘Œ‡—ŽƒœƒƒŽƒ‘ā‡’”‡‡–‹ƒ‹œŽƒœǤ DEFINICIJA 4.2ƒ’ƒ…‹–‡–ƒƒŽƒǤ ƒ’ƒ…‹–‡–‫‡Œƒ†‡Œ‡Œ‹”‘‡œ‡„ƒŽƒƒ‰‘–‡”•‹†ܥ‬ǣ ‫ ܥ‬ൌ ‹௣௑ ‫ܫ‬ሺܺǢ ܻሻǡ ‰†‡Œ‡ܺ—Žƒœ—ƒƒŽǡ‘’‹•ƒ”ƒ•’‘†‡Ž‘˜‡”‘˜ƒ–‘©‡’ଡ଼ ሺšሻǡ†‘Œ‡ܻ‹œŽƒœƒƒŽƒǤ PRIMER 4.3ƒ’ƒ…‹–‡–Ǥ ‘†‡ˆ‹‹…‹Œ‹ǣ ‫ ܥ‬ൌ ƒš൫‫ܪ‬ሺܻሻ െ ‫ܪ‬ሺܻȁܺሻ൯Ǥ ௣௑

ƒŒ—©‹—˜‹†—†ƒŒ‡ǣ ܲሺܻ ് ܺሻ ൌ ‫ܲ݌‬ሺܻ ൌ ܺሻ ൌ ͳ െ ‫݌‬ǡ ‹ƒ‘†ƒŒ‡ǣ ‫ܪ‬ሺܻȁܺሻ ൌ െ‫‰‘Ž ݌‬ሺ‫݌‬ሻ െ ሺͳ െ ‫݌‬ሻ Ž‘‰ሺͳ െ ‫݌‬ሻ ൌǣ ݄෨ǡ ‹‡œƒ˜‹•‹‘†‫݌‬௑ ሺ‫ݔ‬ሻǡ–ƒ‘†ƒŒ‡‘ƒ«‘ǣ ‫ ܥ‬ൌ ƒš൫‫ܪ‬ሺܻሻ൯ െ ݄෨ሺ‫݌‬ሻǤ ௣೉

ƒ‘Œ‡ܻ„‹ƒ”ƒ•Ž—«ƒŒƒ’”‘‡ŽŒ‹˜ƒǡ˜ƒā‹ሺሻ ൑ Ž‘‰ ʹǡ‘†‘•‘ሺሻ ൑ ͳ„‹–Ǥ Da li se ova granica može dostii za neku raspodelu ‫݌‬௑ ሺ‫ݔ‬ሻǫ †‰‘˜‘”Œ‡†ƒǡ—‘Ž‹‘Œ‡ܺ—‹ˆ‘”‘”ƒ•’‘†‡ŽŒ‡‘Ǥ 104

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ†ƒ‹ƒ‘ǣ ‫݌‬௒ ሺͲሻ ൌ ‫ ݌‬ȉ ‫݌‬௑ ሺͳሻ ൅ ሺͳ െ ‫݌‬ሻ ȉ ‫݌‬௑ ሺͲሻ ൌ ͲǤͷ‫ ݌‬൅ ͲǤͷሺͳ െ ‫݌‬ሻ ൌ ͲǤͷ e–‘ œƒ«‹ †ƒ Œ‡ܻ–ƒ‘¯‡ —‹ˆ‘”‘ ”ƒ•’‘†‡ŽŒ‡‘ǡ ‘†‘•‘ †ƒ Œ‡‫ܪ‬ሺܻሻ ൌ ͳ„‹–Ǥ –‘‰ƒŒ‡ƒš௑ ‫ܪ‬ሺܻሻ ൌ ͳ„‹–ǡ‘†‘•‘ǡ‘ƒ«‘‫ ܥ‬ൌ ͳ െ ݄෨ሺ‫݌‬ሻȋ—„‹–‘˜‹ƒȌǤ ͶǤͳǤʹǤ    ,  DEFINICIJA 4.3 ƒƒŽŒ‡•ƒ•‹‡–”‹«‹—Žƒœ‘—‘Ž‹‘Œ‡”ƒ•’‘†‡Žƒ˜‡”‘˜ƒ–‘©‡‰”‡æ‡‹•–ƒ œƒ•˜‡—Žƒœ‡•‹„‘Ž‡ǡ‘†‘•‘—‘Ž‹‘Œ‡•—’ሼ‫݌‬௒ȁ௫೔ ሺ‫ݕ‬ሻǣ ‫ߥ א‬௒ ሽ‡œƒ˜‹•ƒ‫ݔ‬௜  PRIMER 4.4 ƒƒŽ•ƒ•‹‡–”‹«‹—Žƒœ‘Ǥ

 Ž‹ƒͶǤ͵ƒƒŽ•ƒ•‹‡–”‹«‹—Žƒœ‘‹‡•‹‡–”‹«‹‹œŽƒœ‘Ǥ

 Ž‹ƒͶǤͶ”‹‡”ƒƒŽƒ•ƒ•‹‡–”‹«‹‹œŽƒœ‘‹‡•‹‡–”‹«‹—Žƒœ‘Ǥ

Œ‡ƒƒŽ•ƒ•‹‡–”‹«‹—Žƒœ‘Ǥ 105

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

LEMA 4.1 ƒ•˜ƒ‹•ƒ•‹‡–”‹«‹—Žƒœ‘ǡ‫ܪ‬ሺܺȁܻሻŒ‡‡œƒ˜‹•ƒ‘†”ƒ•’‘†‡Ž‡’ଡ଼ ሺšሻǡ‹ ‫ܪ‬ሺܻȁܺሻ ൌ ‫ܪ‬ሺܻȁ‫ݔ‬௜ ሻ œƒ•˜ƒ‘‫ݔ‬௜ ‫ߥ א‬௒ Ǥ –‘‰ƒ Œ‡ ƒŽƒā‡Œ‡ ”ƒ•’‘†‡Ž‡ ˜‡”‘˜ƒ–‘©‡ —Žƒœƒ œƒ ‘Œ— •‡ †‘•–‹ā‡ ƒ’ƒ…‹–‡– •‹‡–”‹«‘‰  ƒƒŽƒǡ ‡˜‹˜ƒŽ‡–‘ ƒŽƒā‡Œ— —Žƒœƒ ‘Œ‹ ƒ•‹‹œ—Œ‡ ‡‘†”‡¯‡‘•–‹œŽƒœƒǤ OSOBINA 4.1 ƒ•˜ƒ‹•ƒ•‹‡–”‹«‹—Žƒœ‘ǡ˜ƒā‹ǣ ‫ ܥ‬ൌ ƒšሾ‫ܪ‬ሺܻሻሿ െ ‫ܪ‬଴ǡ  ௉ೣ

‰†‡Œ‡‫ܪ‬଴ ൌ ‫ܪ‬ሺܻȁܺ ൌ ‫ݔ‬௜ ሻœƒ•˜ƒ‘‫ݔ‬௜ ‫ߥ א‬௒ Ǥ ͶǤͳǤ͵Ǥ    ,   ƒƒŽ‹•ƒ•‹‡–”‹«‹—Žƒœ‘•—‘‹«‹Œ‡˜‡”‘˜ƒ–‘©‡‰”ƒƒ‘Œ‡ƒ’—æ–ƒŒ—•˜ƒ‹ —Žƒœ‹•‹„‘Ž—†‹Œƒ‰”ƒ—ƒƒŽƒ•—‹•–‡œƒ•˜ƒ‹•‹„‘Žȋ‹•–‡†‘ƒ’‡”—–ƒ…‹Œ— ‰”ƒƒȌǤ ƒ†ƒ ©‡‘ ”ƒœ‘–”‹–‹ ƒƒŽ‡ ‘† ‘Œ‹Š •— ˜‡”‘˜ƒ–‘©‡ ‰”ƒƒ ‘Œ‡ †‘Žƒœ‡ †‘ ‹œŽƒœ‹Š•‹„‘Žƒ‹•–‡ȋ‹•–‡†‘ƒ’‡”—–ƒ…‹Œ—‰”ƒƒȌǤ DEFINICIJA 4.3aƒƒŽ‹•ƒ•‹‡–”‹«‹‹œŽƒœ‘Ǥ Œ‡•ƒ•‹‡–”‹«‹‹œŽƒœ‘ƒ†ƒŒ‡•—’ሼ‫݌‬௒ȁ௫ ሺ‫ݕ‬௜ ሻǣ ‫ߥ א ݔ‬௑ ሽ‡œƒ˜‹•ƒ‘†›୧ Ǥ PRIMER 4.5 ƒƒŽ‹œ’”‹‡”ƒͶǤͳŒ‡•ƒ•‹‡–”‹«‹‹œŽƒœ‘Ǥ LEMA 4.2

106

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘†  •ƒ •‹‡–”‹«‹ ‹œŽƒœ‘ǡ —‹ˆ‘”ƒ ”ƒ•’‘†‡Žƒ ˜‡”‘˜ƒ–‘©ƒ —Žƒœƒ ሺ’ଡ଼ ሺ‫ݔ‬௜ ሻŒ‡‹•–ƒœƒ•˜ƒ‘š୧ ሻ”‡œ—Ž–—Œ‡——‹ˆ‘”‘Œ”ƒ•’‘†‡Ž‹˜‡”‘˜ƒ–‘©ƒƒ‹œŽƒœ— ሺ’ଢ଼ ሺ‫ݕ‬௜ ሻŒ‡‹•–‘œƒ•˜ƒ‘›୧ ሻǤ OSOBINA 4.2 ƒ•˜ƒ‹•ƒ•‹‡–”‹«‹‹œŽƒœ‘˜ƒā‹ǣ ƒš ‫ܪ‬ሺܻሻ ൌ Ž‘‰ȁߥ௒ ȁ Ǥ ௣೉

DEFINICIJA 4.4‹‡–”‹«‹ƒƒŽǤ  Œ‡ •‹‡–”‹«ƒ ƒ‘ Œ‡ ‹•–‘˜”‡‡‘ •ƒ •‹‡–”‹«‹ —Žƒœ‘ ‹ •ƒ •‹‡–”‹«‹ ‹œŽƒœ‘Ǥ TEOREMA 4.2 ƒ’ƒ…‹–‡–•‹‡–”‹«‘‰ƒƒŽƒŒ‡†ƒ–•ƒǣ ‫ ܥ‬ൌ Ž‘‰ȁߥ௒ ȁ െ ‫ܪ‬଴ ǡ ‰†‡Œ‡‫ܪ‬଴ ൌ ‫ܪ‬ሺܻȁܺ ൌ ‫ݔ‬௜ ሻœƒ•˜ƒ‹—Žƒœ‹•‹„‘Ž‫ݔ‬௜ ‫ߥ א‬௑ Ǥ PRIMER 4.6 ‹œ’”‹‡”ƒͶǤͳŒ‡•‹‡–”‹«ƒƒƒŽ‘†‘‰ƒŒ‡ǣ ‫ܪ‬଴ ൌ ݄෨ሺ‫݌‬ሻ ൌ െ‫ ݌ ‰‘Ž ݌‬െ ሺͳ െ ‫݌‬ሻ Ž‘‰ሺͳ െ ‫݌‬ሻǤ –‘‰ƒŒ‡ǣ ‫ܥ‬஻ௌ஼ ൌ Ž‘‰ ʹ െ ݄෨ሺ‫݌‬ሻ ൌ ͳ െ ݄෨ሺ‫݌‬ሻሺ—„‹–‘˜‹ƒሻǤ ͶǤͳǤͶǤ   DEFINICIJA 4.5 ”œ‹ƒ ’”‡‘•ƒ ȋœƒ ‘•‘˜— „Ȍ ‘†ƒ ‘Œ‹ •‡ ‘†—Œ‡ †‹•”‡–ƒ ‹œ˜‘”ܷ•ƒȁȯ୙ ȁ ’‘”—ƒǡ«‹Œ‡•—‘†‡”‡«‹ˆ‹•‡†—ā‹‡Œ‡†‡ˆ‹‹•ƒƒ•ƒǣ

107

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ܴ௕ ൌ

Ž‘‰ ௕ ȁߥ௑ ȁ Ǥ ݊

”‹‡–‹‘ †ƒ Œ‡ȁȯ୙ ȁ‹•–‘˜”‡‡‘ ‹ „”‘Œ ‘‰—©‹Š ‘†‹Š ”‡«‹ †‡–‡”‹‹•–‹«‹Š ‡•‹‰—Žƒ”‹Š‘†‘˜ƒǤ‘’”ƒ˜‹Ž—•‡‘•‘˜ƒܾœƒ”ƒ«—ƒŒ‡„”œ‹‡‘†ƒ—œ‹ƒ†ƒ Œ‡Œ‡†ƒƒƒ”‘•–‹‘†ƒǤ PRIMER 4.7  ’”‹‡”— ͶǤʹ ȋ„‹ƒ”‹ ‘† •ƒ ͺ ‘†‹Š ”‡«‹ ‹ †—ā‹‘ ‘†‹Š ”‡«‹ ͸Ȍǡ „”œ‹ƒ ’”‡‘•ƒŒ‡ǣ ܴൌ

Ž‘‰ ͺ ͵ ͳ ൌ ൌ Ǥ ͸ ʹ ͸

˜‘‹œ‰Ž‡†ƒ”ƒœ—‘ǡ„—†—©‹†ƒ•‡—‘˜‘‘†—‘”‹•–‹†˜ƒ’—–ƒ˜‹æ‡„‹–ƒ‡‰‘ 斑‡‹–—Œ‡‹œ˜‘”Ǥ

108

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͶǤʹǤ   e •‘˜— ’‘‰Žƒ˜ŽŒƒ «‹‹ Ƿ‡‘”‡ƒ ‘ ‘†‘˜ƒŒ— — ’”‹•—•–˜— 族ƒDz ȋ‡‰ŽǤ Noisy Coding TheoremȌǡ ‘Œƒ —–˜”¯—Œ‡ —•Ž‘˜‡ ’‘† ‘Œ‹ƒ Œ‡ ‘‰—© ’‘—œ†ƒ ’”‡‘• ‹ˆ‘”ƒ…‹ŒƒǤ ƒ‘‘˜‘‰’‘‰Žƒ˜ŽŒƒœƒ©‡‘ǣ Koja je maksimalna brzina pouzdanog prenosa po kanalu sa šumom uz upotrebu kodova za ispravljanje grešaka? Koja je maksimalna koliina grešaka koja se ini kada se informacije prenose brzinom veom od maksimalne?

ͶǤʹǤͳǤ    ƒ©‡‘ ’”‹‡” Œ‡†‘‰ ˜‡‘ƒ Œ‡†‘•–ƒ˜‘‰ ‹ ƒ‹˜‘‰ ‘†ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǤ ”‹‡” ’”‡˜ƒ•Š‘†‘ •Ž—ā‹ †ƒ ƒ ’‘ƒā‡ ‘‰—©‘•– ‘•–”—…‹Œ‡ †ƒŽ‡‘‡ˆ‹ƒ•‹Œ‹Š‘†‘˜ƒǤ ‹ƒ”‹ ‘† ’‘ƒ˜ŽŒƒŒƒܴ௞ Œ‡†‘•–ƒ˜‘ •˜ƒ‹ —Žƒœ‹ „‹ƒ”‹ •‹„‘Ž ’‘ƒ˜ŽŒƒ ݊ ൌ ʹ݇ ൅ ͳ’—–ǡ݇ ൐ ͲǤ  ‘†ܴଵ Œ‡ ‘’‹•ƒ — ’”‹‡”— ͶǤʹǤ ƒœƒ–”ƒ©‡‘ •ƒ‘ ‡’ƒ”ƒ„”‘Œ’‘ƒ˜ŽŒƒŒƒǡ„—†—©‹†ƒ•‡–ƒ˜‹‘†‘˜‹†‡‘†—Œ—ƒ‘•‘˜—˜‡©‹•‡ Ž‘‰‹‡Ǥ ‘˜‘ŒŽƒ•‹‘†‘˜ƒ˜‡”‘˜ƒ–‘©ƒ’‘‰”‡æ‘‰†‡‘†‘˜ƒŒƒŒ‡Œ‡†ƒƒ˜‡”‘˜ƒ–‘©‹ †ƒ•‡†‡•‡ƒŒƒŒ‡݇ ൅ ͳ‰”‡æƒƒ—”ƒœƒ–”ƒ‘„Ž‘—’‘†ƒ–ƒƒǤ ƒœ‘–”‹‘•‹–—ƒ…‹Œ——‘Œ‘Œ•‡‘˜ƒŒ‘†‘”‹•–‹œƒ‘—‹…‹”ƒŒ‡’‘ƒƒŽ—Ǥ ”‘Œ ‰”‡æƒƒ Œ‡ ”ƒ•’‘†‡ŽŒ‡ ’‘ „‹‘‹ŒƒŽ‘Œ ”ƒ•’‘†‡Ž‹ •ƒ ’ƒ”ƒ‡–”‹ƒሺ݊ǡ ‫݌‬ሻǤ «‡‹˜ƒƒ˜”‡†‘•–‘˜‹Š‰”‡æƒƒƒ’”‹‡”œƒ‫ ݌‬൏ ͲǤͷǡ‘«‡‹˜ƒ‹„”‘Œ‰”‡æƒƒŒ‡ ƒŒ‹ ‘†݇ ൅ ͲǤͷǡ 斑 œƒ«‹ †ƒ ˜‡”‘˜ƒ–‘©ƒ †ƒ •‡ †‡•‹ ƒŒƒŒ‡݇ ൅ ͳ‰”‡æƒ ——–ƒ”Œ‡†‡‘†‡”‡«‹–‡ā‹—Ž‹ƒ†ƒ݇ȋƒ•ƒ‹–‹‹݊Ȍ–‡ā‹„‡•‘ƒ«‘•–‹Ǥ ”—‰‹”‡«‹ƒ˜‡”‘˜ƒ–‘©ƒ’‘‰”‡æ‘‰†‡‘†‘˜ƒŒƒ–‡ā‹—Ž‹ǡƒ†ƒ’‘˜‡©ƒ˜ƒ‘ „”‘Œ’‘ƒ˜ŽŒƒŒƒȋƒ•ƒ‹–‹‹†—ā‹‡‘†‹Š”‡«‹Ȍ

109

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‡ƒ–‘‡ǡ—•–ƒŒ—•‘†ƒ‘’‡œ—Œ‡‘‰—„‹–‡—•Ž‡†族‘˜ƒƒƒƒŽ—†‘ ’”‘‹œ˜‘ŽŒ‡ ‡”‡ —‘Ž‹‘ ’”‹‡‹‘ †‘˜‘ŽŒ‘ ˜‡Ž‹ „”‘Œ ’‘ƒ˜ŽŒƒŒƒǤ ‡¯—–‹ǡ ଵ

…‡ƒ‘Œƒ•‡œƒ–‘’Žƒ©ƒŒ‡‡ˆ‹ƒ•‘•–Ǥ”œ‹ƒ–ƒ˜‘‰‘†ƒŒ‡ ǡ‹–‡ā‹—Ž‹ƒ†ƒ•‡݊ ୬

’‘˜‡©ƒ˜ƒǤƒ˜‡Ž‹‘݊ǡ–‘Œ‡‡’”‹Š˜ƒ–ŽŒ‹˜‘‹•ƒ„”œ‹ƒ’”‡‘•ƒǤ ͶǤʹǤʹǤ   e TEOREMA 4.3 ‘Ž‹‘ Œ‡ „‹ƒ”‹ •‹‡–”‹«‹ ‹œ˜‘”  „”œ‹‡ܴ—Žƒœ —  „‡œ ’‘˜”ƒ–‡•’”‡‰‡ƒ’ƒ…‹–‡–ƒ‫ ܴ‡Œ‘‹Ž‘—‹ܥ‬൐ ‫ܥ‬ǡ–ƒ†ƒŒ‡˜‡”‘˜ƒ–‘©ƒ‰”‡æ‡ୠ  ƒ‹œŽƒœ—ƒƒŽƒ†ƒ–ƒ•ƒǣ ‫ܥ‬ ܲ௕ ൒ ݄෨ିଵ ൬ͳ െ ൰ ܴ ‰†‡Œ‡ǣ ݄෨ିଵ ሺ‫ݔ‬ሻ ൌ ‹ሼ’ǣ െ’ Ž‘‰ሺ‫݌‬ሻ െ ሺͳ െ ‫݌‬ሻ Ž‘‰ሺͳ െ ‫݌‬ሻ ൌ ‫ ݔ‬ሽǤ Š෨ିଵ ‘œƒ«ƒ˜ƒ ‹˜‡”œ— „‹ƒ”— ‡–”‘’‹Œ•— ˆ—…‹Œ—ǡ ’”‹ «‡— Œ‡ ‹ —˜‡†‡ œ„‘‰Œ‡†‹•–˜‡‘•–‹‹˜‡”œ‡ˆ—…‹Œ‡Ǥ

 Ž‹ƒͶǤͷ ˜‡”œƒ„‹ƒ”ƒ‡–”‘’‹Œ•ƒˆ—…‹Œƒ

ƒāƒ ’‘•Ž‡†‹…ƒ ‘˜‡ –‡‘”‡‡ Œ‡ †ƒ ƒ† ‰‘† ˜ƒā‹ܴ ൐ ‫ܥ‬ǡ ’‘•–‘Œ‹ ’‘œ‹–‹˜ƒ †‘Œƒ ‰”ƒ‹…ƒ œƒ ˜‡”‘˜ƒ–‘©— ‰”‡æ‡ୠ ‘Œ— ‹ Œ‡†ƒ •‹•–‡ ‘†‘˜ƒŒƒǡ „‡œ ‘„œ‹”ƒ ‘Ž‹‘‘„‹‘‘’Ž‡•ƒ‡‘ā‡’”‡˜ƒœ‹©‹Ǥ 110

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

PRIMER 4.9 ‡ƒŒ‡ƒ’ƒ…‹–‡–Œ‡†‘‰ǡ‫ ܥ‬ൌ ͲǤʹͷ„‹–ƒœƒ’”‡‘•’‘”—ƒ‹œ˜‘”ƒǤ‘•‡ ’”‡‘•˜”æ‹„”œ‹‘ܴ ൌ ͲǤͷǡ–ƒ†ƒƒ‘•‘˜—ˆ—…‹Œ‡ȋܲ௕ Ȍœƒ˜‡”‘˜ƒ–‘©—‰”‡æ‡ ƒ‹œŽƒœ—ƒƒŽƒ†‘„‹Œƒ‘‰”‡æ—ƒŒƒŒ‡ͳͳΨǡ„—†—©‹†ƒŒ‡ǣ ͳ ܲ௕ ൒ ݄෨ିଵ ൬ͳ െ ൰ ൌ ǤͳͳǤ ʹ ‘ œƒ«‹ †ƒ ©‡ ƒŒƒŒ‡ ͳͳΨ „‹–ƒ „‹–‹ ’‘‰”‡æ‘ †‡‘†‘˜ƒ‘ „‡œ ‘„œ‹”ƒ ƒƒ˜ ‘†œƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒ’”‹‡‹Ž‹Ǥ Kako stoji stvar sa DMC sa povratnom spregom? ‘ƒœ—Œ‡ •‡ †ƒ ‹ — •Ž—«ƒŒ—  •ƒ ’‘˜”ƒ–‘ •’”‡‰‘ǡ ‡Œ‡†ƒ‘•– ˜ƒā‹Ǥ ˜ƒ «‹Œ‡‹…ƒ •‡ ‹œ”ƒāƒ˜ƒ •–ƒ˜‘ †ƒ ’‘˜”ƒ–ƒ •’”‡‰ƒ ‡ ‘ā‡ †ƒ ’‘˜‡©ƒ ƒ’ƒ…‹–‡– Ǥ‡¯—–‹ǡ–‘‡œƒ«‹†ƒ’‘˜”ƒ–ƒ•’”‡‰ƒ‡ƒœƒ«ƒŒƒǤƒ†ƒ•‡˜”æ‹’”‡‘• ƒ „”œ‹ƒƒܴ ൏ ‫ܥ‬ǡ —’‘–”‡„ƒ ’‘˜”ƒ–‡ •’”‡‰‡ ’‘ ’”ƒ˜‹Ž— ’‘Œ‡†‘•–ƒ˜ŽŒ—Œ‡ ‘†‘˜ƒŒ‡‹†‡‘†‘˜ƒŒ‡‹‘‘‰—©ƒ˜ƒ’‘•–‹œƒŒ‡ā‡ŽŒ‡‡‰”‡æ‡†‡‘†‘˜ƒŒƒǤ TEOREMA 4.4‘†‘˜ƒŒ‡——œ’”‹•—•–˜‘族ƒǤ ƒœ‘–”‹‘ ’”‡‘• ’‘”—ƒ „”œ‹‘ܴ’”‡‘  „‡œ ’‘˜”ƒ–‡ •’”‡‰‡ǡ «‹Œ‹ Œ‡ ƒ’ƒ…‹–‡–‫ܥ‬Ǥƒ•˜‡ܴ ൏ ‫‡˜•‹ܥ‬ɂ ൐ Ͳǡ’‘•–‘Œ‹‘† œƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒ„”œ‹‡ ܴ‹‰”‡æ‡†‡‘†‘˜ƒŒƒୠ ൏ ߝǤ ‘’æ–‡‘‰‘˜‘”‡©‹‘˜ƒ˜ƒāƒ–‡‘”‡ƒ–˜”†‹†ƒƒ‘‹œƒ„‡”‡‘‘†‰‘˜ƒ”ƒŒ—©‹ƒ«‹ ‘†‘˜ƒŒƒ ‹ˆ‘”ƒ…‹Œ‡ œƒ œƒ†ƒ–‹ ƒƒŽǡ ‘ā‡ •‡ ’‘•–‹©‹ ’‘ ā‡ŽŒ‹ ƒŽƒ ‰”‡æƒ †‡‘†‘˜ƒŒƒǡ‘†‘•‘’”‡‘•ƒ‹ˆ‘”ƒ…‹ŒƒǤ ƒœ‘–”‹‘•ƒ˜‡”‘˜ƒ–‘©‘‰”‡æ‡‫݌‬ǡ«‹Œ‹Œ‡ƒ’ƒ…‹–‡–•–‘‰ƒ‫ ܥ‬ൌ ͳ െ ݄෠ ሺ‫݌‬ሻǤ Da li za zadate ‫݌‬,‫ ܥ‬i ܴ, date u tabeli postoje kodovi koji ispunjavaju ove zahteve? ࢖ ‫ܥ‬ Kod ܴ ܲ௕ ሺΨሻ Da li postoji?

Kanal

ͳ

ʹȀ͵ ʹǤʹ

૞ ͲǤͺͲͳ ͵ȀͶ ͳ ʹǤʹ

ͳ

ͻȀͳͲ ʹǤʹ

ͳ

ʹȀ͵ ʹǤʹ

૚૙Ψ ͲǤ͸͹ͷ ͵ȀͶ ͻȀͳͲ ͳ ʹǤʹ ͳ ʹǤʹ   111

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͶǤ͸Ž‹ƒ’”‡†•–ƒ˜ŽŒƒ‘†‰‘˜‘”ƒ’‹–ƒŒ‡‹œƒ†

„ŒƒæŒ‡Œ‡ǣ ‘ Œ‡ ൏ ‫‡”‰ ‡Œ ƒŒ‹«  †‘ ‹Œ‘–•‘’ ƒ† ‘• ‹”—‰‹•ܥ‬捃 †‡‘†‘˜ƒŒƒ „‹–ƒୠ ’‘ ā‡ŽŒ‹ƒŽƒǤ େ ‘Œ‡ܴ ൐ ‫ܥ‬ǡ‰”‡æƒ†‡‘†‘˜ƒŒƒ‡‘ā‡„‹–‹Š෠ ሺୠ ሻ ൏ ͳ െ Ǥ ୖ

େ ‘Œ‡ܴ ൐ ‫ܥ‬ǡ‹Š෠ ሺୠ ሻ ൒ ͳ െ ǡ‡‘ā‡‘‹æ–ƒ‘†”‡†Œ‡‘œƒŽŒ—«‹–‹ǡ’‘æ–‘Œ‡‘˜ƒ ୖ

•‹–—ƒ…‹Œƒ‘‰—©ƒȋ‹Œ‡—‘–”ƒ†‹…‹Œ‹•ƒ–‡‘”‡‘ͶǤ͵ȌƒŽ‹‡œƒ‘†‘˜‘ŽŒ‘‘ ‘”‡–‘Œ‘†‘Œ懏‹†ƒ„‹•‘œƒŽŒ—«‹Ž‹†ƒŽ‹–ƒƒ˜‘†œƒ‹•–ƒ‘ā‡’‘•–‘Œƒ–‹Ǥ –ƒ„‡Ž‹‘Œƒ•Ž‡†‹ǡ†ƒ–‘Œ‡”‡æ‡Œ‡ƒ‘•‘˜—‘˜‹Š’”‘•—¯‹˜ƒŒƒǤ ࢖ ‫ܥ‬ Kod ܴ ܲ௕ ሺ Ψሻ ࡾ ൏ ‫ܥ‬ǫ ૚ െ ࡯Ȁࡾ ෩ ሺࡼ࢈ ሻ ࢎ Postoji!

Kanal

112

ʹȀ͵ ʹǤʹ da da da ͳ

૞Ψ ͲǤͺͲͳ ͵ȀͶ ͳ ʹǤʹ da da da

ͻȀͳͲ ʹǤʹ ne ͲǤͳͲͻ ͲǤͲͺͳ ͲǤͳͷ͵ ne možda ͳ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫݌‬ ‫ܥ‬ Kod ܴ ܲ௕ ሺ Ψሻ ࡾ ൏ ‫ܥ‬ǫ ૚ െ ࡯Ȁࡾ ෩ ሺࡼ࢈ ሻ ࢎ Postoji!

Kanal

ʹȀ͵ ͳ ʹǤʹ da da da

ͳͲΨ ͲǤ͸͹ͷ ͵ȀͶ ͻȀͳͲ ͳ ʹǤʹ ͳ ʹǤʹ ne ne ͲǤͳͲͲ ͲǤʹͷͲ ͲǤͲͺͳ ͲǤͳͷ͵ ͲǤͲͺͳ ͲǤͳͷ͵ ne možda ne ne

‡‘”‡ƒ ͶǤͶǤ Œ‡ „‹Ž‘ ˜‡Ž‹‘ ‹œ‡ƒ¯‡Œ‡ — e‡‘‘˜‘ ”ƒ†— ȋC. E. Shannonǣ A mathematical theory of communicationǤ Bell System Technical Journalǡ ˜‘ŽǤ ʹ͹ǡ ’’Ǥ ͵͹ͻȂͶʹ͵and͸ʹ͵Ȃ͸ͷ͸ǡJuly and OctoberǡͳͻͶͺȌǡ‘„Œƒ˜ŽŒ‡‘ͳͻͶͺǤ‰‘†‹‡Ǥ ”‡‘˜‘‰”‡œ—Ž–ƒ–ƒ•ƒ–”ƒŽ‘•‡†ƒ—…‹ŽŒ—’‘—œ†ƒ‘‰’”‡‘•ƒ‘”ƒ‘•ƒŒ‹˜ƒ–‹ „”œ‹—’”‡‘•ƒǡ‹Ž‹‡˜‹˜ƒŽ‡–‘’‘˜‡©ƒ˜ƒ–‹‘†‘••‹‰ƒŽȀ族Ǥ e‡‘ Œ‡ •”—æ‹‘ ‘˜ƒŒ ‹– ’‘ƒœ—Œ—©‹ †ƒ ƒ‘ Œ‡ „”œ‹ƒ ’”‡‘•ƒ ‹•’‘† ƒ’ƒ…‹–‡–ƒ ƒƒŽƒǡ ’‘˜‡©ƒŒ‡ ’‘—œ†ƒ‘•–‹ ’”‡‘•ƒ •‡ ‘ā‡ — ’‘–’—‘•–‹ ‘•–˜ƒ”‹–‹ ‘•–”—…‹Œ‘ ‘’Ž‡•‹Œ‹Š •‹•–‡ƒ ‘†‘˜ƒŒƒ ‹ †‡‘†‘˜ƒŒƒǡ „‡œ ’‘–”‡„‡ †ƒ •‡‡Œƒ‘†‘••‹‰ƒŽȀ族Ǥ ˜ƒ –‡‘”‡ƒ ‡ƒ ’”ƒ–‹«— †‹‡œ‹Œ—Ǥ  Œ‘Œ ‹•— †ƒ–‹ ”‡…‡’–‹ ƒ‘ ‡ˆ‹ƒ•‘ ‘•–”—‹•ƒ–‹ †‘„”‡ ‘†‘˜‡Ǥ ƒ ’”‹‡”ǡ ‹æ–ƒ •‡ ‡ ƒā‡ ‘Ž‹ƒ Œ‡ †—ā‹ƒ ‘†‹Š ”‡«‹—ˆ—…‹Œ‹’ƒ”ƒ‡–”ƒԪǤ –‘‰ƒ Œ‡ ƒ•–ƒŽƒ «‹–ƒ˜ƒ †‹•…‹’Ž‹ƒ ‘Œƒ •‡ œ‘˜‡ ‡‘”‹Œƒ ‘†‘˜ƒŒƒ ȋ‡‰ŽǤ Coding TheoryȌǡ «‹Œ‹ Œ‡ …‹ŽŒ †‹œƒŒ‹”ƒŒ‡ ‡ˆ‹ƒ•‹Š œƒæ–‹–‹Š ‘†‘˜ƒǡ ‘†‘•‘ ‘†‘˜ƒ 斑 ˜‡©‡„”œ‹‡‹斑ƒŒ‡‰”‡æ‡†‡‘†‘˜ƒŒƒǤ

113

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

5. ZAŠTITNI KODOVI – KODOVI ZA ISPRAVLJANJE GREŠAKA ‹ŽŒ‡˜‹‘˜‘‰’‘‰Žƒ˜ŽŒƒ•—†ƒ†ƒ‘‘†‰‘˜‘”‡ƒ•Ž‡†‡©ƒ’‹–ƒŒƒǣ Šta su blok kodovi? Kako se meri rastojanje izmeu kodnih rei? Šta je težina kodne rei? Šta je minimalno rastojanje i minimalna težina jednog koda? Kako se odnose ove veliine prema broju grešaka koje kodovi mogu da detektuju ili isprave?

114

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͳǤ     e ƒ†ƒ •‡ Œ‡†ƒ ‘†ƒ ”‡«œ୧ ’”‡‘•‹ ’‘ ‡‘ ƒƒŽ— •ƒ 族‘˜‹ƒ ‹ ƒ ‹œŽƒœ— ƒƒŽƒ’”‹‹œොǡ–ƒ†ƒ•‡‘†‰‘˜ƒ”ƒŒ—©ƒ‰”‡æƒ—’”‡‘•—†‘„‹Œƒƒ‘”ƒœŽ‹ƒ‡ ൌ œො Ǧœ୧ Ǥ ŽŒ—«ƒ‹†‡ŒƒƒŽ‰‡„ƒ”•‘‰‘†‘˜ƒŒƒ Œ‡†‘†ƒ˜ƒŒ‡ƒŽ‰‡„ƒ”•‡ •–”—–—”‡— •—’— ‘†‹Š”‡«‹–ƒ‘†ƒ•‡‰”‡æƒ‘ā‡Žƒ‘‹œ”ƒœ‹–‹’‘‘©—‘’‡”ƒ…‹Œƒ‘Œ‡†‡ˆ‹‹æ— –—ƒŽ‰‡„ƒ”•—•–”—–—”—Ǥ PRIMER 5.1ƒœŽ‹‡„‹ƒ”‹Š•‡˜‡…‹Ǥ ”‹”‘†‘Œ‡”ƒœŽ‹‡„‹ƒ”‹Š•‡˜‡…‹†‡ˆ‹‹•ƒ–‹’”‡‘‘’‡”ƒ…‹Œ‡ǤƒŽ‡˜ƒā‹ǣ ͳͳͲͳͳ െ ͲͳͳͲͳ ൌ ͳͲͳͳͲ ‡Š‹«‹ ‰‘˜‘”‡©‹ ‘’‡”ƒ…‹Œƒ ‘†—œ‹ƒŒƒ ‹œ ’”‹‡”ƒ ͷǤͳ ‘†‰‘˜ƒ”ƒ ƒ”‹–‡–‹…‹  ’‘ ‘†—Ž— ʹǡ ‘†‘•‘ ‘†‰‘˜ƒ”ƒŒ—©ƒ ƒŽ‰‡„ƒ”•ƒ •–”—–—”ƒ Œ‡ ’‘ŽŒ‡ ƒŽ‘ƒ‫ܨܩ‬ሺʹሻǤ ‘†‡ ”‡«‹ †—ā‹‡݊— –‘ •Ž—«ƒŒ— ’”‹’ƒ†ƒŒ— ˜‡–‘”•‘ ’”‘•–‘”— ሺʹሻ୬ Ǥ ˜ƒŒ ‘…‡’– •‡ †‹”‡–‘ ’”‘æ‹”—Œ‡ ƒ Ǧƒ”‡ ‘†‘˜‡ ‘”‹æ©‡Œ‡ ƒ”‹–‡–‹‡ ’‘ ‘†—Ž—Ǥ DEFINICIJA 5.1Ž‘‘†Ǥ Ǧƒ”‹ „Ž‘ ‘† †—ā‹‡݊Œ‡ ‡’”ƒœƒ ’‘†•—’ ˜‡–‘”•‘‰ ’”‘•–‘”ƒ Ǧ–‘”‹

ሺሻ୬ Ǥ ‡†‘•–ƒ˜‹Œ‡”‡«‡‘–‘•—Ǧƒ”‡”‡«‹†—ā‹‡݊’‘•ƒ–”ƒ‡ƒ‘˜‡–‘”‹ ‘Ž‘‡Ǥ PRIMER 5.2Ž‘‘†Ǥ —’ሼͳͳͲͳǡ ͲͳͳͲǡ ͳͳͳͲሽŒ‡Œ‡†ƒ’”‹‡”„‹ƒ”‘‰„Ž‘‘†ƒǤ ”—‰‹’”‹‡”„Ž‘‘†ƒŒ‡–‡”ƒ”‹‘†•ƒ•‹„‘Ž‹ƒͲǡͳǡʹǡ–ƒƒ˜†ƒŒ‡ͳ ൅ ʹ ൌ Ͳǡ ͳ ൅ ͳ ൌ ʹǡͳ ൅ Ͳ ൌ ͳǡʹ ൅ ʹ ൌ ͳǡʹ ൅ Ͳ ൌ ʹȋƒ”‹–‡–‹ƒ —‫ܨܩ‬ሺ͵ሻȌǡ «‹Œ‡ •— ‘†‡ ”‡«‹ሼͳʹͲǡ ʹͲͳǡ ʹʹʹǡ ͲͳͲሽǤ—’ሼͲͳͳǡ ͳͳͲǡ ͳͲሽ‹Œ‡„Ž‘‘†ǡ„—†—©‹†ƒ‘†‡”‡«‹ ‹•—‹•–‡†—ā‹‡Ǥ 

115

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͳǤͳǤ      ~  ,  DEFINICIJA 5.2‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡Ǥ ƒ‹‰‘˜‘ ”ƒ•–‘ŒƒŒ‡†ሺœ୧ ǡ œ୨ ሻǡ ‹œ‡†Œ— †˜‡ ”‡«‹œ୧ ‹œ୨ ‹•–‡ †—ā‹‡ǡ ‘†‘•‘ †˜ƒ ‹œƒ†—ā‹‡݊ǡŒ‡„”‘Œ•‹„‘Žƒȋ’‘œ‹…‹ŒƒȌ—‘Œ‹ƒ•‡–‡†˜‡‘†‡”‡«‹”ƒœŽ‹—Œ—Ǥ PRIMER 5.3‡‹‹‰‘˜‘”ƒ•–‘ŒƒŒ‡Ǥ ‡‹‰‘˜‘ ”ƒ•–‘ŒƒŒ‡ ‹œ‡¯—ͳͲͳͲͳͲ‹ͳͳͳͲͳͲŒ‡ͳǡ ’‘æ–‘ •‡ ‘˜‡ †˜‡ ”‡«‹ ”ƒœŽ‹—Œ—•ƒ‘ƒʹǤ’‘œ‹…‹Œ‹Ǥ ‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡‹œ‡¯—ͳͲͳͲ‹ͲͳͲͳŒ‡Ͷǡ’‘æ–‘•‡‘˜‡†˜‡”‡«‹”ƒœŽ‹—Œ—— •˜‹’‘œ‹…‹ŒƒƒǤ ‡‹‰‘˜‘ ”ƒ•–‘ŒƒŒ‡ ‹œ‡¯— ͳͲͳͲ ‹ ͳͳͳͲͳͲ ‹Œ‡ †‡ˆ‹‹•ƒ‘ǡ „—†—©‹ †ƒ •— ”‡«‹ ”ƒœŽ‹«‹–‡†—ā‹‡Ǥ ‡‹‰‘˜‘ ”ƒ•–‘ŒƒŒ‡ Œ‡ œƒ‹•–ƒ  ”ƒ•–‘ŒƒŒ‡ — •–”‘‰‘ ƒ–‡ƒ–‹«‘ •‹•Ž— ȋœƒ†‘˜‘ŽŒƒ˜ƒ –”‹ ƒ•‹‘ƒ ‡–”‹«‘‰ ”ƒ•–‘ŒƒŒƒ Ȃ •‹‡–”‹Œƒǡ —Ž–‘ ”ƒ•–‘ŒƒŒ‡ ‹ ‡Œ‡†ƒ‘•––”‘—‰ŽƒȌ DEFINICIJA 5.3‡ā‹‡‘†‹Š”‡«‹Ǥ ‡ā‹ƒŒ‡†‡”‡«‹Œ‡†ƒƒŒ‡„”‘Œ—‡—Ž–‹Š•‹„‘Žƒ—–‘Œ”‡«‹Ǥ PRIMER 5.4‡ā‹‡‘†‹Š”‡«‹ ‡ā‹ƒ ”‡«‹ͳͲͳͳͲŒ‡ ͵ǡ †‘ Œ‡ –‡ā‹ƒ  ”‡«‹ͲͲͲͲͲͲͲͲŒ‡†ƒƒ ͲǤ ‡ā‹ƒ ”‡«‹ ͲͲͲͳͲͲͲŒ‡Œ‡†ƒƒͳǤ OSOBINA 5.1 ‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡†˜‡‘†‡”‡«‹Œ‡†ƒ‘Œ‡–‡ā‹‹Œ‹Š‘˜‡”ƒœŽ‹‡ǡ‘†‘•‘ †൫œ୧ ǡ œ୨ ൯ ൌ ™ሺœ୧  െ œ୨ ሻǡ ‰†‡݀ሺሻ‘œƒ«ƒ˜ƒ‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡ǡƒ‫ݓ‬ሺሻ–‡ā‹—”‡«‹Ǥ PRIMER 5.5 116

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜ƒŒ’”‹‡”’‘ƒœ—Œ‡‡˜‹˜ƒŽ‡–‘•–‡‹‰‘˜‘‰”ƒ•–‘ŒƒŒƒ‹–‡ā‹‡”ƒœŽ‹‡ǣ ݀ሺͳͲͳͳͲǡͳͳͲͳͲሻ ൌ ʹ ‫ݓ‬ሺͳͲͳͳͲ െ ͳͳͲͳͲሻ ൌ ‫ݓ‬ሺͲͳͳͲͲሻ ൌ ʹǤ OSOBINA 5.2 ‡ā‹ƒ‘†‹Š”‡«‹Œ‡—˜‡’‘œ‹–‹˜ƒ‹Ž‹Œ‡†ƒƒ—Ž‹Ǥ DEFINICIJA 5.4 —Žƒ‘†ƒ”‡«Œ‡‘†ƒ”‡«•ƒ•–ƒ˜ŽŒ‡ƒ•ƒ‘‘†—ŽƒǤœƒ«ƒ˜ƒ•‡•ƒͲǤ OSOBINA 5.3 ‡ā‹ƒŒ‡†‡‘†‡”‡«‹Œ‡—Žƒǡƒ‘‹•ƒ‘ƒ‘Œ‡‘†ƒ”‡«—Žƒ‘†ƒ”‡«Ǥ OSOBINA 5.4 ‡ā‹‡ •— •‹‡–”‹«‡ ˆ—…‹Œ‡ǡ ‘†‘•‘ ™ሺœ୧ ሻ ൌ ™ሺെœ୧ ሻ ǡ ‰†‡ •‡ ’‘† െœ୧  ’‘†”ƒœ—‡˜ƒ”‡«—‘Œ‘ŒŒ‡•˜ƒ‹•‹„‘Žœƒ‡Œ‡•—’”‘–‹•‹„‘Ž‘Ǥ PRIMER 5.6‹‡–”‹Œƒ–‡ā‹ƒǤ ƒœ‘–”‹‘–‡”ƒ”‹‘†•ƒ•‹„‘Ž‹ƒͲǡͳǡʹ—‫ܨܩ‬ሺ͵ሻǤƒ†ƒŒ‡ ‫ݓ‬ሺെͳʹͲʹͳͲʹሻ ൌ ‫ݓ‬ሺʹͳͲͳʹͲͳሻ ൌ ͷ ൌ ‫ݓ‬ሺͳʹͲʹͳͲʹሻǤ ”‹‡–‹‘†ƒŒ‡—„‹ƒ”‘•Ž—«ƒŒ—െœ୧ ൌœ୧ ሺെͳ ൌ ͳǡ െͲ ൌ ͲሻǤ OSOBINA 5.5 ƒ•˜ƒ—‘†—”‡«œ୧ ‹œ୨ ˜ƒā‹ǣ ™ሺœ୧ ሻ ൅ ‫ݓ‬ሺ‫ݖ‬௝ ሻ ൒ ™ሺœ୧  ൅ œ୨ ሻǤ PRIMER 5.7  „‹ƒ”‘ •Ž—«ƒŒ— ‹ƒ‘ ‫ݓ‬ሺͳͳͲͳͲͳሻ ൅ ‫ݓ‬ሺͲͳͲͳͲͳሻ ൌ Ͷ ൅ ͵ ൌ ͹ ൒ ͳ ൌ ‫ݓ‬ሺͳͲͲͲͲͲሻ ൌ ‫ݓ‬ሺͳͳͲͳͲͳ ൅ ͲͳͲͳͲͳሻǤ

117

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒœ‘–”‹‘–‡”ƒ”‹‘†•ƒ•‹„‘Ž‹ƒͲǡͳǡʹǣ ‫ݓ‬ሺͲͳʹʹͳͲʹͳሻ ൅ ‫ݓ‬ሺʹͳͲͲʹͲͳͲሻ ൌ ͸ ൅ Ͷ ൌ ͳͲ ൒ ͷ ൌ ‫ݓ‬ሺͲͳʹʹͳͲʹͳ ൅ ʹͳͲͲʹͲͳͲሻǤ Zašto su Hemingova rastojanja i težine rei važna za algebarske kodove za ispravljanje grešaka?

”‡æƒ ‡ ‘Œƒ ƒ•–ƒŒ‡ ’”‹ ’”‡‘•— Œ‡†ƒƒ Œ‡‡ ൌ œොǦœ୧ ǡ ‰†‡ Œ‡œ୧ ‡‹–‘˜ƒƒ ƒœො ’”‹ŽŒ‡ƒ‘†ƒ”‡«Ǥ”‘Œ‰”‡æƒƒ’”‹’”‡‘•—Œ‡†‘•–ƒ˜‘Œ‡Œ‡†ƒ–‡ā‹‹”‡«‹݁ǡ ‘†‘•‘‫ݓ‬ሺ‫ݖ‬Ƹ  െ  ‫ݖ‬௜ ሻǤ ˜ƒ ˜”‡†‘•– Œ‡ —Œ‡†‘ Œ‡†ƒƒ ‡‹‰‘˜‘ ”ƒ•–‘ŒƒŒ— ݀ሺ‫ݖ‬Ƹ ǡ ‫ݖ‬௜ ሻ‹œ‡¯—‡‹–‘˜ƒ‡‹’”‹ŽŒ‡‡‘†‡”‡«‹Ǥ –‘‰ƒ Œ‡ †‡–‡–‘˜ƒŒ‡ ‰”‡æ‡ ‡˜‹˜ƒŽ‡–‘ •ƒ †‡–‡–‘˜ƒŒ‡ ‡ —Ž–‡ –‡ā‹‡ǡ ƒ •’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ •˜‘†‹ •‡ ƒ ‹œ”ƒ«—ƒ˜ƒŒ‡ ”ƒœŽ‹‡݁ǡ „‡œ ’‘œƒ˜ƒŒƒœ୧ ǡ „—†—©‹†ƒŒ‡ƒ’”‹Œ‡—’‘œƒ–‘•ƒ‘œොǤ ͷǤͳǤʹǤ                Na koji nain se dekoduju blok kodovi? ”‹”‘†ƒ ‹–—‹–‹˜ƒ ”‹–‡”‹Œ— œƒ †‡‘†‘˜ƒŒ‡  Œ‡ ‹‹‹œƒ…‹Œƒ ‰”‡æ‡ †‡‘†‘˜ƒŒƒǡ ‘†‘•‘‫ݓ‬ሺ݁ሻǤ  †”—‰‡ •–”ƒ‡ ˜‹†‡Ž‹ •‘ †ƒ Œ‡ –ƒ ‹‹‹œƒ…‹Œƒ ‡˜‹˜ƒŽ‡–ƒ ƒŽƒā‡Œ— ƒŒ„Ž‹ā‡ ‘†‡ ”‡«‹ — ‘†‘•— ƒ ’”‹ŽŒ‡—ǡ ‘†‘•‘ ‹‹‹œƒ…‹Œƒ݀ሺ‫ݖ‬Ƹ ǡ ‫ݖ‬௜ ሻǤ ƒ ’”‹‡”ǡ ƒ‘ •— ‘‰—©‡ ‘†‡ ”‡«‹ ͲͲͲ ‹ ͳͳͳǡ ƒ ’”‹ŽŒ‡ƒ ”‡« Œ‡ ͲͳͲǡ –ƒ†ƒ Œ‡ ƒ‘ ‡ƒ‘ ‹ƒ˜— †‘†ƒ–— ‹ˆ‘”ƒ…‹Œ—ǡ †‡‘†‘˜ƒƒ ”‡« ͲͲͲǡ Œ‡” Œ‡ ݀ሺͲͲͲǡͲͳͲሻ ൌ ͳǡ݀ሺͳͳͳǡͲͳͲሻ ൌ ʹǡ†ƒŽ‡ͲͳͲŒ‡ƒŒ„Ž‹āƒ‘†ƒ”‡«Ǥ DEFINICIJA 5.5‡‘†‘˜ƒŒ‡‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒǤ ƒā‡ •‡ †ƒ ‘†‫ܦƒ—Ž†‘ ‡Œ ‘ƒ ƒŒƒŒ‘–•ƒ” ‰‘Žƒ‹‹ ‡Œƒ˜‘†‘‡† ‹–•‹”‘ܥ‬ ’”‹Ž‹‘†‡‘†‘˜ƒŒƒœƒ•˜ƒ—’”‹ŽŒ‡—”‡«œොƒŒ„Ž‹āƒ‘†ƒ”‡«ǡ–ŒǤ ሺœො ሻ ൌ ”‰‹୸‫א‬େ †ሺœǡ œොሻǤ

118

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘•ƒ–”ƒŒ‘ •ƒ†ƒ ’”‘…‡• †‡‘†‘˜ƒŒƒ •ƒ •–ƒ‘˜‹æ–ƒ ƒŒ‡•‘˜•‡ ˜‡”‘˜ƒ–‘•‡ ’‘•–ƒ˜‡’”‘„Ž‡ƒǤƒ†ƒŒ‡’”‹ŽŒ‡ƒ”‡«œොǡƒŒ˜‡”‘˜ƒ–‹Œƒ‡‹–‘˜ƒƒ‘†ƒ”‡« ‫—©‘–ƒ˜‘”‡˜ ‡Œ—œ‹‹•ƒ ƒŒ‘ ƒ‘ ‡Œݖ‬ሺ ൌ œȁ ൌ œො ሻǡ ‰†‡ Œ‡ܺ—Žƒœǡ ƒܻ‹œŽƒœ ‹œ ƒƒŽƒǤ ˜ƒ ˜‡”‘˜ƒ–‘©ƒ •‡ ‡ ‘ā‡ ‹œ”ƒ«—ƒ–‹ „‡œ ’‘œƒ˜ƒŒ‡ ƒ’”‹‘”‡ ˜‡”‘˜ƒ–‘©‡ ‡‹–‘˜ƒŒƒ ‘†‹Š ”‡«‹ሺ ൌ œ୧ ሻǤ –‘‰ƒ •‡ ‘„‹«‘ —˜‘†‡ ‡‡ ’”‡–’‘•–ƒ˜‡ǡ ‘† ‘Œ‹Š Œ‡ ”ƒœ—ƒ ‘ƒ ’‘ ‘Œ‘Œ •‡ •˜‡ ‘†‡ ”‡«‹ ‡‹–—Œ— •ƒ Œ‡†ƒ‹ ˜‡”‘˜ƒ–‘©ƒƒȋ–œ˜Ǥ’”‡–’‘•–ƒ˜ƒƒ•‹ƒŽ‡‡–”‘’‹Œ‡ȌǤ ƒ†ƒ˜ƒā‹ǣ ܲሺܻ ൌ ‫ݖ‬Ƹ ȁܺ ൌ ‫ݖ‬ሻܲሺܺ ൌ ‫ݖ‬ሻ ܲሺܻ ൌ ‫ݖ‬Ƹ ሻ ௭‫א‬஼ ൌ ”‰ܽ‫ܲ ݔ‬ሺܻ ൌ ‫ݖ‬Ƹ ȁ ൌ œሻሺ ൌ œሻ ൌ ”‰ܽ‫ܲ ݔ‬ሺܻ ൌ ‫ݖ‬Ƹ ȁ ൌ œሻ

”‰ܽ‫ ݔ‬ሺ ൌ œȁܻ ൌ ‫ݖ‬Ƹ ሻ ൌ ”‰ܽ‫ݔ‬ ௭‫א‬஼

௭‫א‬஼

௭‫א‬஼

,Žƒሺ ൌ œොȁ ൌ œሻŒ‡ Žƒæ‹ œƒ ‹œ”ƒ«—ƒ˜ƒŒ‡ ‡‰‘ ’‘«‡–‹ ‹œ”ƒœሺ ൌ œȁ ൌ œොሻǤ ƒ ’”‹‡” — •Ž—«ƒŒ—  ‘˜ƒŒ «Žƒ •‡ •˜‘†‹ ƒ ’”‘‹œ˜‘†‡ –”ƒ•‹•‹‘‹Š ˜‡”‘˜ƒ–‘©ƒœƒ•˜ƒ‹•‹„‘ŽǤ ‘ Œ‡  –ƒƒ˜ †ƒ •˜‹ •‹„‘Ž‹ ‹ƒŒ— Œ‡†ƒ— ˜‡”‘˜ƒ–‘©— ‰”‡æ‡‫݌‬ǡ ‘˜ƒŒ «Žƒ ’‘•–ƒŒ‡ǣ ሺ ൌ œȁ ൌ œොሻ ൌ ’ୢሺ୸ǡ୸ොሻ ሺͳ െ ’ሻ୬ିୢሺ୸ǡ୸ොሻ ǡ „—†—©‹ †ƒ Œ‡ †ሺœǡ œො ሻ•‹„‘Žƒ ’”‡‡•‡‘ •ƒ ‰”‡æ‘ ‹ ݊ െ †ሺœǡ œොሻ•‹„‘Žƒ –ƒ«‘ ’”‡‡–‘Ǥƒ‘Œ‡˜‹†‡–‹†ƒ‘†ƒ”‡«‘Œƒƒ•‹‹œ‹”ƒሺ ൌ œොȁ ൌ œሻŒ‡‘ƒ‘Œƒ ‹‹‹œ‹”ƒ”ƒ•–‘ŒƒŒ‡݀ሺœොǡ ‫ݖ‬௜ ȌǤ ˜‹Œ‡—Œ‡†‘’‘ƒœƒ‘†ƒŒ‡†‡‘†‘˜ƒŒ‡’‘‡–‘†—‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒ‹ ƒ•‹ƒŽ‡˜‡”‘†‘•–‘Œ‘•–‹‡˜‹˜ƒŽ‡–‘—•Ž—«ƒŒ—Ǥ ͷǤͳǤ͵Ǥ       e Da li postoji nain da se unapred za zadati kod može rei koliko grešaka može detektovati, a koliko ispraviti?

119

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

†‰‘˜‘” Œ‡ ’‘œ‹–‹˜ƒ ‹ œƒ•‹˜ƒ •‡ ƒ ˜ƒā‘ •˜‘Œ•–˜— „Ž‘ ‘†‘˜ƒǣ Œ‹Š‘˜‘‰ ‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒǤ DEFINICIJA 5.6‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‘†ƒǤ ‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‘†ƒ ൌ ሼœଵ ǡ œଶ ǡ ǥ ǡ œ୑ ሽŒ‡‹‹ƒŽ‘‡‹‰‘˜‘”ƒ•–‘ŒƒŒ‡ †୫୧୬ ሺሻ‹œ‡¯—„‹Ž‘‘Œ‡†˜‡”ƒœŽ‹«‹–‡‘†‡”‡«‹ǣ †୫୧୬ ሺሻ ൌ ‹୧ஷ୨ †ሺœ୧ ǡ œ୨ ሻǤ ƒ”‡†ƒ –‡‘”‡ƒ ’‘ƒœ—Œ‡ œƒæ–‘ Œ‡ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ Œ‡†‘‰ ‘†ƒ ‘† …‡–”ƒŽ‘‰œƒ«ƒŒƒ—–‡‘”‹Œ‹‘†‘˜ƒœƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǤ TEOREMA 5.1ƒ’ƒ…‹–‡–†‡–‡…‹Œ‡‹‹•’”ƒ˜ŽŒƒŒƒ‰”‡æƒƒǤ Ž‘‘††—ā‹‡݊‹†‡‘†‘˜ƒŒ‡‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒǡ‘ā‡œƒ„‹Ž‘‘Œƒ†˜ƒ „”‘Œƒ‫ݏ‹ݐ‬ǡ –ƒ˜ƒ †ƒ Œ‡Ͳ ൑ – ൑ ǡ ‹Ͳ ൑ • ൑  െ –ǡ †ƒ ‹•’”ƒ˜‹ •˜‡ ‘„Ž‹‡ ‹œ‘˜ƒ ‰”‡æƒƒ•ƒ——’‘‫‡”‰‡Œƒ‹Ž‹ݐ‬惍ƒ‹†ƒ†‡–‡–—Œ‡•˜‡‘„Ž‹‡‹œ‘˜ƒ‰”‡æƒƒ•ƒ – ൅ ͳǡ ǥ ǡ – ൅ •‰”‡æƒƒǡƒ‘‹•ƒ‘ƒ‘Œ‡‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‘†ƒ•–”‹–‘˜‡©‡ ‘†ʹ– ൅ •Ǥ OSOBINA 5.6ƒ•‹ƒŽ‹ƒ’ƒ…‹–‡–†‡–‡…‹Œ‡‰”‡æƒƒǤ Ž‘ ‘†‫—ŒƒŒ‘–•ƒ” ‘Žƒ‹‹ ƒ —ƒ˜‘•ƒœ —Œ‹…‡–‡† ‹–•‹”‘ ‹Œ‘ܥ‬ǡ ‘ā‡ •‡ —’‘–”‡„‹–‹ œƒ †‡–‡…‹Œ— •˜‹Š ‘„Ž‹ƒ ‹œ‘˜ƒ ‰”‡æƒƒ •ƒ ——’‘ ƒŒ‡ ‘† †୫୧୬ ሺሻ െ ͳ‰”‡æƒƒǤ DOKAZ –‡‘”‡‹ͷǤͳ–”‡„ƒ•–ƒ˜‹–‹– ൌ Ͳǡ • ൌ †୫୧୬ ሺሻ െ ͳǤ OSOBINA 5.7ƒ•‹ƒŽ‹ƒ’ƒ…‹–‡–‹•’”ƒ˜ŽŒƒŒƒ‰”‡æƒƒǤ Ž‘ ‘† ‫‰‘Žƒ‹‹ —’‹…‹”’ ƒ ‘ƒ˜‘•ƒœ ‡Œƒ˜‘†‘‡† ‹–•‹”‘ ‹Œ‘ ܥ‬ ”ƒ•–‘ŒƒŒƒǡ ‘ā‡ †ƒ •‡ —’‘–”‡„‹ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ •˜‹Š ‘„Ž‹ƒ ‹œ‘˜ƒ ‰”‡æƒƒ •ƒ ——’‘ሺ†୫୧୬ ሺሻ െ ͳሻȀʹ‹Ž‹ƒŒ‡‰”‡æƒƒ‹‡‘ā‡†ƒ‹•’”ƒ˜‹•˜‡‘„Ž‹‡‹œ‘˜ƒ ‰”‡æƒƒ•ƒ——’‘ͳ ൅ ሺ†୫୧୬ ሺሻ െ ͳሻȀʹ‰”‡æƒƒǤ

120

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ’‘‡‹‘ †ƒ Œ‡ †‡ŽŒ‡Œ‡ •ƒ ʹ — ‰‘”Œ‹ ‹œ”ƒœ‹ƒ –œ˜Ǥ —Ž‹†•‘ ‘†‘•‘ …‡Ž‘„”‘Œ‘†‡ŽŒ‡Œ‡ȋ—‘œƒ…‹‫šہ‬Ȁʹ‫ۂ‬ǡ–Œ…‡Ž‘„”‘Œ‹†‡‘†‡ŽŒ‡ŒƒȌǤ DOKAZ –‡‘”‡‹ͷǤͳ–”‡„ƒ•–ƒ˜‹–‹– ൌ ሺ†୫୧୬ ሺሻ െ ͳሻȀʹǡ•αͲǤ Œ‡†‘˜‡Ž‹«‹ƒሺ†୫୧୬ ሺሻ െ ͳሻȀʹŒ‡ƒ•‹ƒŽ‘‫‘‡•‡Œ‘ݐ‬ā‡—’‘–”‡„‹–‹—‘˜‘Œ –‡‘”‡‹Ǥ PRIMER 5.8 Ž‘‘†•ƒ‹‹ƒŽ‹”ƒ•–‘ŒƒŒ‡ͺ‘ā‡•‡—’‘–”‡„‹–‹œƒ•Ž‡†‡©‡œƒ†ƒ–‡ǣ ͳǤ ʹǤ ͵Ǥ ͶǤ

•’”ƒ˜ŽŒƒŒ‡͵‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡Ͷ‰”‡æ‡ሺ‫ ݐ‬ൌ ͵ǡ ‫ ݏ‬ൌ ͳሻ •’”ƒ˜ŽŒƒŒ‡ƒŒ‡‘†ʹ‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡͵‹ͷ‰”‡æƒƒሺ‫ ݐ‬ൌ ʹǡ ‫ ݏ‬ൌ ͵ሻ •’”ƒ˜ŽŒƒŒ‡ͳ‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡ʹ‹͸‰”‡æƒƒሺ‫ ݐ‬ൌ ͳǡ ‫ ݏ‬ൌ ͷሻ ‡–‡–‘˜ƒŒ‡ƒŒ‡‹Ž‹Œ‡†ƒ‘͹‰”‡æƒƒሺ‫ ݐ‬ൌ Ͳǡ ‫ ݏ‬ൌ ͹ሻ

Ž‘‘†•ƒ‹‹ƒŽ‹”ƒ•–‘ŒƒŒ‡͹‘ā‡•‡—’‘–”‡„‹–‹œƒ•Ž‡†‡©‡œƒ†ƒ–‡ǣ ͳǤ ʹǤ ͵Ǥ ͶǤ

•’”ƒ˜ŽŒƒŒ‡†‘͵‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡Ͷ‰”‡æ‡ሺ‫ ݐ‬ൌ ͵ǡ ‫ ݏ‬ൌ Ͳሻ •’”ƒ˜ŽŒƒŒ‡ƒŒ‡‘†ʹ‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡͵‹Ͷ‰”‡æƒƒሺ‫ ݐ‬ൌ ʹǡ ‫ ݏ‬ൌ ʹሻ •’”ƒ˜ŽŒƒŒ‡ͳ‰”‡æ‡‹†‡–‡–‘˜ƒŒ‡ʹ‹ͷ‰”‡æƒƒሺ‫ ݐ‬ൌ ͳǡ ‫ ݏ‬ൌ Ͷሻ ‡–‡–‘˜ƒŒ‡ƒŒ‡‹Ž‹Œ‡†ƒ‘͸‰”‡æƒƒሺ‫ ݐ‬ൌ Ͳǡ ‫ ݏ‬ൌ ͸ሻ

PRIMER 5.9 ƒ„‹„Ž‘‘†‘‰ƒ‘†ƒ‹•’”ƒ˜ŽŒƒͳ‰”‡æ—ǡŒ‡‰‘˜‘‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‘”ƒ „‹–‹„ƒ”‡͵Ǥ

121

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤʹǤ     ‹‡ƒ”‹‘†‘˜‹’”‡†•–ƒ˜ŽŒƒŒ—Œ‡†—‘†ƒŒœƒ«ƒŒ‹Œ‹ŠŽƒ•ƒ‘†‘˜ƒœ„‘‰Œ‹Š‘˜‡ Œ‡†‘•–ƒ˜‘•–‹‹Žƒ‡‹’Ž‡‡–ƒ…‹Œ‡Ǥ ƒ—«‹©‡‘ǣ Šta su ሺ݊ǡ ݉ሻ D-arni linearni kodovi?  ‘˜‘Œ Žƒ•‹ ‘†‘˜ƒ Œ‡ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ‡˜‹˜ƒŽ‡–‘ •ƒ ‹‹ƒŽ‹ –‡ā‹ƒƒǤ Kako se vrši kodovanje pomou generator matrica? Šta je sistematska forma generator matrica ovih kodova? Kako se vrši dekodovanje na osnovu verifikacionih matrica i sindrom tabela? Kako se izraunava minimalno rastojanje linearnih kodova? Šta su binarni Hemingovi kodovi i kako se koriste? DEFINICIJA 5.7‹‡ƒ”‹‘†Ǥ ሺ݊ǡ ݉ሻǦƒ”‹ Ž‹‡ƒ”‹ ‘†ሺͳ ൑  ൑ ሻŒ‡ Ǧ†‹‡œ‹‘‹ ’‘†’”‘•–‘” ˜‡–‘”•‘‰ ’”‘•–‘”ƒ ሺሻ୬ Ǧ†‹‡œ‹‘‹Š ˜‡–‘”ƒ —‫ܨܩ‬ሺ‫ܦ‬ሻǤ ƒŽ‡ǡ Ž‹‡ƒ”‹ ‘†‘˜‹ •— „Ž‘ ‘†‘˜‹‘Œ‹•—˜‡–‘”•‹’”‘•–‘”Ǥ PRIMER 5.10‹‡ƒ”‹‘†Ǥ ‘†ሼͳͳͲͳǡͲͳͳͲǡͳͳͳͲሽ†ƒ–—’”‹‡”—ͷǤʹ‹Œ‡Ž‹‡ƒ”‹‘†ǡ’‘æ–‘ͲͲͲͲ‹Œ‡‘†ƒ ”‡«‘˜‘‰‘†ƒǡ‹•–‘‰ƒ‹Œ‡˜‡–‘”•‹’”‘•–‘”Ǥ ‹ƒ”‹ ‘†ሼͲͲͲͲǡͳͳͲͳǡ ͲͳͳͲǡ ͳͲͳͳሽŒ‡ Ž‹‡ƒ”‹ ‘† ’‘æ–‘ Œ‡ „‹Ž‘ ‘Œƒ Ž‹‡ƒ”ƒ ‘„‹ƒ…‹Œƒ ‘†‹Š”‡«‹ –ƒ‘¯‡‘†ƒ”‡«ǤƒŽŒ‡ǡ –‘Œ‡ሺͶǡʹሻ„‹ƒ”‹Ž‹‡ƒ”‹‘† ’‘æ–‘Œ‡†‹‡œ‹Œƒ˜‡–‘”•‘‰’‘†’”‘•–‘”ƒʹǡƒŒ‡‰‘˜ƒ†—ā‹ƒͶǤ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ‘˜‘‰ ‘†ƒ Œ‡ ʹǡ ’ƒ •‡ ‘ā‡ ‘”‹•–‹–‹ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ •ƒ‘ Œ‡†‡‰”‡æ‡ȋ’”‡ƒ–‡‘”‡‹ͷǤͳȌǤ 122

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

OSOBINA 5.8 ˜ƒ‹Ž‹‡ƒ”‹‘†•ƒ†”ā‹—Žƒ‘†—”‡«Ǥ˜‘•˜‘Œ•–˜‘†‹”‡–‘•Ž‡†‹‹œ«‹Œ‡‹…‡ †ƒŒ‡Ž‹‡ƒ”‹‘†˜‡–‘”•‹ȋ’‘†Ȍ’”‘•–‘”Ǥ Koliko kodnih rei sadrži jedan ሺ݊ǡ ݉ሻ D-arni linearni kod? OSOBINA 5.9 ሺ݊ǡ ݉ሻǦƒ”‹ Ž‹‡ƒ”‹ ‘† •ƒ†”ā‹୫ ”ƒœŽ‹«‹–‹Š ‘†‹Š ”‡«‹ǡ —ŽŒ—«—Œ—©‹ ‹ —Žƒ ‘†—”‡«Ǥ ˜ƒ ‘•‘„‹ƒ Œ‡ œ‰‘†ƒ œƒ „”œ— ’”‘˜‡”— †ƒ Ž‹ Œ‡ Œ‡†ƒ ‘† •ƒ ’‘‰”‡æ‹ „”‘Œ‡ ‘†‹Š ”‡«‹ ȋ‹Œ‡ •–‡’‡ ‘†‫ܦ‬Ȍ Ž‹‡ƒ”‹ ‘†Ǥ ƒ‘¯‡ •‡ ƒ ‘•‘˜— ‘˜‘‰ •˜‘Œ•–˜ƒ Žƒ‘’‘‰ƒ¯ƒ݉Ȃ†‹‡œ‹Œƒ„ƒœ‹•ƒ‘†ƒǤ DOKAZ ‘æ–‘ Œ‡ Ž‹‡ƒ”‹ ‘† ˜‡–‘”•‹ ’”‘•–‘” †‹‡œ‹Œ‡݉ǡ •˜ƒƒ ‘†ƒ ”‡« •‡ †‘„‹Œƒ ƒ‘ Ž‹‡ƒ”ƒ ‘„‹ƒ…‹Œƒ݉„ƒœ‹«‹Š ‘†‹Š ”‡«‹ ȋ–‘ Œ‡ —Œ‡†‘ Œ‡†ƒ „ƒœƒ ‘˜‘‰ ˜‡–‘”•‘‰’”‘•–‘”ƒȌǤƒሺ݉ǡ ݊ሻǦƒ”‹‘†ǡ‹ƒ——’‘୫ ”ƒœŽ‹«‹–‹Š‘†‹Š”‡«‹ǡ œƒ’”ƒ˜‘•˜‹Š୫ ‘‰—©‹ŠŽ‹‡ƒ”‹Š‘„‹ƒ…‹ŒƒǤ OSOBINA 5.10”œ‹ƒŽ‹‡ƒ”‘‰‘†ƒǤ ”œ‹ƒ’”‡‘•ƒŽ‹‡ƒ”‘‰ሺ݊ǡ ݉ሻ‘†ƒŒ‡ǣ ୫

 ൌ Ǥ ୬

DOKAZ ‘†•‡–‹‘•‡†ƒŒ‡„”œ‹ƒǦƒ”‘‰‘†ƒ‹œ˜‘”ƒ•ƒ‫‹†‘ƒ•ƒ—”‘’Š‹–‹«‹Žœƒ”ܯ‬ ”‡«‹ƒ†—ā‹‡݊†ƒ–ƒ•ƒǣ ൌ

୪୭୥ీ ୑ ୬

Ǥ

 Koliko se razliitih poruka može kodovati ሺ݉ǡ ݊ሻ linearnim kodom?

123

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘Ž‹‘‘Ž‹‘‹ƒ‘†‹Š”‡«‹ǡƒ–‘Œ‡୫ Ǥ–‘‰ƒŒ‡ǣ ൌ

୪୭୥ీ ୈౣ ୬

୫

ൌ Ǥ ୬

TEOREMA 5.2˜‹˜ƒŽ‡–‘•–‹‹ƒŽ‘‰”ƒ•–‘ŒƒŒƒ‹‹‹ƒŽ‡–‡ā‹‡Ǥ ƒ•˜ƒ‹Ž‹‡ƒ”‹‘†‫ܥ‬ǣ †୫୧୬ ሺሻ ൌ ™୫୧୬ ሺሻǡ ‰†‡Œ‡™୫୧୬ ሺሻ‹‹ƒŽƒ–‡ā‹ƒ‘†ƒǡ‘†‘•‘ƒŒƒŒƒ–‡ā‹ƒ‡—Ž–‹Š‘†‹Š ”‡«‹ǣ ™୫୧୬ ሺሻ ൌ ‹୸‫א‬େ ™ሺœሻǤ ୸ஷ଴

˜ƒŒ”‡œ—Ž–ƒ–Œ‡œƒ«ƒŒƒœƒ–‘斑Œ‡†ƒŽ‡‘Žƒæ‡‹œ”ƒ«—ƒ–‹—’”ƒ•‹™୫୧୬ ሺሻ‡‰‘ †୫୧୬ ሺሻǤ PRIMER 5.11 ሺͳͳǡ͵ሻ„‹ƒ”‹‘†ȓͲͲͲͲͲͲͲͲͲͲͲǡͳͲͲͳͳͳͳͲͲͲͲǡͲͳͲͲͲͳͳͳͳͲͲǡͲͲͳͳͳͲͲͳͳͳͳǡ ͳͳͲͳͳͲͲͳͳͲͲǡ ͳͲͳͲͲͳͳͳͳͳͳǡ ͲͳͳͳͳͳͳͲͲͳͳǡ ͳͳͳͲͲͲͲͲͲͳͳȔ ‹ƒ ‹‹ƒŽ— –‡ā‹—ͷǡƒ•ƒ‹–‹‹‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡ͷǤ –‘‰ƒ‘˜ƒŒ‘†‘ā‡†ƒ‹•’”ƒ˜‹•˜‡‘„Ž‹‡‹œ‘˜ƒ‰”‡æƒƒ•ƒ——’‘ͳ‹ʹ‰”‡æ‡ ȋ˜‹†‡–‹‘•‘„‹—ͷǤ͹ȌǤ”‘˜‡”‹–‹†ƒŽ‹Œ‡‘˜ƒŒ‘†Ž‹‡ƒ”ƒǤ ͷǤʹǤͳǤ     ƒ†ƒ ©‡‘ ’‘ƒœƒ–‹ ƒ‘ •‡ ’‘”—‡ –”ƒ•ˆ‘”‹æ— — ‘†‡ ”‡«‹ Ž‹‡ƒ”‘‰ ‘†ƒǤ ‘ •‡  ‘†‹Š ”‡«‹ ‹œƒ„‡”‡ œƒ „ƒœ— ሺ݊ǡ ݉ሻ Ž‹‡ƒ”‘‰ ‘†ƒ ‘œƒ«‡ •ƒ œଵ ǡ œଶ ǡ ǥ ǡ œ୫ ǡ–ƒ†ƒ•‡„‹Ž‘‘Œƒ‘†ƒ”‡«œ୧ ‘ā‡œƒ’‹•ƒ–‹—‘„Ž‹—ǣ ୩ୀ୫

œ୧ ൌ ෍ —୧ǡ୩ œ୩  ୩ୀଵ

124

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‰†‡•——୧ǡ୩ ‘’‘‡–‡œ୧ œƒ„ƒœ‹«‹Š˜‡–‘”ƒœ୩ Ǥ‘’ƒ–‘‘„Ž‹—ǡ‘”‹•–‡©‹ Ž‹‡ƒ”—ƒŽ‰‡„”—‹ƒ‘ǣ œ୧ ൌ ൫—୧ǡଵǡ ǡ ǥ ǡ —୧ǡ୫ ൯ ȉ ൌ —୧ ȉ ǡ ‰†‡Œ‡—୧ ˜‡–‘””‡†൫—୧ǡଵǡ ǡ ǥ ǡ —୧ǡ୫ ൯ƒ ƒ–”‹…ƒ«‹Œ‹•—”‡†‘˜‹œଵ ǡ œଶ ǡ ǥ ǡ œ୫ Ǥ ”‡ƒ–‘‡ǡ’‘”—ƒ—୧ †—ā‹‡•‹„‘Žƒ•‡‘†—Œ‡‘†‘”‡«Œ—œ୧ ‘ā‡Œ‡ •ƒƒ–”‹…‘‫ܩ‬Ǥ–‘‰ƒ•‡ƒ–”‹…ƒ‫ƒ†‘‰‘–ƒ†ƒ…‹”–ƒ”‘–ƒ”‡‡‰ƒ˜‹œƒܩ‬Ǥ DEFINICIJA 5.8 ‡‡”ƒ–‘”ƒ–”‹…ƒǤ ݉‫ƒ…‹”–ƒ ”‘–ƒ”‡‡‰ ‡Œܩƒ…‹”–ƒ݊ݔ‬ሺ݊ǡ ݉ሻŽ‹‡ƒ”‘‰ ‘†ƒ‫—• ‘ƒ ‘ƒ• ‹ ‘ƒܥ‬ Œ‡‹Š݉˜‡–‘”ƒ ”‡†‘˜ƒ „ƒœ‹•‹ ˜‡–‘”•‘‰ ’”‘•–‘”ƒ‫ܥ‬Ǥ ‘†‘˜ƒŒ‡ ’‘”—‡ — †—ā‹‡݉•‡•˜‘†‹ƒ‘ā‡Œ‡œ ൌ — ȉ Ǥ PRIMER 5.12 ‡‡”ƒ–‘”ƒ–”‹…ƒǤ ‡ƒ Œ‡ †ƒ–ሺͶǡʹሻ„‹ƒ”‹ Ž‹‡ƒ”‹ ‘† ‹œ ’”‹‡”ƒ ͷǤͳͲሼͲͲͲͲǡ ͳͳͲͳǡ ͲͳͳͲǡ ͳͲͳͳሽǤ ˜ƒŒ‘†‹ƒ«‡–‹”‹‘†‡”‡«‹‹‘ā‡†ƒ‘†—Œ‡«‡–‹”‹’‘”—‡ǣ«‡–‹”‹„‹ƒ”‡”‡«‹ ‘† ’‘ †˜ƒ „‹–ƒ—଴ ൌ ͲͲǡ —ଵ ൌ ͳͲǡ —ଶ ൌ Ͳͳǡ —ଷ ൌ ͳͳǤ œ˜”拏‘ ‘†‘˜ƒŒ‡ ’‘‘©— ‰‡‡”ƒ–‘”ƒ–”‹…‡Ǥ

‡†ƒ ‘‰—©ƒ „ƒœƒ ‘˜‘‰ ‘†ƒ Œ‡œଵ ൌ ͳͳͲͳǡ œଶ ൌ ͲͳͳͲǡ 斑 †ƒŒ‡ ‰‡‡”ƒ–‘” ƒ–”‹…—ǣ

ൌቂ

ͳͳͲͳ ቃǤ ͲͳͳͲ

ƒ†ƒ•‡—ଵ ‘†—Œ‡—ǣ ͳͳͲͳ ቉ ൌ ሺͳͳͲͳሻ ൌ œଵ Ǥ —ଵ ȉ ൌ ሺͳͲሻ ȉ ቈ ͲͳͳͲ Ž‹«‘’‘•–—’ƒ‘œƒ–”ƒ•ˆ‘”‹•ƒŒ‡—ଶ —œଶ ǡ—ଷ —ͳͲͳͳ‹—଴ —ͲͲͲͲǤ ”‹‡–‹‘ †ƒ Ž‹‡ƒ”‹ ‘† —˜‡ ‘†—Œ‡ —Žƒ ’‘”—— — —Žƒ ‘†— ”‡«Ǥ ˜‘ Œ‡ ’‘•Ž‡†‹…ƒŽ‹‡ƒ”‘•–‹‘†ƒǡ‘†‘•‘«‹Œ‡‹…‡†ƒŒ‡Ž‹‡ƒ”‹‘†˜‡–‘”•‹’”‘•–‘”Ǥ  125

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤʹǤʹǤ      † •˜‹Š ‘‰—©‹Š ‰‡‡”ƒ–‘” ƒ–”‹…ƒǡ Œ‡†ƒ ‹ƒ ’‘•‡„ƒ ‘„Ž‹ǡ ƒ‘ ’‘•–‘Œ‹Ǥ ‘ Œ‡ •‹•–‡ƒ–•ƒˆ‘”ƒǤ DEFINICIJA 5.9‹•–‡ƒ–•ƒˆ‘”ƒǤ

‡‡”ƒ–‘” ƒ–”‹…ƒ‫ܩ‬ሺ݊ǡ ݉ሻŽ‹‡ƒ”‘‰ ‘†ƒ Œ‡ •‹•–‡ƒ–•‡ ˆ‘”‡ ƒ‘ •‡ ‘ā‡ œƒ’‹•ƒ–‹—‘„Ž‹—ǣ ‫ Ͳͳ ۍ‬ǥ Ͳ’ଵǡଵ ǥ ’ଵǡ୬ି୫ ‫ې‬ ‫ ͳͲێ‬ǥ Ͳ’ଶǡଵ  ǥ ’ଶǡ୬ି୫ ‫ۑ‬

ൌ ൣ ୫ ൧ ൌ ‫ ێ‬ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ Ǥ ‫ۑ‬ǡ ‫ێ‬ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ ǥ Ǥ Ǥ ‫ۑ‬ ‫ێ‬ ‫ۑ‬ ‫ ͲͲۏ‬ǥ ͳ’୫ǡଵ ǥ ’୫ǡ୬ି୫ ‫ے‬ ‰†‡ Œ‡ ୫ Œ‡†‹‹«ƒ ƒ–”‹…ƒ †‹‡œ‹Œ‡݉ǡ †‘ Œ‡ܲ݉‫ݔ‬ሺ݊ െ ݉ሻƒ–”‹…ƒ ‘Œƒ •‡ «‡•–‘ƒœ‹˜ƒƒ–”‹…ƒ’ƒ”‘•–‹ȋ‡‰ŽǤParity MatrixȌǤ ”‹‡–‹‘ǡ †ƒ —‘Ž‹‘ ’‘•–‘Œ‹ •‹•–‡ƒ–•ƒ ˆ‘”ƒ ‰‡‡”ƒ–‘” ƒ–”‹…‡ Ž‹‡ƒ”‘‰ ‘†ƒǡ‘ƒŒ‡Œ‡†‹•–˜‡ƒǤ DEFINICIJA 5.10‹•–‡ƒ–•‹Ž‹‡ƒ”‹‘†Ǥ ‹‡ƒ”‹ ‘† ‘Œ‹ ‘”‹•–‹ ‰‡‡”ƒ–‘” ƒ–”‹…— — •‹•–‡ƒ–•‘Œ ˆ‘”‹ •‡ ƒœ‹˜ƒ •‹•–‡ƒ–•‹ȋŽ‹‡ƒ”‹Ȍ‘†Ǥ ƒ†ƒሺ݊ǡ ݉ሻŽ‹‡ƒ”‹ ‘† ‘”‹•–‹ •‹•–‡ƒ–•— ˆ‘”— ‰‡‡”ƒ–‘” ƒ–”‹…‡ǡ –ƒ†ƒ Œ‡ ’”˜‹Š݉•‹„‘Žƒ ‘† ——’‘݊•‹„‘Žƒ ‘†‡ ”‡«‹ ‡‰œƒ–‘ Œ‡†ƒ •‹„‘Ž‹ƒ ’‘”—‡ǣ œ୧ ൌ ሺ—୧ǡଵ ǡ —୧ǡଶ ǡ ǥ ǡ —୧ǡ୫ ǡ œ୧ǡ୫ାଵ ǡ ǥ ǡ œ୧ǡ୬ ሻǤ ”—‰‹ ”‡«‹ƒǡ •‹•–‡ƒ–•‹ ‘† ’”˜‘ 惎Œ‡ ‡‘†‘˜ƒ— ’‘”——ǡ ƒ œƒ–‹ሺ݊ െ ݉ሻ‘†‹Š•‹„‘Žƒœƒ’‘–”‡„‡†‡–‡…‹Œ‡‹‹•’”ƒ˜ŽŒƒŒƒ‰”‡æƒƒǤ PRIMER 5.13 ”ƒ–‹‘ •‡ ƒ ’”‹‡” ͷǤͳʹǤ ”—‰‹ ‘‰—©‹ ‹œ„‘” „ƒœ‹•ƒ Œ‡œଵ ൌ ͳͲͳͳǡ œଶ ൌ ͲͳͳͲǡ 斑†ƒŒ‡ǣ 126

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ൌቂ

ͳͲͳͳ ቃ ͲͳͳͲ

e–‘Œ‡—Œ‡†‘•‹•–‡ƒ–•ƒˆ‘”ƒ‰‡‡”ƒ–‘”ƒ–”‹…‡‘˜‘‰‘†ƒǤ PRIMER 5.14‹–‹’”‘˜‡”‡’ƒ”‘•–‹Ǥ ƒ„‹ƒ”‡’‘”—‡„‹–’”‘˜‡”‡’ƒ”‘•–‹Œ‡„‹–‘Œ‹‘†‰‘˜ƒ”ƒ’ƒ”‘•–‹„‹–ƒ’‘”—‡ǡ –ŒǤ‹ƒ”ƒ•—ƒ„‹–ƒ’‘”—‡Ǥƒ’”‹‡”ǡ„‹–’”‘˜‡”‡’ƒ”‘•–‹œƒ’‘”——ͲͳͳͲͳŒ‡ ͳ ൅ ͳ ൅ ͳ ൌ ͳǡ†‘Œ‡œƒ’‘”——ͲͲͳͲͳŒ‡†ƒͳ ൅ ͳ ൌ ͲǤ ‘†‘˜ƒŒ‡•ƒ„‹–‘’”‘˜‡”‡’ƒ”‘•–‹•‡•ƒ•–‘Œ‹Œ‡†‘•–ƒ˜‘—•ŽƒŒ—‡‘†‘˜ƒ‡ ’‘”—‡ ‹œƒ ‘Œ‡ •Ž‡†‹ „‹– ’ƒ”‘•–‹Ǥ  –‡”‹‹ƒ –‡‘”‹Œ‡ ‘†‘˜ƒŒƒ ‘˜‘ ‘†‰‘˜ƒ”ƒ ሺ݉ ൅ ͳǡ ݉ሻ„‹ƒ”‘Ž‹‡ƒ”‘‘†—ǡ«‹ŒƒŒ‡‰‡‡”ƒ–‘”ƒ–”‹…ƒǣ ‫ۍ‬ ‫ێ‬

ൌ ‫ ێ‬୫ ‫ێ‬ ‫ۏ‬

ͳ ͳ‫ې‬ ‫ۑ‬ Ǥ ‫ۑ‬ǡ Ǥ‫ۑ‬ ͳ‫ے‬

‘ŒƒŒ‡—•‹•–‡ƒ–•‘Œˆ‘”‹Ǥ”‹‡–‹‘†ƒŒ‡‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡‘˜‘‰‘†ƒʹ ȋ’”‡ƒ–‡‘”‡‹ͷǤʹȌǡ斑œƒ«‹†ƒ‘˜ƒŒ‘†‘ā‡†ƒ†‡–‡–—Œ‡•ƒ‘Œ‡†—‰”‡æ— ȋ˜‹†‡–‹–‡‘”‡—ͷǤͳȌǤ ͷǤʹǤ͵Ǥ  ǣ    Na koji nain linearni kodovi detektuju i ispravljaju greške? ”‡–’‘•–ƒ˜‹‘†ƒ•‘ ƒæŽ‹ƒ–”‹…—‫ܨ‬ǡ–ƒ˜—†ƒ œƒ•˜ƒ—‘†—”‡«‫ƒ˜ݖ‬ā‹†ƒŒ‡ œ ȉ ൌͲǤƒ†ƒǡƒ‘•‡’”‹Ž‹‘’”‡‘•ƒ‫‡”‰‹•‡†ݖ‬捃݁ǡ斑œƒ«‹†ƒŒ‡ƒ’”‹Œ‡— œො ൌ œ ൅ ‡ǡ ‹ƒ‘ǣ œො ȉ ൌ ሺœ ൅ ‡ሻ ȉ ൌ œ ȉ ൅ ‡ ȉ ൌ Ͳ ൅ ‡ ȉ ൌ ‡ ȉ Ǥ ˜ƒŒ”‡œ—Ž–ƒ–Œ‡‘† ˜‡Ž‹‡‘”‹•–‹ǡ’‘æ–‘’”‘‹œ˜‘†œො ȉ Œ‡‡œƒ˜‹•ƒ ‘†‡‹–‘˜ƒ‡ ‘†‡”‡«‹‫‡”‰†‘‘ƒ•‹•‹˜ƒœ‹ݖ‬捇݁Ǥ”‡ƒ‰‘”Œ‹‹œ”ƒœ‹ƒ•Ž‡†‹†ƒŒ‡‰”‡æƒ — ’”‡‘•— Œ‡†ƒƒ Ž‹‡ƒ”‹ ‘„‹ƒ…‹Œƒƒ ”‡†‘˜ƒ ƒ–”‹…‡ ‫ ܨ‬Ǥ  …‹ŽŒ— ‹•’”ƒ˜ŽŒƒŒƒ ‹Ȁ‹Ž‹ †‡–‡–‘˜ƒŒƒ ‰”‡æƒƒǡ ’‘–”‡„‘ Œ‡ Œ‡†‘•–ƒ˜‘ ˜‡–‘”‡ ‹œ 127

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜‡–‘”•‘‰ ’”‘•–‘”ƒ ‰‡‡”‹•ƒ‘‰ ”‡†‘˜‹ƒ ƒ–”‹…‡‫‡©—Œƒ”ƒ˜‘‰†‘ — ‹–ƒ‹Ž•‡”’ܨ‬ ‘”‹‰‘˜ƒ‡ȋ‹Ž‹†‡–‡–‘˜ƒ‡Ȍ’‘”—‡Ǥ œƒ–‡ƒ–‹«‹Š”ƒœŽ‘‰ƒŒ‡†ƒ«‹ƒœ ȉ ൌͲ •‡—˜‡†ƒŒ‡—‘„Ž‹—ǣ œ ȉ  ୘ ൌ ͲǤ DEFINICIJA 5.11‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒǤ ƒ–”‹…ƒ‫‡Œ‹œ‡‹†ܪ‬ሺ݊ െ ݉ሻ‫ƒœƒ…‹”–ƒƒ‘‹…ƒ‹ˆ‹”‡˜‡Œ݊ݔ‬ሺ݊ǡ ݉ሻǦƒ”‹Ž‹‡ƒ”‹ ‘†‫ܥ‬ǡƒ‘‹•ƒ‘ƒ‘˜ƒā‹ǣ ‫  א œ׊‬ሺሻ୬ œ ȉ  ୘ ൌ Ͳ ฻ œ ‫ א‬Ǥ ”—‰‹”‡«‹ƒǡ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ‘†ƒ‫‘”‰œ‡Œ‡Œܥ‬ȋ‡”‡ŽȌ‘†ƒ‫ܥ‬Ǥ ”‹‡–‹‘ †ƒ Œ‡†ƒ ‘† ‘ā‡ ‹ƒ–‹ ˜‹æ‡ ”ƒœŽ‹«‹–‹Š ˜‡”‹ˆ‹ƒ…‹‘‹Š ƒ–”‹…ƒǤ ˜ƒƒ ƒ–”‹…ƒ «‹Œ‹ •— ”‡†‘˜‹ „ƒœ‹• ˜‡–‘”•‘‰ ’”‘•–‘”ƒ ‘Œ‹ Œ‡ ‘”–‘‰‘ƒŽƒ ƒ Ž‹‡ƒ”‹ ‘†Œ‡˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ–‘‰ƒ‘†ƒǤ Kako nai verifikacionu matricu? •Ž—«ƒŒ—•‹•–‡ƒ–•‘‰‘†ƒ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ•‡ƒŽƒœ‹Žƒ‘Ǥ TEOREMA 6.3 ƒ•‹•–‡ƒ–•‹Ž‹‡ƒ”‹ሺ݉ǡ ݊ሻ‘†‫ܥ‬ǡ«‹ŒƒŒ‡•‹•–‡ƒ–•ƒˆ‘”ƒ‰‡‡”ƒ–‘”ƒ–”‹…‡ †ƒ–ƒ•ƒǣ

ൌ ൣ ୫ ൧ǡ ƒ–”‹…ƒ‘„Ž‹ƒǣ  ൌ ሾെ ୘  ୬ି୫ ሿ Œ‡˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒǤ ”‹‡–‹‘†ƒŒ‡—•Ž—«ƒŒ—’‘ŽŒƒ‫ܨܩ‬ሺʹሻǡ െܲ ൌ ܲǤ PRIMER 5.15 ƒœ‘–”‹‘•‹•–‡ƒ–•‹‘†«‹ŒƒŒ‡‰‡‡”ƒ–‘”ƒ–”‹…ƒ†ƒ–ƒ•ƒǣ 128

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ܩ‬ൌቈ

ͳͲͳͲͳ ቉αቈ ଶ ͲͳͳͳͲ

ͳͲͳ ቉Ǥ ͳͳͳ

ƒ†ƒŒ‡ሺ݊ ൌ ͷǡ ݉ ൌ ʹሻǣ  ൌ ൤ቂͳͲͳቃ ͳͳͳ

୘

ͳͳͳͲͲ ൨ ൌ ൥ ͲͳͲͳͲ ൩ ଷ ͳͳͲͲͳ

Œ‡Œ‡†ƒ‘‰—©ƒ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ‘†ƒ‫ܥ‬Ǥ Kako se dobija verifikaciona matrica u opštem sluaju, kada generator matrica nije u sistematskoj formi? ‡ƒ Œ‡‫ƒ…‹”–ƒ ƒ‘‹…ƒ‹ˆ‹”‡˜ܪ‬ሺ݊ǡ ݉ሻǦƒ”‘‰ Ž‹‡ƒ”‘‰ ‘†ƒ •ƒ ‰‡‡”ƒ–‘” ƒ–”‹…‘‫ܩ‬ǡ «‹Œ‹ •— ”‡†‘˜‹ œଵ ǡ œଶ ǡ ǥ ǡ œ୫ Ǥ ‫‘ܪ‬ā‡‘ ƒ©‹ ƒ ‘•‘˜— •Ž‡†‡©‡‰ ƒŽ‰‘”‹–ƒǣ ͳǤ ƒ݅ ൌ ݉ ൅ ͳǡ Ǥ Ǥ Ǥ ǡ ݊ǡ‹œƒ„”ƒ–‹‫ݖ‬௜ ƒ‘ ’”‘‹œ˜‘ŽŒƒ ˜‡–‘” —‫ܨܩ‬ሺ‫ܦ‬ሻ௡ Ž‹‡ƒ”‘ ‡œƒ˜‹•ƒ‘†‫ݖ‬ଵ ǡ ‫ݖ‬ଶ ǡ ǥ ǡ ‫ݖ‬௜ିଵ ǡ ʹǤ œ”ƒ«—ƒ–‹‹˜‡”œ—ƒ–”‹…—‫ିܯ‬ଵ ƒ–”‹…‡‫ݖ‹˜‘†‡”—•‹Œ‹«ܯ‬ଵ ǡ ‫ݖ‬ଶ ǡ ǥ ǡ ‫ݖ‬௡ ǡ ͵Ǥ œ†˜‘Œ‹–‹‫ ݊Š‹Œ†‡Ž•‘’‘ƒ ்ܪ‬െ ݉‘Ž‘ƒƒ–”‹…‡‫ି ܯ‬ଵ Ǥ PRIMER 5.16 ”ƒ–‹‘•‡ƒ’”‹‡”ͷǤͳʹ‹ሺͶǡʹሻ‘†ǡ«‹Œ‹Œ‡Œ‡†ƒ‰‡‡”ƒ–‘”†ƒ–•ƒ ‫ܩ‬ൌቂ

ͳͳͲͳ ቃ ͲͳͳͲ

ƒ¯‹‘’”˜‘†˜ƒ˜‡–‘”ƒ‡œƒ˜‹•ƒ‘†‘˜ƒ’”‡–Š‘†ƒ†˜ƒǤ œƒ„‡”‹‘’”ǤͳͲͲͲ‹ ͲͳͲͲǤ ƒ†ƒŒ‡ǣ

129

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ېͳͲͳͳۍ‬ ‫ېͲͳͲͲۍ‬ ‫ି ۑͲͳͳͲێ‬ଵ ‫ۑͳͲͲͲێ‬ ൌ‫ێ‬ ‫ۑ‬ǡ α‫ێ‬ ‫ۑ‬ ͳͲͲͲ ͲͳͲͳ ‫ێ‬ ‫ۑ‬ ‫ێ‬ ‫ۑ‬ ‫ےͲͲͳͲۏ‬ ‫ےͳͳͲͳۏ‬ †ƒŽ‡•Ž‡†‹ǣ ‫ېͲͳۍ‬ ͳͲͲͳ ‫ۑͳͲێ‬ ቉Ǥ  ୘ α‫ۑ ێ‬ǡ–ŒǤ ൌ ቈ Ͳͳͳͳ Ͳͳ ‫ۑ ێ‬ ‫ےͳͳۏ‬ ͷǤʹǤͶǤ    ‡”‹ˆ‹ƒ…‹‘ƒ ƒ–”‹…ƒሺ݊ǡ ݉ሻǦƒ”‘‰ Ž‹‡ƒ”‘‰ ‘†ƒ‫‡Œܥ‬ሺ݊ െ ݉ሻ‫ܪ‡…‹”–ƒ݊ݔ‬ –ƒ˜ƒ †ƒ Œ‡݇݁‫ݎ‬ሺ‫ܪ‬ሻŒ‡†ƒ‫ܥ‬ǣ݇݁‫ݎ‬ሺ‫ܪ‬ሻ ൌ ‫ܥ‬Ǥ ƒ ‘•‘˜— ˆ—†ƒ‡–ƒŽ‡ –‡‘”‡‡ ‘ †‹‡œ‹Œƒƒ ˜‡–‘”•‘‰ ’”‘•–‘”ƒ ݀݅݉ሺ݇݁‫ݎ‬ሺ‫ܪ‬ሻሻ ൅ ‫݇݊ܽݎ‬ሺ‫ܪ‬ሻ ൌ ݊ǡ ݀݅݉ሺ‫ܥ‬ሻ ൅ ‫݇݊ܽݎ‬ሺ‫ܪ‬ሻ ൌ ݈݊݅݅‫݇݊ܽݎ‬ሺ‫ܪ‬ሻ ൌ ݊ െ ݉Ǥ ”‡ƒ –‘‡݊ െ ݉”‡†‘˜ƒ ƒ–”‹…‡‫‹”‡‡‰ܪ‬æ‡݊ െ ݉†‹‡œ‹‘ƒŽ‹ ’‘†’”‘•–‘” ‫ܩ‬ሺ‫ܦ‬௡ ǡ–ŒǤሺ݊ǡ ݊ െ ݉ሻŽ‹‡ƒ”‹‘†Ǥ˜ƒŒ‘†•‡ƒœ‹˜ƒ†—ƒŽ‹‘†‘†ƒ‫ܥ‬ȋ‹‘„”—–‘ȌǤ OSOBINA 5.11  —ƒŽ‹‘††—ƒŽ‘‰‘†ƒ‫ܥ†‘ƒ•‡Œܥ‬Ǥ OSOBINA 5.12

‡‡”ƒ–‘”ƒ–”‹…ƒŒ‡†‘‰‘†ƒŒ‡˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒŒ‡‰‘˜‘‰†—ƒŽ‘‰‘†ƒ‹ ‘„”—–‘Ǥ ͷǤʹǤͷǤ    ‘‘˜‹‘Œ‘指†‘ŽŒ—«‡‹†‡Œ‡Ž‹‡ƒ”‹Š‘†‘˜ƒǤ‘Œ‡‫‡•ƒŒ‘«‡”ƒ†‘ݖ‬ ’”‡‘•‹ǡ ƒ ݁ ‰”‡æƒ ’”‹Ž‹‘ ’”‡‘•ƒǡ ’”‹ŽŒ‡ƒ ”‡« Œ‡ œො ൌ œ ൅ ‡Ǥ ‘ Œ‡ ‫ܪ‬ ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ‘”‹æ©‡‘‰‘†ƒœƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǡ–ƒ†ƒŒ‡ǣ 130

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ݖ‬ǁ ȉ ‫ ்ܪ‬ൌ ሺ‫ ݖ‬൅ ݁ሻ ȉ ‫ ்ܪ‬ൌ ‫ ݖ‬ȉ ‫ ்ܪ‬൅ ݁ ȉ ‫ ்ܪ‬ൌ Ͳ ൅ ݁ ȉ ‫ ்ܪ‬ൌ ݁ ȉ ‫்ܪ‬ ˜‘‹Ž—•–”—Œ‡˜ƒā—«‹Œ‡‹…—†ƒŒ‡‫ݖ‬Ƹ ȉ ‫‡”‰ƒ”‘–‡˜†‘‘ƒ•‹•‹˜ƒœ ்ܪ‬捇݁ǡƒ‡‹ ‘† ’”‡‡•‡‡ ‘†‡ ”‡«‹‫ݖ‬Ƹ Ǥ –‘‰ƒ Œ‡ ˜‡Ž‹«‹ƒ‫ݖ‬Ƹ ȉ ‫ƒ˜ ‡„‡•‘’ †‘ ்ܪ‬ā‘•–‹ — †‡‘†‘˜ƒŒ—‹ƒœ‹˜ƒ•‡•‹†”‘ȋ‫ݖ‬Ƹ —‘†‘•—ƒ‫ܪ‬ȌǤ    ͷǤͳʹ‹†”‘‹Ǥ ‹†”‘”‡«‹œො—‘†‘•—ƒ˜‡”‹ˆ‹ƒ…‹‘—ƒ–”‹…—‫œ†‘˜œ‹‘”’‡Œܪ‬ො ȉ  ୘ Ǥ OSOBINA 5.13 ‹†”‘• ൌœො ȉ  ୘ ’”‹ŽŒ‡‡ ”‡«‹ œො— ‘†‘•— ƒ ˜‡”‹ˆ‹ƒ…‹‘— ƒ–”‹…—‫ܥƒ†‘ܪ‬ œƒ˜‹•‹ •ƒ‘ ‘† ‰”‡æ‡ — ’”‡‘•—‡ ൌœො െ œ୧ ǡ ƒ ‡ ‹ ‘† ’”‡‘懐‡ ‘†‡ ”‡«‹ œ୧ ǡœ୧ ‫ א‬Ǥ

”‡æƒ݁•‡ ‘ā‡ †‡‘’‘‘˜ƒ–‹ — ‡Ž‡‡–ƒ”‡ ‰”‡æ‡ ȋ‰”‡æ‡ ƒ ‹˜‘ •˜ƒ‘‰ •‹„‘ŽƒȌǡ ‘†‘•‘ ˜‡–‘” ‰”‡æ‡ ‹ƒ •˜‘Œ‡ ‘’‘‡–‡‡ ൌ ሺ‡ଵ ǡ ǥ ǡ ‡୬ ሻǡ ‘Œ‡ •‡ ‘‰—‹œ”ƒœ‹–‹•ƒǣ ‫ݏ‬ሺ‫ݖ‬ǁ ሻ ൌ ‫ݖ‬ǁ ȉ ‫ ்ܪ‬ൌ ݁ ȉ ‫ ்ܪ‬ൌ ෍ ݁௞ ݄௞  ௞

‰†‡Œ‡݄௞ Ǧ–ƒ‘Ž‘ƒƒ–”‹…‡‫ܪ‬ǡ ‫ ܪ‬ൌ ሾ݄ଵ ǡ ǥ ǡ ݄௡ ሿǤ ƒ „‹ •‡ ƒæƒ‘ ‘”‡–‘” ȋ•—’”‘–‘ ‘† ‰”‡æ‡Ȍ †‘˜‘ŽŒ‘ Œ‡ ƒ©‹ ‘”‡–‘”‡ ‘Œ‹ ‘†‰‘˜ƒ”ƒŒ—’‘Œ‡†‹ƒ«‹‰”‡æƒƒǤ •’”ƒ˜ŽŒƒŒ‡˜‹æ‡‰”‡æƒƒ•‡˜”æ‹•—‹”ƒŒ‡ ‘†‰‘˜ƒ”ƒŒ—©‹Š‘”‡–‘”ƒœƒ’‘Œ‡†‹ƒ«‡‰”‡æ‡Ǥ ‘”‹‰‘˜ƒŒ‡ •‡ †ƒŽ‡ ˜”æ‹ — †˜ƒ ‘”ƒƒǣ ƒ’‹”ƒŒ‡ ‘Ž‘ƒ ƒ–”‹…‡‫— ܪ‬ ‘”‡–‘”‡ ȋ‘Œ‹ •‡ ’ƒ–‡ — ‡‘”‹Œ‹Ȍǡ †‘†ƒ˜ƒŒ‡ Œ‡†‹‹…‡ ƒ ‘†‰‘˜ƒ”ƒŒ—©‡ ‡—Ž–‡’‘œ‹…‹Œ‡•‹†”‘ƒǤ PRIMER 5.17‘”‡…‹‘‡–ƒ„Ž‹…‡œƒ•‘˜ƒ‡ƒ•‹†”‘‹ƒǤ ‡ƒŒ‡ǣ ͳͳͳͲͲ  ൌ ൥ ͲͳͲͳͲ ൩ ͳͳͲͲͳ 131

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒœƒ†ƒ–‘‰„‹ƒ”‘‰‘†ƒǤ ƒ†ƒ•‡ƒ‘•‘˜—‘Ž‘ƒƒ–”‹…‡‹œ˜‘†‡•Ž‡†‡©‹‘”‡–‘”‹ǡ–ƒ„‡Žƒ‹•’‘†Ǥ  Tabela a Sindrom ‘”‡–‘” 101 ͳͲͲͲͲ 111

ͲͳͲͲͲ

100

ͲͲͳͲͲ

010 001

ͲͲͲͳͲ ͲͲͲͲͳ

Tabela b ‹†”‘ ‘”‡–‘” ͲͲͲ ͲͲͲͲͲ ͲͲͳ ͲͲͲͲͳ ͲͳͲ ͲͲͲͳͲ Ͳͳͳ ǫ ͳͲͲ ͲͲͳͲͲ ͳͲͳ ͳͲͲͲͲ ͳͳͲ ǫ ͳͳͳ ͲͳͲͲͲ

Œ‡†‘•–ƒ˜‘ ”‡†‹ ‹æ«‹–ƒ˜ƒŒ‡ ‘Ž‘ƒ ƒ–”‹…‡‫ܪ‬ǡ ȋ–ƒ„‡Žƒ ƒȌǤ ‘ ‹œ˜”拏‘ —”‡¯‡Œ‡’”‡ƒ•‹†”‘‹ƒǡƒ‘•‡–‘—’”ƒ•‹‹‘”‹•–‹†‘„‹Œƒ‘ȋ–ƒ„‡Ž—„ȌǤ ”‹‡–‹‘•Ž‡†‡©‡ǣ —Žƒ •‹†”‘ •‡ —˜‡ ƒ’‹”ƒ ‹ ‡ƒ ‘”‹‰‘˜ƒŒƒǡ ƒ ‘•‘˜— †‡ˆ‹‹…‹Œ‡ ͷǤͳͳǤ ƒ Ͳͳͳ‹ͳͳͲ‘”‡–‘”‹Œ‡Œ‡†‹•–˜‡—‘˜‘’”‹‡”—Ǥ ƒ’”‹‡”ǣ Ͳͳͳ ൌ ͲͳͲ ൅ ͲͲͳǡ斑†ƒŒ‡ͲͲͲͳͳሺͲͲͲͲͳ ൅ ͲͲͲͳͲሻǡ Ͳͳͳ ൌ ͳͳͳ ൅ ͳͲͲǡ斑†ƒŒ‡ͲͳͳͲͲǤ ƒœŽ‘‰ œƒ –‘ Ž‡ā‹ — «‹Œ‡‹…‹ †ƒ ‘˜ƒŒ ‘† ‹ƒ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ͵ ‹ ‘ā‡ †ƒ ‘”‹‰—Œ‡•ƒ‘ͳ‰”‡æ—‹‡•˜‡‘„Ž‹‡˜‡–‘”ƒ‰”‡æ‡•ƒ——’‘ʹ‹Ž‹˜‹æ‡‰”ƒæƒƒǤ ˜ƒ†˜ƒ•‹†”‘ƒœƒ‹•–ƒ‘†‰‘˜ƒ”ƒŒ—†˜‡ƒ‰”‡æƒƒ—’”‡‘•—Ǥ  ’”ƒ•‹ǡ ’ƒ–‹ •‡ –ƒ„‡Žƒ •‹†”‘ƒ ‹ ‘†‰‘˜ƒ”ƒŒ—©‹Š ‘”‡–‘”ƒǤ ’æ–ƒ ’”‘…‡†—”ƒ †‡‘†‘˜ƒŒƒ’”‹ŽŒ‡‡’‘”—‡œොŒ‡•Ž‡†‡©ƒǣ ͳǤ œ”ƒ«—ƒ–‹•‹†”‘‫ݏ‬ሺ‫ݖ‬Ƹ ሻ ൌ ‫ݖ‬Ƹ ȉ ‫ ்ܪ‬Ǥ

132

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ œ”ƒ«—ƒ–‹ ‘”‡–‘” ܿ ൌ െ݁ ǡ ƒ ‘•‘˜— Ž‹‡ƒ”‹Š ‘„‹ƒ…‹Œƒ ‡‘”‹•ƒ‹Š‘”‡–‘”ƒǤ ͵Ǥ œ˜”æ‹–‹†‡‘†‘˜ƒŒ‡‫ ݖ‬ൌ ‫ݖ‬Ƹ ൅ܿǤ PRIMER 5.18‡‘†‘˜ƒŒ‡Ž‹‡ƒ”‹Š‘†‘˜ƒǤ ƒ•–ƒ˜‹‘•ƒ’”‹‡”‘ͷǤͳ͹ǡ—‘‡Œ‡‰‡‡”ƒ–‘”ƒ–”‹…ƒ†ƒ–ƒ•ƒǣ ͳͲͳͲͳ ቉Ǥ

ൌቈ Ͳͳͳͳͳ ”‡–’‘•–ƒ˜‹‘ †ƒ •‡ ’”‡‘•‹‫ ݑ‬ൌ ͳͲǤ ˜ƒ ’‘”—ƒ •‡ ‘†—Œ‡ — ”‡«‫ ݖ‬ൌ ͳͲͳͲͳǡ •ƒ †ƒ–‹ Ž‹‡ƒ”‹ሺͷǡʹሻ‘†‘Ǥ ”‡–’‘•–ƒ˜‹‘ †ƒ Œ‡œො ൌ ͲͲͳͲͳǡ ‘†‘•‘ †ƒ Œ‡ ’”‹Ž‹‘ ’”‡‘•ƒ ’”˜‹ „‹– ’‘‰”‡æ‘ ’”‡‡–Ǥ ƒ«—ƒ‘ •‹†”‘•ሺœොሻ ൌ ‫ݖ‬Ƹ ȉ  ୘ ൌ ͳͲͳǡ斑˜‘†‹ƒ‘”‡–‘”—… ൌ ͳͲͲͲͲǡ˜‹†‡–‹ȋ–ƒ„‡Ž—ƒȌ‹œ’”‹‡”ƒͷǤͳ͹Ǥ ‡‘†‘˜ƒŒ‡•‡˜”æ‹’‘ˆ‘”—Ž‹œො ൅ … ൌ ͲͲͳͲͳ ൅ ͳͲͲͲͲ ൌ ͳͲͳͲͳǡ 斑†ƒŒ‡—’”˜ƒ †˜ƒ„‹–ƒ†‡‘†‘˜ƒ—’‘”——ͳͲǡ’‘æ–‘Œ‡‘”‹æ©‡•‹•–‡ƒ–•‹„‹ƒ”‹‘†ǡ‹ƒ‘ 斑˜‹†‹‘‘ƒ‘†‰‘˜ƒ”ƒ‘”‹‰‹ƒŽ‘Œ’‘”—…‹ƒ—Žƒœ——ƒƒŽǤ KONTROLNO PITANJE e–ƒ Œ‡ ‘”‹‰‹ƒŽƒ ’‘”—ƒǡ ƒ‘ Œ‡ ’”‹ŽŒ‡ƒ ’‘”—ƒ ͳͲͳͲͳͳͲͲͳǡ ˜‡”‹ˆ‹ƒ…‹‘ƒ ƒ–”‹…ƒ—’‘–”‡„ŽŒ‡‘‰‘†ƒŒ‡†ƒ–ƒ•ƒǣ ‫ېͲͲͲͳͲͳͲͳͳۍ‬ ‫ۑͲͲͳͲͲͳͳͳͲێ‬ ൌ‫ێ‬ ‫ۑ‬Ǥ ‫ۑͲͳͲͲͳͳͲͲͳێ‬ ‫ےͳͲͲͲͳͳͳͲͲۏ‬ ODGOVOR ”‹‰‹ƒŽƒ’‘”—ƒŒ‡ͳͲͲͲͳǤ•ሺœො ሻ ൌ ‫ݖ‬ǁ ȉ  ୘ ൌ ͲͳͲͳǡ斑‘†‰‘˜ƒ”ƒ–”‡©‘Œ‘Ž‘‹—‫ܪ‬ǡ 斑 œƒ«‹ †ƒ •‡ ‰”‡æƒ †‡•‹Žƒ ƒ –”‡©‘Œ ’‘œ‹…‹Œ‹Ǥ –‘‰ƒ Œ‡ ‡‹–‘˜ƒƒ ‘†ƒ ”‡« ͳͲͲͲͳͳͲͲͳȋ’”‘‡Œ‡ Œ‡ –”‡©‹ „‹–Ȍǡ ƒ „—†—©‹ †ƒ Œ‡ ‘† •‹•–‡ƒ–‹«ƒ ȋ˜‹†‡–‹‫ܪ‬Ȍǡ ‘”‹‰‹ƒŽƒ’‘”—ƒŒ‡ͳͲͲͲͳȋ—œ‡–‹’”˜‹Š݉ ൌ ͻ െ Ͷ ൌ ͷ„‹–ƒȌǤ

133

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤʹǤ͸Ǥ          ‘† Ž‹‡ƒ”‹Š ‘†‘˜ƒ ‘‰—©‡ Œ‡ ‹œ”ƒ«—ƒ–‹ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ƒ ‘•‘˜— ˜‡”‹ˆ‹ƒ…‹‘‡ƒ–”‹…‡Ǥ TEOREMA 5.4‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ‹‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡Ǥ ‘ Œ‡‫ƒ…‹”–ƒ ƒ‘‹…ƒ‹ˆ‹”‡˜ܪ‬ሺ݊ǡ ݉ሻǦƒ”‘‰ Ž‹‡ƒ”‘‰ ‘†ƒ‫ܥ‬ሺͲ ൑ ݉ ൑ ݊ሻǡ –ƒ†ƒ Œ‡ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ‘†ƒ†୫୧୬ ሺሻŒ‡†ƒ‘ ƒŒƒŒ‡ „”‘Œ— Ž‹‡ƒ”‘ œƒ˜‹•‹Š‘Ž‘ƒ—‫ܪ‬Ǥ ƒ „‹ƒ”‡ Ž‹‡ƒ”‡ ‘†‘˜‡‫ܪ‘…‹”–ƒ ‘‘‹…ƒ‹ˆ‹”‡˜ ƒ•ܥ‬ǡ ‘˜ƒŒ ”‡œ—Ž–ƒ– œƒ«‹ •Ž‡†‡©‡ǣ ͳǤ ‡ƒ—Žƒ‘Ž‘‡ǡ‘†‘•‘݀௠௜௡ ሺ‫ܥ‬ሻ ൐ ͳǤ  ʹǤ ‘‡ƒ†˜ƒ’—–ƒ‹•–—‘Ž‘—ǡ݀௠௜௡ ሺ‫ܥ‬ሻ ൐ ʹǤ PRIMER 5.19 ‹ƒ”‹Ž‹‡ƒ”‹‘†•ƒ˜‡”‹ˆ‹ƒ…‹‘‘ƒ–”‹…‘ǣ ͳͳͳͲͲ  ൌ ൦ͲͳͲͳͲ൪ǡ ͳͳͲͲͳ ƒ”ƒ•–‘ŒƒŒ‡͵Ǥƒ‹•–ƒǡ‫—‘Ž‘—–•‹ƒ–—’ƒ˜†‹–‹—‘Ž‘ƒŽ—ƒ‡ܪ‬ǡ’ƒŒ‡•–‘‰ƒ †୫୧୬ ሺሻ ൐ ʹǤ‫Š‡‘Ž‘‡•‹˜ƒœ‘”ƒ‡‹Ž‹”–‡Œ‘–•‘’ܪ‬ଵ ǡ Šଷ ‹Šହ Ǥ OSOBINA 5.14 ƒሺ݊ǡ ݉ሻŽ‹‡ƒ”‹‘†‫ܥ‬ǡ˜ƒā‹ǣ †୫୧୬ ȋȌ൑  െ  ൅ ͳǤ ͷǤʹǤ͹Ǥ        ƒ†ƒ©‡‘‹œ—«ƒ˜ƒ–‹†‘„”‡„‹ƒ”‡‘†‘˜‡‘Œ‹ ‘‰—†ƒ ‘”‹‰—Œ‡Œ‡†— ‰”‡æ—Ǥ ‘æ–‘ ā‡Ž‹‘ †ƒ ‹•’”ƒ˜‹‘ •ƒ‘ Œ‡†— ‰”‡æ—ǡ †‘˜‘ŽŒ‘ Œ‡ †ƒ •‹†”‘ †ƒŒ‡ 134

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‹†‹ƒ…‹Œ—‰†‡•‡–ƒ‰”‡æƒƒŽƒœ‹ǤƒŽ‡‹†‡ŒƒŒ‡†ƒ•‹†”‘†‹”‡–‘†ƒŒ‡’‘œ‹…‹Œ—ǡ ’”ǤͲͲǤ ǤͲͳœƒ’”˜—’‘œ‹…‹Œ—ǡͲͲǤ Ǥ ǤͳͲœƒ†”—‰—ǡͲͲǤ Ǥ Ǥͳͳœƒ–”‡©—ǡ‹–†Ǥ ‘†•‡–‹‘•‡†ƒŒ‡†ƒ‰”‡æƒƒ’‘œ‹…‹Œ‹݇‘†‰‘˜ƒ”ƒ•‹†”‘—‘Œ‹Œ‡݇Ǧ–ƒ‘Ž‘ƒ ƒ–”‹…‡‫ܪ‬Ǥ˜ƒ«‹Œ‡‹…ƒ˜‘†‹ƒ‹†‡Œ‹†ƒ•‡‘•–”—‹æ‡˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ«‹Œ‡ •—‘Ž‘‡„‹ƒ”‡”‡’‡”‡œ‡–ƒ…‹Œ‡Œ‹Š‘˜‹Š’‘œ‹…‹ŒƒǤ e–ƒƒŒ‘æ—˜‡‹Œ‡Œƒ•‘ǣ Koju dimenziju treba da ima ova verifikaciona matrica? Da li ova konstrukcija zaista daje verifikacionu matricu koda? Da li ovako konstruisan kod može zaista da koriguje sve vektore grešaka sa ukupno jednom greškom? e–‘ •‡ –‹«‡ ’”˜‘‰ ’‹–ƒŒƒǡ ’‘†•‡–‹‘ •‡ †ƒ Œ‡ •‹†”‘ Ž‹‡ƒ”‘‰ሺ݊ǡ ݉ሻ‘†ƒ †—ā‹‡݊ െ ݉Ǥ ‘ •‹†”‘ †‹”‡–‘ ‘†—Œ‡ ’‘œ‹…‹Œ— ‰”‡æ‡ǡ –”‡„ƒŽ‘ „‹ †ƒ ”‡’”‡œ‡–—Œ‡ʹ୬ି୫ െ ͳ’‘œ‹…‹ŒƒǤ ”‡ƒ –‘‡ǡ ƒ‘ •‡ ‹œƒ„‡”‡ †ƒ Œ‡ †—ā‹ƒ ‘†‡ ”‡«‹݊ ൌ  ʹ୬ି୫ െ ͳǡ •˜‡ ’‘œ‹…‹Œ‡ Œ‡†‡ ‰”‡æ‡ ©‡ „‹–‹ œƒ•–—’ŽŒ‡‡ — ˜‡”‹ˆ‹ƒ…‹‘‘Œ ƒ–”‹…‹Ǥ †‘Œ‘Œ–ƒ„‡Ž‹•—†ƒ–‡‘‰—©‡˜”‡†‘•–‹†‹‡œ‹Œ‡‘˜‡Žƒ•‡‘†‘˜ƒǤ ࢔ ૠ ૚૞ ૜૚ ૟૜ Ǥ Ǥ

࢓ Ͷ ͳͳ ʹ͸ ͷ͹ Ǥ Ǥ

࢘ൌ࢔െ࢓ ͵ Ͷ ͷ ͸ Ǥ Ǥ

ƒ˜‡†‹‘†˜ƒ’”‹‡”ƒ˜‡”‹ˆ‹ƒ…‹‘‹Šƒ–”‹…ƒœƒ†—ā‹‡‘†ƒ݊ ൌ ͹‹݊ ൌ ͳͷǤ Ͳ ‫ܪ‬ଷ ൌ ൥Ͳ ͳ

Ͳ ͳ Ͳ

Ͳ ͳ ͳ ͳͲ Ͳ ͳ Ͳ ͳ

ͳ ͳ ͳͳ൩ Ͳ ͳ

135

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Ͳ ‫ܪ‬ସ ൌ ቎Ͳ Ͳ ͳ

Ͳ Ͳ ͳ Ͳ

Ͳ Ͳ  Ͳ ͳ ͳ Ͳ  ͳ Ͳ

Ͳ ͳ Ͳ ͳ

Ͳ Ͳ  ͳ ͳ ͳ ͳ  Ͳ ͳ

ͳ Ͳ Ͳ Ͳ

ͳ ͳ  Ͳ Ͳ Ͳ ͳ  ͳ Ͳ

ͳ Ͳ ͳ ͳ

ͳ ͳ  ͳ ͳ Ͳ Ͳ  Ͳ ͳ

ͳ ͳ  ͳ ͳ቏ ͳ ͳ  Ͳ ͳ

”—‰‘’‹–ƒŒ‡‹ƒ’‘œ‹–‹˜ƒ‘†‰‘˜‘”ǡ†ƒŽ‡‘˜ƒ‘•–”—…‹Œƒ†ƒŒ‡Œ‡†ƒŽ‹‡ƒ”ƒ ‘†ǡ „—†—©‹ †ƒ •— ƒ–”‹…‡ ‘Œ‡ ”‡œ—Ž–—Œ— — ‘˜‘Œ ‘•–”—…‹Œ‹ ’—‘‰ ”ƒ‰ƒǡ ‘†‘•‘‫݇݊ܽݎ‬ሺ‫ܪ‬ሻ ൌ ݊ െ ݉Ǥ ˜‘ •‡ ‘ā‡ ’‘ƒœƒ–‹ –ƒ‘ 斑 •‡ Žƒ‘ ‘ā‡ ‘•–”—‹•ƒ–‹Œ‡†‹‹«ƒƒ–”‹…ƒ‫ܫ‬௡ି௠ ‘†‘Ž‘ƒ†ƒ–‹Šƒ–”‹…ƒȋ—œ‹ƒŒ‡ͳǤǡʹǤǡͶǤǡ ͺǤǤǤǤǤǤ‘Ž‘‡ȌǤ†ƒ˜†‡•Ž‡†‹†ƒŒ‡†‹‡œ‹Œƒ‡”‡Žƒ‘˜‡ƒ–”‹…‡݉ǡ斑†ƒŒ‡ሺ݊ǡ ݉ሻ Ž‹‡ƒ”‹‘†Ǥ ƒ „‹ •‘ ‘†‰‘˜‘”‹Ž‹ ƒ ’‘•Ž‡†Œ‡ ’‹–ƒŒ‡ǣ †ƒ Ž‹ ‘˜ƒŒ ‘† ‘ā‡ †ƒ ‹•’”ƒ˜‹ •˜‡ ‘„Ž‹‡ ˜‡–‘”ƒ ‰”‡æƒƒ •ƒ ——’‘ Œ‡†‘ ‰”‡æ‘ǡ †‘˜‘ŽŒ‘ Œ‡ ‹œ”ƒ«—ƒ–‹ ‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡Ǥ‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ†‘„‹Œ‡ƒ‘˜‘‘•–”—…‹Œ‘‹ƒ† ‡©‡‹ƒ–‹—Žƒ‘Ž‘—‹–‹†˜‡‹•–‡‘Ž‘‡ǡ–ƒ‘†ƒŒ‡—˜ƒā‘•–‹݀௠௜௡ ሺ‫ܥ‬ሻ ൒ ͵Ǥ †”—‰‡ •–”ƒ‡ ’”˜‡ –”‹ ‘Ž‘‡ ‘˜‡ ƒ–”‹…‡ ’”‡†•–ƒ˜ŽŒƒŒ— „‹ƒ”— ”‡’”‡œ‡–ƒ…‹Œ— „”‘Œ‡˜ƒͳǡʹ‹͵‹ƒ‘–ƒ˜‡•——˜‡Ž‹‡ƒ”‘œƒ˜‹•‡Ǥ†ƒ˜†‡•Ž‡†‹†ƒŒ‡‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ‘˜‘‰ ‘†ƒ —˜‡ ͵ ‹ †ƒ ‘ā‡ †ƒ ‹•’”ƒ˜‹ •˜‡ ‘„Ž‹‡ ˜‡–‘”ƒ ‰”‡æƒƒ •ƒ ——’‘Œ‡†‘‰”‡æ‘Ǥ ˜ƒŒ‘†•‡ƒœ‹˜ƒ„‹ƒ”‹‡‹‰‘˜‘†Ǥ DEFINICIJA 5.13‡‹‰‘˜‘†Ǥ ‡‹‰‘˜ ‘† Œ‡ ሺʹ୰ െ ͳǡ ʹ୰ െ ” െ ͳሻ „‹ƒ”‹ Ž‹‡ƒ”‹ ‘†ǡ ሺ” ൒ ʹሻ ǡ «‹Œƒ Œ‡ ˜‡”‹ˆ‹ƒ…‹‘ƒƒ–”‹…ƒ†ƒ–ƒ•ƒǣ Ͳ Ͳ ‫ͳ ڮ‬  ୰ ൌ ሾ„୰ ሺͳሻ୘ „୰ ሺʹሻ୘ ǥ „୰ ሺሻ୲ ሿ ൌ ቎ ‫ ڭ ڰ ڭ ڭ‬቏ Ͳ ͳ ǥ ͳ  ͳ ͳ ǥ ͳ ‰†‡ Œ‡„୬ ሺ‹ሻ„‹ƒ”ƒ ”‡’”‡œ‡–ƒ…‹Œƒ „”‘Œƒ ‹ ’‘‘©— Ǧ„‹–‡ ”‡«‹ ȋ’”Ǥ„ସ ሺͷሻ ൌ ͲͳͲͳȌǤ OSOBINA 5.15 ˜ƒ‹ „‹ƒ”‹ ‡‹‰‘˜ ‘† ‘ā‡ †ƒ ‘”‹‰—Œ‡ •˜‡ ‘„Ž‹‡ ˜‡–‘”ƒ ‰”‡æ‡ •ƒ ——’‘Œ‡†‘‰”‡æ‘Ǥ 136

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

PRIMER5.20‡‹‰‘˜‘†Ǥ œ‹‘†ƒŒ‡‫ ݎ‬ൌ ͵‹‘•–”—‹æ‹‘‡‹‰‘˜„‹ƒ”‹‘†ሺ͹ǡͶሻǤƒ†ƒ‹ƒ‘ǣ Ͳ ‫ܪ‬ଷ ൌ ൥Ͳ ͳ

Ͳ ͳ Ͳ

Ͳ ͳ ͳ ͳͲ Ͳ ͳ Ͳ ͳ

ͳ ͳ ͳͳ൩ Ͳ ͳ

ƒ„‹•‘ƒæŽ‹‰‡‡”ƒ–‘”ƒ–”‹…—ǡ’‘–”‡„‘Œ‡†ƒ’”‘ƒ¯‡‘Ͷ˜‡–‘”ƒ‫ݖ‬ǡ–ƒ˜‹Š †ƒŒ‡œ ȉ  ୘ ൌ ͲǤ ‘•—ƒ’”‹‡”˜‡–‘”‹ȋ‹ƒ˜‹æ‡‘‰—©‹Š”‡æ‡ŒƒȌǣ ‫ݖ‬ଵ ൌ ͳͳͳͲͲͲͲ ‫ݖ‬ଶ ൌ ͳͳͲͳͲͲͳ ‫ݖ‬ଷ ൌ ͳͲͲͲͲͳͳ ‫ݖ‬ସ ൌ ͳͳͳͳͳͳͳ 斑†ƒŒ‡‰‡‡”ƒ–‘”ƒ–”‹…—ǣ ͳͳͳͲͲͲͲ ‫ ܩ‬ൌ ቎ͳͳͲͳͲͲͳ቏ ͳͲͲͲͲͳͳ ͳͳͳͳͳͳͳ ”‡–’‘•–ƒ˜‹‘ †ƒ Œ‡ ’‘•Žƒ–ƒ ’‘”—ƒ‫ ݑ‬ൌ ͳͲͲͳǤ ƒ •‡ ‘†—Œ‡ — ‘†— ”‡« œ ൌ — ȉ ൌ ͲͲͲͳͳͳͳǤ‡ƒ•‡—–‘—’”‡‘•ƒ†‡•‹‰”‡æƒƒ–”‡©‡„‹–—ǡ–ƒ‘†ƒ Œ‡’”‹ŽŒ‡ƒ‘†ƒ”‡«•ƒ†ƒœො ൌ ͲͲͳͳͳͳͳǤ Kako se ona dekoduje? ‹†”‘•ሺͲͲͳͳͳͳͳሻ ൌ œො ȉ  ୘ ൌ Ͳͳͳǡ‘†‘•‘ „‹ƒ”ƒ ”‡’”‡œ‡–ƒ…‹Œƒ œƒ ͵ǡ 斑 œƒ«‹ †ƒ •‡ †‡•‹Žƒ Œ‡†ƒ ‰”‡æƒ ƒ ͵Ǥ „‹–—Ǥ –‘‰ƒ Œ‡ ”‡œ—Ž–ƒ– †‡‘†‘˜ƒŒƒ œො െ ͲͲͳͲͲͲͲ ൌ ͲͲͲͳͳͳͳǡ†ƒŽ‡‘†ƒ”‡«‘ŒƒŒ‡•–˜ƒ”‘‹’‘•Žƒ–ƒǤ

137

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤ͵Ǥ   ,   ƒ—«‹©‡‘ǣ Šta su ciklini kodovi? Kako se kodovi prezentuju pomou polinoma? Kako se vrši kodovanje i dekodovanje pomou ciklinih kodova?

DEFINICIJA 5.14 ‹Ž‹«‹ ‘† Œ‡ Ž‹‡ƒ”‹ „Ž‘ ‘† –ƒƒ˜ †ƒ ƒ‘ Œ‡œ୧ ‘†ƒ ”‡« •ƒ݊•‹„‘Žƒ œ୧ ൌ œ୧ǡଵ ǡ œ୧ǡଶ ǡ ǥ ǡ œ୧ǡ୬ ǡ –ƒ†ƒ Œ‡ ‹ ”‡«œ୧ǡଶ ǡ œ୧ǡଷ ǡ ǥ ǡ œ୧ǡ୬ ǡœ୧ǡଵ ‘Œƒ •‡ †‘„‹Œƒ …‹Ž‹«‘ ’‡”—–ƒ…‹Œ‘ȋ’‘œƒ–‘‹ƒ‘’‘‡”ƒŒ‡—Ž‡˜‘Ȍ•‹„‘Žƒ‘†‡”‡«‹œ୧ ǡ–ƒ‘†Œ‡ ‘†ƒ”‡«†ƒ–‘‰…‹Ž‹«‘‰‘†ƒǤ ˜‘ ’”ƒ–‹«‘ œƒ«‹ †ƒ Œ‡ •˜ƒƒ …‹Ž‹«ƒ ’‡”—–ƒ…‹Œƒ ‘†‡ ”‡«‹ –ƒ‘†Œ‡ ‘†ƒ ”‡«Ǥ PRIMER 5.21‹Ž‹«‹‘†Ǥ Ž‡†‡©‹Ž‹‡ƒ”‹„Ž‘‘†Œ‡…‹Ž‹«‹‘†ǣ œଵ ൌ ͲͲͲǡœଶ ൌ ͳͲͳǡœଷ ൌ Ͳͳͳǡœସ ൌ ͳͳͲǤ Ž‡†‡©‹‘†‹Œ‡…‹Ž‹«‹‘†ǣ œଵ ൌ ͲͲͲǡœଶ ൌ ͲͲͳǡœଷ ൌ ͲͳͲǡœସ ൌ Ͳͳͳǡ ‘æ–‘…‹Ž‹«ƒ’‡”—–ƒ…‹Œƒ‘†‡”‡«‹œଷ ‹Œ‡—•—’—‘†‹Š”‡«‹Ǥ ‹Ž‹«‹ ‘†‘˜‹ •— ˜ƒāƒ Žƒ•ƒ Ž‹‡ƒ”‹Š ‘†‘˜ƒǡ ’‘æ–‘ Œ‡ — ‘˜‘Œ ƒ•‹ ‘‰—©‡ ‘•–”—‹•ƒ–‹‡ˆ‹ƒ•‡’”‘…‡†—”‡‘†‘˜ƒŒƒ‹†‡‘†‘˜ƒŒƒǤ 

138

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤ͵ǤͳǤ   ,      ‹Ž‹«‹ ‘†‘˜‹ ‹ƒŒ— †‘†ƒ–‘ ‘‰”ƒ‹«‡Œ‡ ƒ ‘†‡ ”‡«‹ ȋ•˜ƒƒ ‘†ƒ ”‡« Œ‡ …‹Ž‹«ƒ’‡”—–ƒ…‹Œƒ‡‡‘†‡”‡«‹Ȍǡ斑‹Š—’‘‰Ž‡†—ƒŽ‰‡„ƒ”•‡•–”—–—”‡«‹‹ ‘’Ž‡–‹Œ‹ ‘† ˜‡–‘”•‹Š ’”‘•–‘”ƒǤ Ž‰‡„”ƒ ƒ† ’‘Ž‹‘‹ƒ Œ‡ ’‘‰‘†ƒ ƒ–‡ƒ–‹«‹ƒ’ƒ”ƒ–œƒŒ‹Š‘˜—”‡’”‡œ‡–ƒ…‹Œ—Ǥ ‡ƒŒ‡œ୧ ‘†ƒ”‡«•ƒ•‹„‘Žƒœ୧ ൌ œ୧ǡଵ ǡ œ୧ǡଶ ǡ ǥ ǡ œ୧ǡ୬ ’”‡†•–ƒ˜ŽŒ‡ƒ’‘Ž‹‘‘ œ୧ ሺሻ ൌ œ୧ǡଵ ȉ 

୬ିଵ

൅ œ୧ǡଶ ȉ

୬ିଶ  

൅ ‫ ڮ‬൅ œ୧ǡ୬ ǡ

†‘•‘ ݆ –‹ •‹„‘Ž œ୧ǡ୨ ‘†‡ ”‡«‹ œ୧ †—ā‹‡ ݊ Œ‡ ‘‡ˆ‹…‹Œ‡– —œ •–‡’‡  ୬ି୨  ‘†‰‘˜ƒ”ƒŒ—©‡‰’‘Ž‹‘ƒœ୧ ሺሻǤ Šta je onda ܺ ȉ ‫ݖ‬௜ ሺܺሻ݉‫݋݈ݑ݀݋‬ሺܺ ௡ െ ͳሻ? ‘ƒœƒ©‡‘ †ƒ ‘˜ƒ ‘’‡”ƒ…‹Œƒ ‘†‰‘˜ƒ”ƒ …‹Ž‹«‘ ’‘‡”ƒŒ— — Ž‡˜‘ •‹„‘Žƒ ‘†‡”‡«‹œ୧ Ǥ DOKAZ ௡

௡

ܺ ȉ ‫ݖ‬௜ ሺܺሻ ൌ ܺ ȉ ቌ෍ ‫ݖ‬௜ǡ௝ ȉ ܺ

௡ିଵ ቍ

௡ିଵ

ൌ ෍ ‫ݖ‬௜ǡ௝ ȉ ܺ ௝ୀଵ

௝ୀଵ

௡ି௝ାଵ

ൌ ෍ ‫ݖ‬௜ǡ௞ାଵ ȉ ܺ ௡ି௞ ௞ୀ଴

௡ିଵ

ൌ ‫ݖ‬௜ǡ௝ ȉ ܺ ௡ ൅ ෍ ‫ݖ‬௜ǡ௝ା௞ ȉ ܺ ௡ି௞ ௞ୀଵ

‘†—Ž ୬ െ ͳǡŒ‡†‘•–ƒ˜‘ œƒ«‹ †ƒ ୬ ‘†‰‘˜ƒ”ƒ ͳǡ ୬ାଵ ‘†‰‘˜ƒ”ƒǡ ‹ –†Ǥ –‘‰ƒ œ୧ǡଵ ȉ  ୬ ‘†—Ž‘ ୬ െ ͳ‘†‰‘˜ƒ”ƒœ୧ǡଵ ǡ–ƒ‘†ƒ†ƒŽŒ‡‹ƒ‘ǣ ௡ିଵ

ܺ ȉ ‫ݖ‬௜ ሺܺሻ ൌ ‫ݖ‬௜ǡଵ ൅ ෍ ‫ݖ‬௜ǡ௞ାଵ ȉ ܺ ௞ୀଵ

௡ିଵ ௡ିଵ

ൌ ෍ ‫ݖ‬௜ǡ௞ାଵ ȉ ܺ ௡ି௞ ൅ ‫ݖ‬௜ǡଵ ȉ ܺ ௡ି௡  ௞ୀଵ

e–‘ œƒ‹•–ƒ ‘†‰‘˜ƒ”ƒ ‘†‘Œ ”‡«‹œ୧ǡଶ ǡ œ୧ǡଷ ǡ ǥ ǡ œ୧ǡ୬ ǡœ୧ǡଵ ǡ ‘†‘•‘ …‹Ž‹«‘ ’‘‡”ƒŒ— —Ž‡˜‘‘†‡”‡«‹œ୧ Ǥ

139

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

PRIMER 5.22‘†—Ž ୬ െ ͳƒ”‹–‡–‹ƒǤ ƒ˜‡†‹‘Œ‡†ƒ’”‹‡”‘˜‡ƒ”‹–‡–‹‡ǣ ሺܺ ଶ ൅ ͳሻ ȉ ሺܺ ൅ ͳሻ ൌ ܺ ଷ ൅ ܺ ଶ ൅ ܺ ൅ ͳ ൌ ͳ ൅ ܺ ଶ ൅ ܺ ൅ ͳ‘†ሺܺ ଷ െ ͳሻ ൌ  ଶ ൅  ൅ ሺͳ ൅ ͳሻ‘†ሺ ଷ െ ͳሻ ൌ  ଶ ൅ ‘†ሺ ଷ െ ͳሻ ’‘æ–‘Œ‡—„‹ƒ”‘•Ž—«ƒŒ—ͳ ൅ ͳ ൌ ͲǤ PRIMER 5.23‘Ž‹‘‹ŒƒŽƒ’”‡œ‡–ƒ…‹Œƒ…‹Ž‹«‹Š‘†‘˜ƒǤ ‘†•‡–‹‘•‡„‹ƒ”‘‰…‹Ž‹«‘‰‘†ƒ‹œ’”‡–Š‘†‘‰’”‹‡”ƒǣ œଵ ൌ ͲͲͲǡœଶ ൌ ͳͲͳǡœଷ ൌ Ͳͳͳǡœସ ൌ ͳͳͲǤ ‘Ž‹‘‹ŒƒŽƒ’”‡œ‡–ƒ…‹Œƒ‘˜‘‰‘†ƒŒ‡†ƒ–ƒ•ƒǣ ‫ݖ‬ଵ ሺܺሻ ൌ Ͳ ‫ݖ‬ଶ ሺܺሻ ൌ ͳ ȉ ܺ ଶ ൅ Ͳ ȉ ܺ ൅ ͳ ൌ ܺ ଶ ൅ ͳ ‫ݖ‬ଷ ሺܺሻ ൌ Ͳ ȉ ܺ ଶ ൅ ͳ ȉ ܺ ൅ ͳ ൌ ܺ ൅ ͳ ‫ݖ‬ସ ሺܺሻ ൌ ͳ ȉ ܺ ଶ ൅ ͳ ȉ ܺ ൅ Ͳ ൌ ܺ ଶ ൅ ܺ ”‹‡–‹‘†ƒŒ‡ǣ ܺ ȉ ‫ݖ‬ଶ ሺܺሻ ൌ ‫ݖ‬ଷ ሺܺሻ‘†ሺܺ ଷ െ ͳሻǡ 斑œƒ«‹†ƒŒ‡œଷ …‹Ž‹«‹’‘‡”ƒŒ—Ž‡˜‘‘†‡”‡«‹œଶ Ǥ ‹–ƒŒ‡ǣ Šta su polinomijalne prezentacije sledeih kodnih rei? ͳǤ ʹǤ ͵Ǥ ͶǤ

ͲͲͲͲͲͲͲͲ ͳͲͲͲͳ ͲͲͲͲͲͲͳ ͳͳͳͳ

†‰‘˜‘”‹ǣ 140

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳǤ ʹǤ ͵Ǥ ͶǤ

Ͳ ܺ ସ ൅ ͳ ͳ ܺ ଷ ൅ ܺ ଶ ൅ ܺ ൅ ͳ

‹–ƒŒ‡ǣ ‘•ƒ–”ƒŒ‘†˜‡‘†‡”‡«‹œଵ ‹œଶ Œ‡†‘‰…‹Ž‹«‘‰‘†ƒǤ Šta je onda ‫ݖ‬ଵ ȉ ‫ݖ‬ଶ u sledeim sluajevima? ͳǤ ‫ݖ‬ଵ ൌ ͲͳͲͳͳͲǡ ‫ݖ‬ଶ ൌ ͲͲͲͳͲͲ ʹǤ ‫ݖ‬ଵ ൌ ͳͲͳͲǡ ‫ݖ‬ଶ ൌ ͲͳͲͳ ͵Ǥ ‫ݖ‬ଵ ൌ ͳͳͲͲͳǡ ‫ݖ‬ଶ ൌ ͲͳͲͳͲ †‰‘˜‘”‹ǣ ͳǤ ሺܺ ସ ൅ ܺ ଶ ൅ ܺሻ ȉ ܺ ଶ ൌܺ ସ ൅ ܺ ଷ ൅ ͳ ൌ ͲͳͳͲͲͳǡ ݉‫݀݋‬ሺܺ ଺ െ ͳሻ ʹǤ ሺܺ ଷ ൅ ܺሻሺܺ ଶ ൅ ͳሻ ൌ ܺ ହ ൅ ܺ ଷ ൅ ܺ ଷ ൅ ܺ ൌ ܺ ൅ ܺ ൌ Ͳǡ ݉‫݀݋‬ሺܺ ସ െ ͳሻ ͵Ǥ ሺܺ ସ ൅ ܺ ଷ ൅ ͳሻሺܺ ଷ ൅ ܺሻ ൌ ܺ ଻ ൅ ܺ ଺ ൅ ܺ ଷ ൅ ܺ ହ ൅ ܺ ସ ൅ ܺ ൌ ܺ ଶ ൅ ܺ ൅ ܺ ଷ ൅ ͳ ൅ ܺ ସ ൅ ܺαܺ ସ ൅ ܺ ଷ ൅ ܺ ଶ ൅ ͳαͳͳͳͲͳ OSOBINA 5.16 ‘ Œ‡‫ݖ‬ሺܺሻ’‘Ž‹‘ ‘Œ‹ ‘†‰‘˜ƒ”ƒ ‘†‘Œ ”‡«‹‫—† ƒ†‘ ‰‘«‹Ž‹…ݖ‬ā‹‡݊ǡ –ƒ†ƒ •˜ƒ‹ ’‘Ž‹‘ ’ሺሻǡ ’ሺሻ ȉ œሺሻ‘†ሺ ୬ െ ͳሻ ‘†‰‘˜ƒ”ƒ ’‘Ž‹‘— «‹Œƒ ‘†‰‘˜ƒ”ƒŒ—©ƒ ‘†ƒ ”‡« ’”‹’ƒ†ƒ –‘ ‹•–‘ …‹Ž‹«‘ ‘†— ȋ…‹Ž‹«‹ ’‘‡”ƒŒ — Ž‡˜‘’Ž—•Ž‹‡ƒ”‡‘„‹ƒ…‹Œ‡ȌǤ TEOREMA 5.5 ƒ•˜ƒ‹…‹Ž‹«‹ሺ݊ǡ ݉ሻ‘†‫ ‰‘‹Ž‘’‹Œ‘–•‘’ܥ‬େ ሺሻ•–‡’‡ƒ݊ െ ݉ǡ–ƒƒ˜†ƒŒ‡ǣ ‫ ܥ‬ൌ ሼ݃஼ ሺܺሻ ȉ ‫݌‬ǣ ‫ܨܩ א ݌‬ሺܺሻǡ †‡‰ሺ‫݌‬ሻ ൏ ݉ሽ †‘•‘•˜ƒ‹’‘Ž‹‘‘†‡”‡«‹Œ‡—‘āƒ‰ େ ሺሻ‹‘„”—–‘Ǥ‘œƒ«‹†ƒŒ‡‘† ‫ ‰—©‘‘’ƒ•‹”‡‡‰ܥ‬େ ሺሻǤ˜ƒŒ’‘Ž‹‘•‡ƒœ‹˜ƒ‰‡‡”ƒ–‘”‘‘†ƒ‫ܥ‬Ǥ ‘†‘˜ƒŒ‡”‡«‹—’‘‘©—…‹Ž‹«‘‰‘†ƒ‫œ—ŒƒŽ•—‹Œ‘–•ƒ•‡•ܥ‬ሺሻ ൌ —ሺሻ ȉ ‰ େ ሺሻǤ 141

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ‘ 斑 œƒ‘ǡ —˜‡ Œ‡ ’‘ā‡ŽŒ‘ ‹ƒ–‹ •‹•–‡ƒ–•‹ ‘† — ‘‡ ’”˜‹ •‹„‘Ž‹ ‘†‰‘˜ƒ”ƒŒ— ’‘”—…‹Ǥ ƒሺ݊ǡ ݉ሻ…‹Ž‹«‹ ‘†ǡ –ƒ†ƒ ’”‘…‡†—”ƒ ‘†‘˜ƒŒƒ ‘„—Š˜ƒ–ƒ •Ž‡†‡©‡‘”ƒ‡ǣ ͳǤ ‘ā‡Œ‡ ’‘Ž‹‘ƒ ’‘”—‡‫ݑ‬ሺܺሻ•ƒܺ ௡ି௠ ȋ…‹Ž‹«‘ ’‘‡”ƒŒ‡ — Ž‡˜‘ œƒ ݊ െ ݉‡•–ƒȌǤ”‹‡–‹‘†ƒŒ‡Ǧ•–‡’‡‰‡‡”ƒ–‘”ƒǤ ʹǤ ‡ŽŒ‡Œ‡ܺ ௡ି௠ ȉ ‫ݑ‬ሺܺሻ•ƒ‰‡‡”ƒ–‘”‘݃ሺܺሻ‹†‘„‹ŒƒŒ‡‘•–ƒ–ƒ‫ݎ‬ሺܺሻǤ ͵Ǥ ‘†‘˜ƒŒ‡ ‫ݑ‬ሺܺሻ Œ‡ –ƒ†ƒ ‫ݖ‬ሺܺሻ ൌ ܺ ௡ି௠ ‫ݑ‬ሺܺሻ െ ‫ݎ‬ሺܺሻ ǡ «‹Œ‹Š ݉ ƒŒ˜‹æ‹Š •‹„‘Žƒ‘†‰‘˜ƒ”ƒ•‹„‘Žƒ’‘”—‡‫ݑ‬Ǥ  PRIMER 5.24‹•–‡ƒ–•‘‘†‘˜ƒŒ‡…‹Ž‹«‹‘†‘˜‹ƒ ‘•ƒ–”ƒŒ‘ሺ͹ǡͶሻ„‹ƒ”‹…‹Ž‹«‹‘†ǣ ‫ݖ‬ଵ ൌ ͲͲͲͲͲͲǡ ‫ݖ‬ଶ ൌ ͲͲͲͳͲͳͳǡ ‫ݖ‬ଷ ൌ ͲͲͳͲͳͳͲǡ ‫ݖ‬ସ ൌ ͲͳͲͳͳͲͲǡ ‫ݖ‬ହ ൌ ͳͲͳͳͲͲͲǡ ‫ ଺ݖ‬ൌ ͲͳͳͲͲͲͳǡ ‫ ଻ݖ‬ൌ ͳͳͲͲͲͳͲǡ ‫ ଼ݖ‬ൌ ͳͲͲͲͳͲͳǡ ‫ݖ‬ଽ ൌ ͳͲͳͲͲͳͳǡ ‫ݖ‬ଵ଴ ൌ ͲͳͲͲͳͳͳǡ ‫ݖ‬ଵଵ ൌ ͳͲͲͳͳͳͲǡ ‫ݖ‬ଵଶ ൌ ͲͲͳͳͳͲͳǡ ‫ݖ‬ଵଷ ൌ ͲͳͳͳͲͳͲǡ ‫ݖ‬ଵସ ൌ ͳͳͳͲͳͲͲǡ ‫ݖ‬ଵହ ൌ ͳͳͲͳͲͲͳǡ ‫ݖ‬ଵ଺ ൌ ͳͳͳͳͳͳͳǡ ˜ƒŒ ‘† ‹ƒ ‰‡‡”ƒ–‘”‰ሺሻ ൌ œଶ ሺሻ ൌ  ଷ ൅  ൅ ͳǤ ‹ŽŒ ƒ Œ‡ †ƒ ’”‡‡•‡‘ ’‘”——‫ ݑ‬ൌ ͳͳͲͳǡ‘†‘•‘ሺሻ ൌ  ଷ ൅  ଶ ൅ ͳǤ ‘†‡Ž‹‘’”˜‘ ଷ —ሺሻ ൌ  ଺ ൅  ହ ൅  ଷ •ƒ‰ሺሻǤƒ‘†‡ŽŒ‡Œƒ†‘„‹Œƒ‘ǣ ܺ ଷ ‫ݑ‬ሺܺሻ ൌ ሺܺ ଷ ൅ ܺ ଶ ൅ ܺ ൅ ͳሻ݃ሺܺሻ ൅ ͳǤ †‘•‘‘†ƒ”‡«Œ‡ǣ ‫ݖ‬ሺܺሻ ൌ ܺ ଷ ‫ݑ‬ሺܺሻ ൅ ͳ ൌ ܺ ଺ ൅ ܺ ହ ൅ ܺ ଷ ൅ ͳǤ 斑 ‘†‰‘˜ƒ”ƒ ͳͳͲͳͲͲͳ Ǥ ƒ •—‹”ƒ‘ǣ ’‘”—ƒ ͳͳͲͳ •‡ ‘†—Œ‡ — ͳͳͲͳͲͲͳ Ǥ ”‹‡–‹‘ †ƒ •— ’”˜ƒ «‡–‹”‹ „‹–ƒ Œ‡†ƒƒ ‘”‹‰‹ƒŽ‘Œ ’‘”—…‹ —ǡ 斑 Œ‡ ‹ „‹‘ …‹ŽŒ •‹•–‡ƒ–•‘‰‘†‘˜ƒŒƒǤ • 142

ͳ ȉ ܺ ଺ ൅ ͳ ȉ ܺ ହ ൅ Ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ 

௑ య ା௑ାଵ ௑య



Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

•

ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ 

•

Ͳ ȉ ܺ ଺ ൅ ͳ ȉ ܺ ହ ൅ ͳ ȉ ܺ ସ ൅ Ͳ ȉ ܺ ଷ 

•

Ͳ ȉ ܺ ଺ ൅ ͳ ȉ ܺ ହ ൅ Ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ ൅ ͳ ȉ ܺ ଶ 

•

Ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ ൅ ͳ ȉ ܺ ଶ 

•

Ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ ͳ ȉ ܺ ସ ൅ Ͳ ȉ ܺ ଷ ൅ ͳ ȉ ܺ ଶ ൅ ͳ ȉ ܺ

•

Ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ Ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ ൅ Ͳ ȉ ܺ ଶ ൅ ͳ ȉ ܺ

•

Ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ Ͳ ȉ ܺ ସ ൅ ͳ ȉ ܺ ଷ ൅ Ͳ ȉ ܺ ଶ ൅ ͳ ȉ ܺ ൅ ͳ

•

Ͳ ȉ ܺ ଺ ൅ Ͳ ȉ ܺ ହ ൅ Ͳ ȉ ܺ ସ ൅ Ͳ ȉ ܺ ଷ ൅ Ͳ ȉ ܺ ଶ ൅ Ͳ ȉ ܺ ൅ ͳ  ǦǦǦǦǦǦǦǦǦÆ ‘•–ƒ–ƒ †‡ŽŒ‡Œƒͳ

•

ܺ ଷ ‫ݑ‬ሺܺሻ ൌ ሺܺ ଷ ൅ ܺ ଶ ൅ ܺ ൅ ͳሻ݃ሺܺሻ ൅ ͳ

௑ య ା௑ାଵ ௑ య ା௑ మ



௑ య ା௑ାଵ ௑ య ା௑ మ ା௑



௑ య ା௑ାଵ



௑ య ା௑ మ ା௑ାଵ

TEOREMA 5.6

‡‡”ƒ–‘”…‹Ž‹«‘‰‘†ƒ†—ā‹‡Œ‡ˆƒ–‘”’‘Ž‹‘ƒ ୬ െ ͳǤ TEOREMA 5.7 ˜ƒ‹ ˆƒ–‘” ’‘Ž‹‘ƒ ୬ െ ͳ•–‡’‡ƒ”Œ‡ ‰‡‡”ƒ–‘” Œ‡†‘‰ሺǡ  െ ”ሻ…‹Ž‹«‘‰ ‘†ƒǤ ͷǤ͵ǤʹǤ    ,  ‘•–—’ƒ†‡‘†‘˜ƒŒƒ…‹Ž‹«‹Š‘†‘˜ƒ•‡•ƒ•–‘Œ‹—•Ž‡†‡©‡ǣ ͳǤ ”˜‘ •‡ ‹œ”ƒ«—ƒ˜ƒ •‹†”‘ ƒ ‘•‘˜— ’”‹ŽŒ‡‡ ”‡«‹ ȋ’‘†•‡–‹‘ •‡ †ƒ •‹†”‘œƒ˜‹•‹•ƒ‘‘†‰”‡æ‡ǡƒ‡‹‘†‡‹–‘˜ƒ‡‘†‡”‡«‹‹Œ‡†ƒŒ‡ —Ž‹ƒ‘Œ‡’”‹ŽŒ‡ƒ”‡«Œ‡†ƒƒ‘†‘Œ”‡«‹ȌǤ ʹǤ œ”ƒ«—ƒ˜ƒŒ‡‘”‡–‘”ƒȋ‘Œ‹Œ‡•—’”‘–ƒ‘†‰”‡æ‡ȌǤ ͵Ǥ ‘ƒ«‘ǡ’”‹‡Œ—Œ‡•‡‘”‡–‘”ƒ’”‹ŽŒ‡—”‡«Ǥ 143

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘•–”—…‹Œƒ •‹†”‘ƒœොሺሻ•‡ •˜‘†‹ ƒ ‹œ”ƒ«—ƒ˜ƒŒ‡ ‘•–ƒ–ƒ †‡ŽŒ‡Œƒœොሺሻ•ƒ ‰‡‡”ƒ–‘”‘‘†ƒ‰ሺሻǤ ƒ‹•–ƒǡ ‹ œƒ‘ œƒ …‹Ž‹«‡ ‘†‘˜‡ †ƒ Œ‡ •˜ƒƒ ‘†ƒ ”‡«œሺሻ—Ž–‹’Ž ‘† ‰‡‡”ƒ–‘”ƒ‰ሺሻǤ –‘‰ƒ Œ‡ ‘•–ƒ–ƒ †‡Ž‡Œƒ œሺሻ ൅ ‡ሺሻ •ƒ‰ሺሻ‹•–‹ ƒ‘ ‘•–ƒ–ƒ †‡ŽŒ‡Œƒ•ƒ‘•ƒ‡ሺሻǤ œሺሻ ൌ Ƚሺሻ ȉ ‰ሺሻ ‡ሺሻ ൌ Ⱦሺሻ ȉ ‰ሺሻ ൅ •ሺሻǡ ‘†ƒŽ‡•Ž‡†‹†ƒŒ‡ǣ œሺሻ ൅ ‡ሺሻ ൌ ሾȽሺሻ ൅ Ⱦሺሻሿ ȉ ‰ሺሻ ൅ •ሺሻǡ ’”‹«‡—Œ‡†‡‰ ൫•ሺሻ൯ ൏ †‡‰൫‰ሺሻ൯Ǥ

ƒ•‘Œ‡‹œ‘˜‡‘•–”—…‹Œ‡†ƒŒ‡•‹†”‘•ሺሻ—Žƒƒ‘‹•ƒ‘ƒ‘Œ‡œොሺሻ‘†ƒ ”‡« ȋ‘†‘•‘ —Ž–‹’Ž ‘†‰ሺሻȌǤ ‘”‡–‘”‹ ‘Œ‹ ‘†‰‘˜ƒ”ƒŒ— ‡—Ž–‹ •‹†”‘‹ƒ •‡‘‰—†‘„‹–‹†‡ŽŒ‡Œ‡•ƒ݃ሺܺሻǤ ƒŒ‘—˜‹†—•Ž‡†‡©‡ǣ x x

œƒŒ‡†—‰”‡æ—ܺ ௜ •–‡’‡ƒ݅ ൏ ݊ െ ݉ǡ•‹†”‘Œ‡Œ‡†‘•–ƒ˜‘ܺ ௜ ǡ œƒŒ‡†—‰”‡æ—ܺ ௡ି௠ ǡ•‹†”‘Œ‡ܺ ௡ି௠ െ ݃ሺܺሻǤ

PRIMER 5.25‡‘†‘˜ƒŒ‡…‹Ž‹«‹Š‘†‘˜ƒǤ ƒ•–ƒ˜‹‘ •ƒ ’”‡–Š‘†‹ ’”‹‡”‘ǣ ’‘”—ƒͳͳͲͳŒ‡ ‘†‘˜ƒƒ —ͳͳͲͳͲͲͳ‹ ’‘•Žƒ–ƒ’”‡‘†ƒ–‘‰ƒƒŽƒǤ”‡–’‘•–ƒ˜‹‘†ƒŒ‡†”—‰‹„‹–’”‘‡Œ‡ǡ–ƒ‘†ƒŒ‡ ’”‹ŽŒ‡ƒ”‡«ͳͲͲͳͲͲͳǤ Kako se odvija dekodovanje? ͳͲͲͳͲͲͳ‘†‰‘˜ƒ”ƒœො ሺሻ ൌ  ଺ ൅  ଷ ൅ ͳǡ«‹Œ‹•‡†‡Ž‡Œ‡•ƒ݃ሺܺሻ†‘„‹Œƒǣ

 †‘•‘•‹†”‘Œ‡ ଶ ൅  ൅ ͳǤ 144

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Sindrom ૚ ࢄ ࢄ૛ ࢄ൅૚ ࢄ૛ ൅ ࢄ ࢄ૛ ൅ ࢄ ൅ ૚ ࢄ૛ ൅ ૚

Korektor ͳ ܺ ܺଶ ܺଷ ܺସ ܺହ ܺ଺

”˜‹Š Ͷ Œ‡ †‘„‹Œ‡‘ ƒ ‘•‘˜— ‹œ‡–‹Š œƒ’ƒāƒŒƒǡ †‘ •— ’‘•Ž‡†Œ‡ ͵ †‘„‹Œ‡‡ †‡ŽŒ‡Œ‡‰”‡æ‡•ƒ‰‡‡”ƒ–‘”‘݃ሺܺሻǤ ƒŽƒœ‹‘†ƒ‘”‡–‘”‘”ƒ„‹–‹ ହ ǡ†‘Œ‡‘ƒ«ƒ†‡‘†‘˜ƒƒ”‡«ǣ ‫ݖ‬ሺܺሻ ൌ ‫ݖ‬ǁ ሺܺሻ ൅ ܺ ହ ൌ ܺ ଺ ൅ ܺ ହ ൅ ܺ ଷ ൅ ͳǡ ՜ ͳͳͲͳͲͲͳǤ —†—©‹ †ƒ Œ‡ ‘”‹æ©‡ •‹•–‡ƒ–‹«‹ ‘†ǡ ’”˜‹Š Ͷ •‹„‘Žƒ ‘˜‡ ‘†‡ ”‡«‹ •— ’”˜ƒ «‡–‹”‹•‹„‘Žƒ‘”‹‰‹ƒŽ‡’‘”—‡ǣͳͳͲͳǤ PITANJE ƒœ‘–”‹‘ሺ͹ǡͶሻŽ‹‡ƒ”‹‘†ǡ«‹Œ‹Œ‡‰‡‡”ƒ–‘”‰ሺሻ ൌ  ଷ ൅  ଶ ൅ ͳǤ Kako e se dekodovati sledee poruke? ͳǤ ͳͲͲͳͲͳͳ ʹǤ ͳͲͳͳͲͲͳ ͵Ǥ ͲͲͲͲͲͲͳ ODGOVORI ͳǤ ͳͲͲͳ ͳͲͲͳͲͳͳ ൌ  ଺ ൅  ଷ ൅  ൅ ͳ ൌ ሺ ଷ ൅  ଶ ൅  ൅ ͳሻሺ ଷ ൅  ଶ ൅ ͳሻ ˜‘œƒ«‹†ƒŒ‡•‹†”‘Œ‡†ƒͲȋ‘•–ƒ–ƒ†‡ŽŒ‡Œƒ•ƒ݃ሺܺሻȌǡ‹„—†—©‹†ƒ•‡”ƒ†‹‘ •‹•–‡ƒ–•‘‘†—ǡ’”˜ƒͶ„‹–ƒ’”‹ŽŒ‡‡‘†‡”‡«‹•—Œ‡†ƒƒ’‘”—…‹Ǥ ʹǤ ͳͲͳͲ

145

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳͲͳͳͲͲͳ ൌ ܺ ଺ ൅ ܺ ସ ൅ ܺ ଷ ൅ ͳ ൌ ሺܺ ଷ ൅ ܺ ଶ ሻ݃ሺሻ ൅ ܺ ଶ ൅ ͳ Sindrom ૚ ࢄ ࢄ૛ ࢄ൅૚ ࢄ૛ ൅ ࢄ ࢄ૛ ൅ ࢄ ൅ ૚ ࢄ૛ ൅ ૚

Korektor ͳ ܺ ܺଶ ࢄ૜ ܺସ ܺହ ܺ଺

‹†”‘Ȁ‘”‡–‘”–ƒ„‡Žƒœƒ‰‡‡”ƒ–‘”‰ሺሻ ൌ  ଷ ൅  ଶ ൅ ͳǤ ”‡ƒ –‘‡ǡ ‹œ”ƒ«—ƒ–‘ •‹†”‘— ଶ ൅ ͳǡ ‘†‰‘˜ƒ”ƒ ‘”‡–‘” ଷ Ǥ ‡‘†‘˜ƒƒ ’‘”—ƒ•‡†‘„‹Œƒ‘†—œ‹ƒŒ‡’”‹ŽŒ‡‡‘†‡”‡«‹‹‰”‡æ‡ǡ‘†‘•‘ǣ ܺ ଺ ൅ ܺ ସ ൅ ܺ ଷ ൅ ͳ ൅ ܺ ଷ ൌ ͳͲͳͲͲͲͳǤ ‹†‹•‡œ„‘‰•‹•–‡ƒ–‹«‘•–‹‘†ƒ†ƒŒ‡’‘”—ƒͳͲͳͲǤ ͵Ǥ ͲͲͲͲͲͲͳαͳ †ƒ˜†‡•Ž‡†‹†ƒŒ‡•‹†”‘Œ‡†‘•–ƒ˜‘ͳǡ‘”‡–‘”–ƒ‘¯‡ͳǡ’ƒŒ‡†‡‘†‘˜ƒƒ ”‡«ͳ ൅ ͳ ൌ ͲͲͲͲͲͲͲǡƒ’‘”—ƒͲͲͲͲǤ

146

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͶǤ     ƒ—«‹©‡‘ǣ Šta su konvolucioni kodovi? Kako se vrši kodovanje konvolucionim kodovima? Šta je stanje i dijagram stanja? Šta je rešetkasta prezentacija vezana za predstavljanje ovih kodova? Kako koristiti Viterbijev algoritam na rešetkama, u cilju dekodovanja minimalnim rastojanjem? Kako izraunati minimalno rastojanje konvolucionih kodova?

‘˜‘Ž—…‹‘‹ ‘†‘˜‹ ‡ ’”‹’ƒ†ƒŒ— Žƒ•‹ „Ž‘ ‘†‘˜ƒǤ ‡Šƒ‹œƒ ‘†‘˜ƒŒƒ ’ƒ–‹ ’”‡–Š‘†‘ ‘†‘˜ƒ‡ •‹„‘Ž‡Ǥ  ‹œ˜‡•‘ •‹•Ž— •‡ ‘‰— –”‡–‹”ƒ–‹ ƒ‘ ‡‘‰”ƒ‹«‡‹„Ž‘‘†‘˜‹Ǥ”‘…‡•‘†‘˜ƒŒƒ‹†‡‘†‘˜ƒŒƒ•‡œƒ«ƒŒ‘”ƒœŽ‹—Œ‡Ǥ ƒŽ‡‘•—‡ˆ‹ƒ•‹Œ‹‘†„Ž‘‘†‘˜ƒǤ œŽƒ‰ƒŒ‡ ‘ ƒ«‹— ‘†‘˜ƒŒƒ ‘˜‘Ž—…‹‘‹ ‘†‘˜‹ƒ ©‡‘ œƒ’‘«‡–‹ Œ‡†‹ ’”‹‡”‘‘†‘˜ƒŒƒǤe‡ƒ‘†‡”ƒœƒ‘†ƒ„”ƒ‹’”‹‡”Œ‡†ƒ–ȋŽ‹ƒͷǤͳȌǤƒ†‹•‡ ‘„‹ƒ”‘‘†—Ǥ

 Ž‹ƒͷǤͳ˜ƒ‹•‹„‘Ž’‘”—‡‫ݑ‬௜ •‡‘†—Œ‡—†˜ƒ•‹„‘Žƒ‫ݖ‬ଶ௜ିଵ ‹‫ݖ‬ଶ௜  147

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

•˜ƒ‘˜”‡‡•‘–”‡—–—‹ǡŒ‡†ƒ•‹„‘Ž’‘”—‡—୧ —Žƒœ‹—‘†‡”ǡ†‘†˜ƒ •‹„‘Žƒ‘†‡”‡«‹œଶ୧ିଵ ‹œଶ୧ •‡‡‹–—Œ—ǡ‘†‘•‘— ൌ ሺ—ଵ ǡ —ଶ ǡ ǥ ǡ —୧ ǡ ǥ ሻ•‡‘†—Œ‡ —œ ൌ ሺœଵ ǡ œଶ ǡ ǥ ǡ œଶ୧ିଵ ǡ œଶ୧ ǡ ǥ ሻǤ–‘‰ƒŒ‡„”œ‹ƒ‘˜‘‰‘†ƒͳȀʹǤ ”‘…‡•‘†‘˜ƒŒƒœƒ’”‹‡”•ƒȋŽ‹ƒͷǤͳȌ•‡‘ā‡‘’‹•ƒ–‹•ƒǣ œଶ୧ିଵ ൌ —୧ ൅ —୧ିଶ  œଶ୧ ൌ —୧ ൅ —୧ିଵ ൅ —୧ିଶ  —୧ ՜ ሺ—୧ିଶ ൅ —୧ ǡ —୧ିଶ ൅ —୧ିଵ ൅ —୧ ሻ ˜‡Œ‡†ƒ«‹‡•‡‘‰—’‘•ƒ–”ƒ–‹‹ƒ‘†‹•”‡–ƒ‘˜‘Ž—…‹Œƒ—Žƒœ‡•‡˜‡…‡•ƒ •‡˜‡…ƒƒͳǡͲǡͳǡͲǡͲǤǤǤ‹ͳǡͳǡͳǡͲǡͲǤǤǤǤ œ”ƒ«—ƒ–‹ ‹œ‫ݕ‬ሾ݊ሿ‰‡‡”‹•ƒ ‘˜‘Ž—…‹Œ‘ ‹œ‘˜ƒ‫ݔ‬ሾ݊ሿ‹݄ሾ݊ሿ†ƒ–‹Š ƒ †‘Œ‹ •Ž‹ƒƒǣ ஶ

‫ݕ‬ሾ݊ሿ ൌ ෍ ‫ ݔ‬ሾ݇ሿ݄ሾ݊ െ ݇ሿ ௞ୀஶ

ͷǤͶǤͳǤ       ‘ •‡ ˜”ƒ–‹‘ ƒ ’”‡–Š‘†‹ ’”‹‡” œƒ’ƒœ‹©‡‘ †ƒ ’”‘…‡• ‘†‘˜ƒŒƒ ‹Œ‡ — ’‘–’—‘•–‹‘†”‡¯‡•ƒ‘‘˜‘Ž—…‹Œ‘ǡ„—†—©‹†ƒƒ‹•—’‘œƒ–‡’”‡–Š‘†‡ ˜”‡†‘•–‹—୧ିଶ ‹—୧ିଵ Ǥ †‘•‘ǡ –‘ Œ‡ ‡˜‹˜ƒŽ‡–‘ ’‹–ƒŒ— 斃 •— ’‘«‡–ƒ •–ƒŒƒ •‹•–‡ƒ—–”‡—–—–αͲǫ ‘‰‘†‘Œ‡—•˜‘Œ‹–‹—Ž–ƒ’‘«‡–ƒ•–ƒŒƒǡ†ƒŽ‡—ିଵ ൌ Ͳ‹—଴ ൌ ͲǤ ƒ „‹ •‡ ‘˜‘ ‘„‡œ„‡†‹Ž‘ ‹ œƒ •˜ƒ— ƒ”‡†— ‘†— ”‡«ǡ ‡‘’Š‘†‘ Œ‡ †ƒ ‘†‡” ƒ‘ ‘†‘˜ƒŒƒ ’”‡–Š‘†‡ ‘†‡ ”‡«‹ ’”‡¯‡ — ‘˜‘ —Ž–‘ ’‘«‡–‘ •–ƒŒ‡Ǥ ‘ œƒ«‹†ƒ•˜ƒƒ’‘”—ƒ‘Œƒ—Žƒœ‹—‘†‡”‘”ƒƒ”ƒŒ—†ƒ•ƒ†”ā‹†‘˜‘ŽŒ‘—Žƒ †ƒ„‹•‡•˜‡‡‘”‹Œ‡•‹•–‡ƒ˜”ƒ–‹Ž‡——Ž–ƒ’‘«‡–ƒ•–ƒŒƒǤ

148

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

’”‡–Š‘†‘’”‹‡”—–‘œƒ«‹†ƒ•‡‘†‘˜ƒŒ‡•˜ƒ‡”‡«‹œƒ˜”惘ƒ‘†‘˜ƒŒ‡ Œ‘憘‡—Ž‡Ǥ PRIMER 5.26 ‘†‘˜ƒŒ‡‘˜‘Ž—…‹‘‹‘†‘Ǥ ‘–”‡„‘Œ‡‘†‘˜ƒ–‹’‘”——‫ ݑ‬ൌ ͳͲͳ’‘‘©—‘˜‘Ž—…‹‘‘‰‘†‡”ƒ’”‹ƒœƒ‘‰ ƒȋŽ‹ƒͷǤͳȌǤƒ„‹•‘•ƒ‰Ž‡†ƒŽ‹’”‘…‡•‘†‘˜ƒŒƒǡ‹œ”ƒ«—ƒŒ‘•˜‡”‡Ž‡˜ƒ–‡ ˜‡Ž‹«‹‡Ǥ‡•—†ƒ–‡—†‘Œ‘Œ–ƒ„‡Ž‹Ǥ ࢏

࢛࢏

૚ ૛ ૜ ૝ ૞

ͳ Ͳ ͳ ሺ૙ሻ ሺ૙ሻ

Stanje ሺ࢛࢏ି૚ ࢛࢏ି૛ ሻ ͲͲ ͳͲ Ͳͳ ͳͲ Ͳͳ

ࢠ૛࢏ି૚ ࢠ૛࢏ ͳͳ Ͳͳ ͲͲ Ͳͳ ͳͳ

˜‘ •— †‘†ƒ–‹ —Ž–‹ •‹„‘Ž‹ — …‹ŽŒ— ˜”ƒ©ƒŒƒ ‘†‡”ƒ — —Ž–‘ •–ƒŒ‡Ǥ –‘‰ƒ Œ‡ ‘†‰‘˜ƒ”ƒŒ—©ƒ‘†ƒ”‡«ͳͳͲͳͲͲͲͳͳͳǤ ƒœ‘–”‹‘•ƒ†ƒ‘’æ–‹’‘•–—’ƒ‰‡‡”‹•ƒŒƒ‘†ƒ’‘‘©—‘†‡”ƒ•ƒȋŽ‹ƒͷǤͳȌǤ ‡ƒ Œ‡ ’‘”—ƒ †—ā‹‡ ͵ „‹–ƒǡ ‘†‘•‘ ‡ƒ Œ‡— ൌ ሺ—ଵ ǡ —ଶ ǡ —ଷ ሻǡ 斑 œƒ«‹ †ƒ — ’‘•–—’— ‘†‘˜ƒŒƒ •–˜ƒ”‘ —«‡•–˜—Œ‡ ’‘”—ƒ — ൌ ሺ—ଵ ǡ —ଶ ǡ —ଷ ǡ ͲǡͲሻ Ǥ —ā‹ƒ ‘†‰‘˜ƒ”ƒŒ—©‡ ‘†‡ ”‡«‹ Œ‡ʹ ȉ ͷ ൌ ͳͲǤ ƒ–”‹«‘Œ ˆ‘”‹ǡ ‘‰— •‡ œƒ’‹•ƒ–‹ ƒ •Ž‡†‡©‹ƒ«‹ǣ ͳ ሺ‫ݖ‬ଶ௜ିଵ ǡ ‫ݖ‬ଶ௜ ሻ ൌ ሺ‫ݑ‬௜ିଶ ǡ ‫ݑ‬௜ିଵ ǡ ‫ݑ‬௜ ሻ ȉ ൥Ͳ ͳ

ͳ ͳ൩ ͳ

‘’Ž‡–ƒ‘†ƒ”‡«‫‘ƒŒ‹„‘†‡•ݖ‬ā‡Œ‡— ൌ ሺ—ଵ ǡ —ଶ ǡ —ଷ ǡ ͲǡͲሻ•ƒƒ–”‹…‘ǣ ͳͳͲͳͳͳͲͲͲͲ ‫ېͲͲͳͳͳͲͳͳͲͲۍ‬ ‫ێ‬ ‫ۑ‬ ‫ܩ‬ଷ ൌ ‫ۑͳͳͳͲͳͳͲͲͲͲێ‬ ‫ۑͳͲͳͳͲͲͲͲͲͲێ‬ ‫ےͳͳͲͲͲͲͲͲͲͲۏ‬ Ž‹Œ‡†‘•–ƒ˜‹Œ‡ǡ‘ā‡Œ‡— ൌ ሺ—ଵ ǡ —ଶ ǡ —ଷ ሻ•ƒƒ–”‹…‘ǣ

149

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͳͳͲͳͳͳͲͲͲͲ ‫ܩ‬ଷ ൌ ൥ͲͲͳͳͲͳͳͳͲͲ൩Ǥ ͲͲͲͲͳͳͲͳͳͳ ƒŽ‡ǡ‫ ݖ‬ൌ ‫ ݑ‬ȉ ‫ܩ‬ଷ Ǥ ƒ’‘”—‡†—ā‹‡ǡ‘˜ƒˆ‘”—Žƒ•‡‘ā‡‰‡‡”ƒŽ‹œ‘˜ƒ–‹ƒœ ൌ — ȉ ୫ ǡ‰†‡Œ‡ ୫  šሺʹ ൅ Ͷሻƒ–”‹…ƒƒ’”ƒ˜ŽŒ‡ƒ–ƒ‘†ƒ•—”‡†‘˜‹ƒ–”‹…‡•Ž‘ā‡‹—Œ‡†ƒ”‡†ǡ ƒœƒ–‹œƒ•˜ƒ‹‘˜‹”‡†’‘‡”‡‹—†‡•‘œƒ†˜‡‘Ž‘‡Ǥ ͳ ൥Ͳ ͳ

ͳ ͳ൩ ՜ ͳͳͲͳͳͳͲͲͲͲ ͳ

૚૚૙૚૚૚૙૙૙૙ ‫ܩ‬ଷ ൌ ൥ ͲͲ૚૚૙૚૚૚૙૙ ൩Ǥ ͲͲͲͲ૚૚૙૚૚૚ ͷǤͶǤʹǤ e      DEFINICIJA 5.15 ሺ݊ǡ ݇ǡ ‫ݎ‬ሻǦƒ”‹ ‘˜‘Ž—…‹‘‹ ‘† Œ‡ ‡‘‰”ƒ‹«‡‹ Ž‹‡ƒ”‹ ‘†ǡ «‹Œƒ ‰‡‡”ƒ–‘” ƒ–”‹…ƒ‹ƒ•Ž‡†‡©—ȋ„‡•‘ƒ«—Ȍˆ‘”—ǣ ‫ܨ‬଴ ‫ܨ‬ଵ ‫ܨ‬ଶ ǥ‫ܨ‬௥ ሾͲሿሾͲሿሾͲሿ‫ڮ‬ ‫ܩ‬ଷ ൌ ቎ሾͲሿ‫ܨ‬଴ ‫ܨ‬ଵ ǥ‫ܨ‬௥ିଵ ‫ܨ‬௥ ሾͲሿሾͲሿ‫ڮ‬቏Ǥ ሾͲሿሾͲሿ‫ܨ‬଴ ǥ‫ܨ‬௥ିଶ ‫ܨ‬௥ିଵ ‫ܨ‬௥ ሾͲሿ‫ڮ‬

†‡•— ୧ ݇‫ƒ‡…‹”–ƒ݊ݔ‬ሾͲሿ݇‫‡…‹”–ƒƒŽ—݊ݔ‬Ǥ˜ƒ‹•—’‘†”‡†‘˜ƒƒ–”‹…‡‫ܩ‬ Œ‡‹•–‹ƒ‘’”‡–Š‘†‹ǡ’‘‡”‡œƒ‡•–ƒ—†‡•‘Ǥ DEFINICIJA 5.15ƒ•–ƒ˜ƒ ‘”—ƒ—†—ā‹‡— ൌ ሺ—ଵ ǡ ǥ Ǥ ǡ —୫ ሻ•‡‘†—Œ‡’‘•–—’‘ œ ൌ —ത ȉ ୫ᇲ ǡ ୫

‰†‡Œ‡—ത ˜‡–‘”†—ā‹‡ᇱ ൌ “ǡ “ ൌ ቒ ቓǡ ୩

150

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

—ത ൌ ሺ—ଵ ǡ ǥ Ǥ ǡ —୫ ǡ Ͳǡ ǥ ǡͲሻǤ  ୫ᇲ Œ‡‰‘”ŒƒŽ‡˜ƒ’‘†ƒ–”‹…ƒƒ–”‹…‡ †‹‡œ‹Œ‡ǣ ‫݊ݔ݇ݍ‬ሺ‫ ݎ‬൅ ‫ݍ‬ሻǤ ”‹‡–‹‘†ƒŒ‡—ത ൌ —ǡ‘†‘•‘ᇱ ൌ ǡƒ‘Œ‡݉—Ž–‹’Ž‘†݇ȋ†ƒŽ‡‘˜‘•‹‰—”‘ ˜ƒā‹—’‘•‡„‘•Ž—«ƒŒ—݇ ൌ ͳȌ  —˜‡†‡‹ ‘–ƒ…‹Œƒƒ — ‡ˆ‹‹…‹Œ‹ ͷǤͳͷǡ݇‘†‰‘˜ƒ”ƒ „”‘Œ— •‹„‘Žƒ ’‘”—‡ ‘Œ‹ —Žƒœ‡ — ‘†‡” ȋ݇—Žƒœ‹Š Ž‹‹ŒƒȌǡ݊‘†‰‘˜ƒ”ƒ „”‘Œ— •‹„‘Žƒ ‹œŽƒœ‡ ‘†‡ ”‡«‹ ’‘ Œ‡†‘—Žƒœ—ȋ݊‹œŽƒœ‹ŠŽ‹‹ŒƒȌǡ†‘Œ‡‫ƒ–ƒ‡‡Ž‡Š‹•Œ‹”‘‡Œ‘”„‹Žƒ‹•ƒݎ‬ ȋ†—ā‹ƒ”‡‰‹•–ƒ”ƒȌǡƒŒ‡†‘Œ—Žƒœ‘ŒŽ‹‹Œ‹Ǥ PRIMER 5.27 ‘†‡”ƒ•ƒȋŽ‹ƒͷǤͳȌȋ‹’Ž‡‡–‹”ƒሺʹǡͳǡʹሻ‘˜‘Ž—…‹‘‹‘†ǣ ݇ ൌ ͳ—Žƒœ‹ŠŽ‹‹Œƒǡ‫ ݎ‬ൌ ʹ‡‘”‹Œƒǡ†ƒŒ—©‹݊ ൌ ʹ„‹–ƒ‘†‹Š”‡«‹œƒ•˜ƒ‹—Žƒœ‹ „‹–Ǥ ƒ‘ 斑 •‘ ˜‹†‡Ž‹ — ’”‡–Š‘†‘ ‘†‡ŽŒ—ǡ œƒ —Žƒœ‡ ’‘”—‡ ‘† ͵ •‹„‘Žƒǡ ‰‡‡”ƒ–‘”ƒ–”‹…ƒŒ‡͵šͳͲƒ–”‹…ƒǤ ૚૚૙૚૚૚ͲͲͲͲ ‫ܩ‬ଷ ൌ ൥ͲͲ૚૚૙૚૚૚ͲͲ൩Ǥ ͲͲͲͲ૚૚૙૚૚૚  ‘Œ‘Œ Œ‡ œƒ‹•–ƒ݇ ൌ ͳ”‡†ǡ ƒ ’‘‡”ƒŒ‡ ”‡†‘˜ƒ — †‡•‘ •‡ ˜”æ‹ œƒ ʹ ’‘œ‹…‹Œ‡Ǥ  ‘†‘•—ƒ‘’æ–—†‡ˆ‹‹…‹Œ—‰‡‡”ƒ–‘”ƒ–”‹…‡ǡœƒƒ–”‹…— ଷ ˜ƒā‹ǣ ଴ ൌ ൣͳͳ൧ǡ 斑‘†‰‘˜ƒ”ƒ‘‡ˆ‹…‹Œ‡–‹ƒœƒ—୧  ଵ ൌ ሾͲͳሿǡ‘†‰‘˜ƒ”ƒ‘‡ˆ‹…‹Œ‡–‹ƒœƒ—୧ିଵ  ଶ ൌ ሾͳͳሿǡ‘†‰‘˜ƒ”ƒ‘‡ˆ‹…‹Œ‡–‹ƒ—୧ିଶ Ǥ ”‹‡–‹‘ †ƒ •— ‘˜‘Ž—…‹‘‹ ‘†‘˜‹ Ž‹‡ƒ”‹Ǥ ‹Ž‘ ‘Œƒ Ž‹‡ƒ”ƒ ‘„‹ƒ…‹Œƒ ‘†‹Š ”‡«‹ Œ‡ –ƒ‘†Œ‡ ‘†ƒ ”‡«ǡ —œ ‘˜‡…‹Œ— †ƒ •‡ ”ƒ©‡ ‘†‡ ”‡«‹ ‹œŒ‡†ƒ«ƒ˜ƒŒ—’”‡ƒ†—ā‘Œǡ†‘†ƒ˜ƒŒ‡—Žƒƒ”ƒŒ—Ǥ

151

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͶǤ͵Ǥ e  –ƒŒ‡Œ‡†‘‰•‹•–‡ƒŒ‡•—’‹–‡”‹Š’ƒ”ƒ‡–ƒ”ƒȋ•ƒ†”āƒŒƒ”‡‰‹•–ƒ”ƒǡ‡‘”‹Œƒ‹ •ŽǤȌ‘Œ‹•—‡‘’Š‘†‹œƒ‹œ”ƒ«—ƒ˜ƒŒ‡‹œŽƒœƒœƒœƒ†ƒ–‡—Žƒœ‡Ǥƒ’”‹‡”ǡœƒ‘†‡” •ƒ ȋŽ‹ƒ ͷǤͳȌǡ •–ƒŒ‡ — –”‡—–— ‹ Œ‡ –”‡—–‹ •ƒ†”āƒŒ †˜‡ ‡‘”‹Œ‡ǡ ‘†‘•‘  ൌ ሺ—୧ିଵ ǡ —୧ିଶ ሻǤ ƒ† ‘†‡”ƒ Œ‡ ‘†”‡¯‡  •–ƒŒ‡ ‹ —Žƒœ‘Ǥ ‘˜‘Ž—…‹‘‹ ‘†‡” Œ‡ ƒæ‹ƒ •–ƒŒƒ ȋ‡‰ŽǤState machineȌǤƒ†–ƒ˜‹Š•‹•–‡ƒŒ‡‘†”‡¯‡†‹Œƒ‰”ƒ‘•–ƒŒƒǤ DEFINICIJA 5.16 ‹Œƒ‰”ƒ•–ƒŒƒǤ ‹Œƒ‰”ƒ •–ƒŒƒ ‘†‡”ƒ Œ‡ gtaf «‹Œ‹ •— «˜‘”‘˜‹ •˜ƒ ‘‰—©ƒ ——–”ƒæŒƒ •–ƒŒƒ ‘†‡”ƒǤ ”ƒƒ‹œ‡¯—«˜‘”‘˜ƒܵ௜ ‹ܵ௝ —‘˜‘‰”ƒˆ—’”‡œ‡–—Œ‡«‹Œ‡‹…—†ƒ’‘•–‘Œ‹ —Žƒœ ‘Œ‹ •–ƒŒ‡ ܵ௜ ’”‡˜‘†‹ — ܵ௝ Ǥ ”ƒ‡ •‡ ’‘ ’”ƒ˜‹Ž— ‘œƒ«ƒ˜ƒŒ— —Žƒœ‹ •‹„‘Ž‹ƒ‹‘†‰‘˜ƒ”ƒŒ—©‹‹œŽƒœ‹•‹„‘Ž‹ƒǤ PRIMER 5.28‹Œƒ‰”ƒ•–ƒŒƒ ƒ‘†‡”•ƒȋŽ‹ƒͷǤͳȌ†‹Œƒ‰”ƒ•–ƒŒƒŒ‡†ƒ–•ƒǣ

 Ž‹ƒͷǤʹ‹Œƒ‰”ƒ•–ƒŒƒ

152

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Žƒ˜‡ ‘œƒ‡ •— —Žƒœ‹ ‘Œ‹ ‡ŒƒŒ— •–ƒŒƒǡ †‘ •— …”˜‡‡ ‘œƒ‡ ‘†‰‘˜ƒ”ƒŒ—©‹ •‹„‘Ž‹ ‹œŽƒœƒǤ ƒ ’”‹‡”ǡ ƒ‘ •‡ — •–ƒŒ— Ͳͳ ’”‹‹ ƒ‘ —Žƒœ •‹„‘Ž ͳǡ •–ƒŒ‡ ’‘•–ƒŒ‡ͳͲǡƒƒ‹œŽƒœ—•‡’‘Œƒ˜ŽŒ—Œ—†˜ƒ•‹„‘ŽƒͲͲǤ —’‘†‹Š”‡«‹‘˜‘Ž—…‹‘‘‰‘†ƒȋǡǡ”Ȍœƒ•˜‡‘‰—©‡’‘”—‡†—ā‹‡„‹–ƒ ୫

‘†‰‘˜ƒ”ƒ •˜‹ ‘‰—©‹ ’—–ƒŒƒƒ †—ā‹‡ሺ” ൅ ቒ ቓሻ— †‹Œƒ‰”ƒ— •–ƒŒƒ ǡ ‘Œ‡ ୩

•–ƒ”–—Œ—‘†—Ž–‘‰•–ƒŒƒ‹˜”ƒ©ƒŒ—•‡—–‘—Ž–‘•–ƒŒ‡Ǥ ୫

˜‡ ’—–ƒŒ‡ — †‹Œƒ‰”ƒ— •–ƒŒƒ ‹•–‡ †—ā‹‡ሺ” ൅ ቒ ቓሻ”ƒœ˜‹Œ‡‡ — ˜”‡‡—ǡ •‡ ୩

ƒœ‹˜ƒŒ—”‡æ‡–ƒ†‹‡œ‹Œ‡‘˜‘Ž—…‹‘‘‰‘†ƒȋǡǡ”ȌǤ PRIMER 5.29‡æ‡–ƒ ƒሺʹǡͳǡʹሻ‘˜‘Ž—…‹‘‹ ‘† ‹œ ’”‡–Š‘†‘‰ ’”‹‡”ƒǡ ”‡æ‡–ƒ †‹‡œ‹Œ‡ ͵ǡ ‘Œƒ ”‡’”‡œ‡–—Œ‡‘†‘˜ƒŒ‡•˜‹Š’‘”—ƒ†—ā‹‡͵„‹–ƒŒ‡†ƒ–ƒƒ•Ž‡†‡©‡†‹Œƒ‰”ƒ—ǣ

 Ž‹ƒͷǤ͵”‡†•–ƒ˜ƒ’”‡‘”‡æ‡–‹

‘”Œƒ‰”ƒƒǡœƒ•˜ƒ‹«˜‘”ǡ‘†‰‘˜ƒ”ƒ—Žƒœ‘„‹–—ͳǡƒ†‘Œƒ‰”ƒƒ—Žƒœ‘„‹–— ͲǤ ”˜‡ –”‹ ‘Ž‘‡ ‰”ƒƒ ‘†‰‘˜ƒ”ƒŒ— ‘†‘˜ƒŒ— ͵ „‹–ƒ ’‘”—‡ǡ ƒ †˜‡ ’‘•Ž‡†Œ‡ ‘Ž‘‡ ‰”ƒƒ ‘†‰‘˜ƒ”ƒŒ— œƒ˜”搋 —Žƒƒǡ ’ƒ •–‘‰ƒ ‹ƒŒ— •ƒ‘ †‘Œ‡ ‹œŽƒœ‡ ‰”ƒ‡œƒ‘†‰‘˜ƒ”ƒŒ—©‡«˜‘”‘˜‡Ǥ PRIMER 5.30‘†‘˜ƒŒ‡—”‡æ‡–‹Ǥ ‘†‘˜ƒŒ‡’‘”—‡‫ ݑ‬ൌ ͳͲͳǡ‰‡‡”‹æ‡•Ž‡†‡©—’—–ƒŒ—ǣ

153

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͷǤͶ‘†‘˜ƒŒ‡—”‡æ‡–‹

†ƒŽ‡•‡˜‹†‹†ƒŒ‡‰‡‡”‹•ƒƒ‘†ƒ”‡«‫ ݖ‬ൌ ͳͳͲͳͲͲͲͳͳͳǤ ƒ˜‡†‹‘Œ‘指†ƒ’”‹‡””‡æ‡–‡ȋ—‘Œ‘Œ‹•—•˜‡‰”ƒ‡‘œƒ«‡‡Ȍǣ

 Ž‹ƒͷǤͷ‡æ‡–ƒ—‘Œ‘Œ•˜‡‰”ƒ‡‹•—‘œƒ«‡‡

†‘Œ‘Œ–ƒ„‡Ž‹•—†ƒ–‡‘†‡”‡«‹‡‹–‘˜ƒ‡—•˜ƒ‘Œ‘†‘‰—©‹Š•‹–—ƒ…‹Œƒǣ

154

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ࡿ࢏̳࢛࢏

૙

૚

000 001 010 011 100 101 110 111

ͲͲͲͲ Ͳͳͳͳ ͳͲͲͳ ͳͳͳͲ ͳͳͲͲ ͳͲͳͳ ͲͳͲͳ ͲͲͳͲ

ͲͲͳͳ ͲͳͲͲ ͳͲͳͲ ͳͳͲͳ ͳͳͳͳ ͳͲͲͲ ͲͳͳͲ ͲͲͲͳ

ͷǤͶǤͶǤ   ƒ‘ 斑 •‘ ˜‹†‡Ž‹ ‘†‹ ”‡«‹ƒ ‘†‰‘˜ƒ”ƒŒ— ’—–ƒŒ‡ ‘† •–ƒ”–‘‰ «˜‘”ƒ †‘ ”ƒŒŒ‡‰«˜‘”ƒ—”‡æ‡–‹Ǥ‡‘†‘˜ƒŒ‡•‡•ƒ•–‘Œ‹—ƒŽƒā‡Œ—ƒŒ’‘‰‘†‹Œ‡’—–ƒŒ‡ ‘Œƒ ‘†‰‘˜ƒ”ƒ ’”‹ŽŒ‡‘Œ ‘†‘Œ ”‡«‹Ǥ  –‡”‹‹ƒ †‡‘†‘˜ƒŒƒ ‹‹ƒŽ‹ ”ƒ•–‘ŒƒŒ‡ǡ‘†‘•‘†‡‘†‘˜ƒŒ‡‘†‡”‡«‹•ƒ‹‹ƒŽ‹„”‘Œ‡‰”‡æƒƒǡ ƒŒ’‘‰‘†‹Œƒ ’—–ƒŒƒ •‡ †‡ˆ‹‹æ‡ ƒ‘ ’—–ƒŒƒ •ƒ ‹‹ƒŽ‹ ‡‹‰‘˜‹ ”ƒ•–‘ŒƒŒ‡—‘†‘•—ƒ’‘”——‘Œƒ•‡†‡‘†—Œ‡Ǥ ƒŽƒā‡Œ‡ –‡ ƒŒ„Ž‹ā‡ ’—–ƒŒ‡ •‡ ‘ā‡ ‘„ƒ˜‹–‹ †‹ƒ‹«‹ ’”‘‰”ƒ‹”ƒŒ‡ǡ ‘†‘•‘‹–‡”„‹Œ‡˜‹ƒŽ‰‘”‹–‘Ǥ ‹–‡”„‹Œ‡˜ƒŽ‰‘”‹–ƒ†‡‘†—Œ‡Œ‡†ƒœƒ†”—‰‹„Ž‘‘˜‡‘†‹Š”‡«‹ȋ‘†‘•‘ „‹–ƒ’‘”—‡ƒ‘’”‡–Š‘†‹Š„Ž‘‘˜ƒ’‘”—‡Ȍǡ’ƒ–‡©‹—•˜ƒ‘‘”ƒ—•ƒ‘ Ž‘ƒŽ‘‘’–‹ƒŽƒ”‡æ‡ŒƒǤ˜‘•‡•˜‘†‹ƒ–‘†ƒ•‡—•˜ƒ‘«˜‘”——‘Ž‘‹‘Œƒ ‘†‰‘˜ƒ”ƒ–‡—©‡„Ž‘—†‡‘†‘˜ƒŒƒǡ’ƒ–‹ƒŒ„‘ŽŒƒ’—–ƒŒ—‘Œƒ†‘Žƒœ‹†‘–‘‰ «˜‘”ƒǤ ƒ ”ƒŒ—ǡ ƒŒ„‘ŽŒƒ ’—–ƒŒƒ ’”‘ƒ¯‡ƒ œƒ ’‘•Ž‡†Œ‹ «˜‘” Œ‡ —Œ‡†‘ †‡‘†‘˜ƒƒ ’‘”—ƒǤ‘斑Œ‡˜ƒā‘‹‘”‹•‘œƒ‹–‡”„‹Œ‡˜ƒŽ‰‘”‹–ƒǡŒ‡•˜‘Œ•–˜‘†ƒŒ‡„”‘Œ ƒŒ„‘ŽŒ‹Š ’—–ƒŒƒ œƒ •˜ƒ‹ ˜”‡‡•‹ ‘”ƒǡ  —˜‡ ƒŒ‹ ‹Ž‹ Œ‡†ƒ „”‘Œ— •–ƒŒƒ ‘†‡”ƒǤ –‘‰ƒ Œ‡ ‹–‡”„‹Œ‡˜ ƒŽ‰‘”‹–ƒ Ž‹‡ƒ”‡  —‡•–‘ ‡•’‘‡…‹ŒƒŽ‡ ‘’Ž‡•‘•–‹ ƒ‹˜‘‰ ƒŽ‰‘”‹–ƒ †‡‘†‘˜ƒŒƒ ‘Œ‹ „‹ •‡ •ƒ•–‘Œƒ‘ — ’‘”‡¯‡Œ— •˜‹Š ’—–ƒŒƒ •ƒ ’‘”—‘‘Œ—–”‡„ƒ†‡‘†‘˜ƒ–‹Ǥ

155

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‡¯‹‘ƒ†‡–ƒŽŒ‹Œ‹‘’‹•‹–‡”„‹Œ‡˜‘‰ƒŽ‰‘”‹–ƒǤ˜‡†‹‘’”˜‘‡‡‘œƒ‡Ǥ ɀ୧ ሺ•ሻ െ ƒŒ„‘ŽŒ‡†‡‘†‘˜ƒŒ‡ȋ•ƒ‹‹ƒŽ‹‘‰—©‹‰”‡æƒƒȌ†—ā‹‡‹‘Œ‡ •‡œƒ˜”惘ƒ—•–ƒŒ—‫ݏ‬ǣ ߛ௜ ሺ‫ݏ‬ሻ ൌ

‹

௭భ ǡǥǡ௭మ೟౩౗ౡ౨౗ౠ౛ౣ౫ೞ

݀ሺ‫ݖ‬ଵ ǥ ‫ݖ‬ଶ௜ ǡ ‫ݖ‬ෝଵ ǥ ‫ݖ‬ෞ ଶప ሻ

‘’Ž‡–‘ †‡‘†‘˜ƒŒ‡  ‘†‰‘˜ƒ”ƒɀȁ୸ොȁ ሺͲͲሻǡȁœොȁαΪʹǡ ‰†‡ Œ‡ȁœොȁ†—ā‹ƒ ’‘”—‡ ‘Œƒ•‡†‡‘†—Œ‡Ǥ ƒ‘Œ‡˜‹†‡–‹†ƒœƒ•˜ƒ‹’ƒ”•–ƒŒƒሺ•ǡ • ᇱ ሻ˜ƒā‹ǣ ߛ௜ ሺ‫ݏ‬ሻ ൌ

‹

௭భ ǡǥǡ௭మ೟౩౗ౡ౨౗ౠ౛ౣ౫ೞ

ሺ݀൫‫ݖ‬ଶ௜ିଵ ‫ݖ‬ଶ௜ ǡ ‫ݖ‬Ƹଶ ௜ିଵ ‫ݖ‬Ƹଶ೔ ൯ ൅ ߛ௜ିଵ ሺ‫ ݏ‬ᇱ ሻሻ

˜‘˜‘†‹ƒ‹–‡”„‹Œ‡˜‘ƒŽ‰‘”‹–—ǣ ࢽሺ૙૙ሻ ൌ ૙ for i from 1 to ȁࢠොȁ do for all ࢙ do ࢽ࢏ ሺ࢙ሻ ൌ

‫ܖܑܕ‬

ࢠ૚ ǡǥǡࢠ૛࢚‫࢙ܝܕ܍ܒ܉ܚܓ܉ܛ‬

ሺࢊ൫ࢠ૛࢏ି૚ ࢠ૛࢏ ǡ ࢠො૛ ࢏ି૚ ࢠො૛࢏ ൯ ൅ ࢽ࢏ି૚ ሺ࢙ᇱ ሻሻ

end for end for ‡‘•–”—…‹Œƒ‘’–‹ƒŽ‘‰’—–ƒ•‡†‘„‹Œƒ—ƒœƒ†ǡ‘†”ƒŒŒ‡‰†‘’‘«‡–‘‰•–ƒŒƒǤ PRIMER 5.31 ”‡–’‘•–ƒ˜‹‘†ƒŒ‡’”‡‘ƒƒŽƒ•ƒ族‘’‘•Žƒ–ƒ‘†ƒ”‡«‫ ݖ‬ൌ ͳͳͲͳͲͲͲͳͳͳǡ †‘Œ‡’”‹ŽŒ‡ƒ”‡«œො ൌ ͲͳͲͳͲͳͲͳͳͳǡ‘†‘•‘†‡•‹Ž‡•—•‡†˜‡‰”‡æ‡Ǥƒ†ƒ©‡ ‹–‡”„‹Œ‡˜ƒŽ‰‘”‹–ƒ’”‘©‹”‘œ•Ž‡†‡©‡‘”ƒ‡Ǥ

156

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________



 

 Ž‹ƒͷǤ͸‘”ƒ…‹—‹–‡”„‹Œ‡˜‘ƒŽ‰‘”‹–—

 ’”˜‘ ‘”ƒ— ”ƒ†ƒ ‹–‡”„‹Œ‡˜‘‰ ƒŽ‰‘”‹–ƒǡ ”ƒœƒ–”ƒŒ— •‡ •ƒ‘ †˜ƒ ‘‰—©ƒ ’—–ƒǣ

157

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

x x

ƒœƒ–”ƒ‹ ’”˜‹ ‘†‹ •‹„‘Ž Œ‡ ͳǡ 斑 ˜‘†‹ ‘† •–ƒŒƒ ͲͲ ƒ •–ƒŒ— ͲͳǤ ƒ†ƒ•‡‡‹–—Œ‡ͳͳ‹’”ƒ˜‹•‡Œ‡†ƒ‰”‡æƒǡ„—†—©‹†ƒŒ‡’”‹ŽŒ‡‘ͲͳǤ ƒœƒ–”ƒ‹ ’”˜‹•‹„‘ŽŒ‡ Ͳǡ斑˜‘†‹‘†•–ƒŒƒͲͲƒ•–ƒŒ— ͲͲǤ ƒ†ƒ•‡ ‡‹–—Œ‡ͲͲ‹’”ƒ˜‹•‡Œ‡†ƒ‰”‡æƒǡ„—†—©‹†ƒŒ‡’”‹ŽŒ‡‘ͲͳǤ

†”—‰‘‘”ƒ—ǡ’‘•–‘Œ‹•ƒ‘Œ‡†ƒ’—–œƒ†‘•–‹œƒŒ‡•˜ƒ‘‰‘†•–ƒŒƒȋ‹•ƒ†ƒ ’‘•–‘Œ‡ Ͷ –ƒ˜ƒ ’—–ƒȌǤ ‹‹ƒŽƒ „”‘Œ ‰”‡æƒƒ œƒ •˜ƒ‘ ‘† ‘˜ƒ «‡–‹”‹ •–ƒŒƒ Œ‡ Œ‡†ƒ ‹‹ƒŽ‘ „”‘Œ— ‰”‡æƒƒ ’”‡–Š‘†‹Š •–ƒŒƒ ’Ž—• „”‘Œ ‰”‡æƒƒ ‘†‰‘˜ƒ”ƒŒ—©‡’—–ƒŒ‡ȋ‘†‘•‘”ƒœŽ‹‡‹œ‡¯—‡‹–‘˜ƒ‹Š‹’”‹ŽŒ‡‹Š•‹„‘ŽƒȌǤ ƒ’”‹‡”ǡƒ‘•‡”ƒœƒ–”ƒ’—–‹œ‡¯—•–ƒŒƒͳͲ‹ͳͳǡ‹ƒ‘†‘†ƒ–‡†˜‡‰”‡æ‡ǡ „—†—©‹†ƒ•‡–ƒ†ƒ‡‹–—Œ‡ͳͲǡƒ’”‹ŽŒ‡‘Œ‡ͲͳǤ˜‘˜‘†‹ƒ‹‹ƒŽ‘„”‘Œ— ‰”‡æƒƒ—•–ƒŒ—ͳͳ—‘”ƒ—ʹɀଶ ሺͳͳሻ ൌ ͳ ൅ ʹ ൌ ͵Ǥ  ‘”ƒ— –”‹ǡ ‹ƒ‘ †˜‡ ‘‰—©‡ ’—–ƒŒ‡ œƒ •˜ƒ‘ •–ƒŒ‡Ǥ Ž‰‘”‹–ƒ œƒ†”āƒ˜ƒ •ƒ‘ ’‘ Œ‡†— ƒŽ–‡”ƒ–‹˜— ‘Œƒ ’”‘‹œ˜‘†‹ ƒŒ‹ „”‘Œ ‰”‡æƒƒǤ •–ƒŽ‡ ‰”ƒ‡ •— ‘œƒ«‡‡‹•’”‡‹†ƒ‹„Ž‡¯‹Ž‹‹ŒƒƒǤ Ž‰‘”‹–ƒ ”ƒ†‹ ƒ ‹•–‘˜‡–‘ ’”‹…‹’— •˜‡ †‘ ’‘•Ž‡†Œ‡‰ ‘”ƒƒǡ — ‘‡ •‡ †‘•–‹ā‡—Ž–‘•–ƒŒ‡•ƒ‹‹ƒŽ‹„”‘Œ‡‰”‡æƒƒŒ‡†ƒ‘ʹǤ ‘•Ž‡†Œ‹ ‘”ƒ Œ‡ ”‡‘•–”—…‹Œƒ ’—–ƒŒ‡ —ƒœƒ† ȋ’Žƒ˜‡ Ž‹‹Œ‡ȌǤ ˜ƒ ’—–ƒŒƒ ‘†‰‘˜ƒ”ƒ‘†‘Œ”‡«‹ͳͳͲͳͲͲͲͳͳͳǤ ƒ‘†‘„‹ŒƒŒƒ‘†‡”‡«‹ǡ‡‘’Š‘†‘Œ‡”‡‘•–”—‹•ƒ–‹‘”‹‰‹ƒŽ—’‘”——Ǥ˜‘ ‘ā‡‘‘„ƒ˜‹–‹’”ƒ–‡©‹‘œƒ‡‰”ƒƒȋͲ‹Ž‹ͳȌƒƒ¯‡‘Œ‘’–‹ƒŽ‘Œ’—–ƒŒ‹ǡ‹Ž‹ —œ‹ƒŒ‡ ’”˜‘‰ „‹–ƒ •˜ƒ‘‰ •–ƒŒƒ ”‘œ ‘Œƒ ’”‘Žƒœ‹ ‘’–‹ƒŽƒ ’—–ƒŒƒ — ”‡†‘•Ž‡†—‘†”ƒŒƒ’—–ƒŒ‡ƒ’‘«‡–—Ǥ ƒ‘˜ƒŒ’”‹‡”‹‘’–‹ƒŽ—’—–ƒŒ—‘œƒ«‡—’Žƒ˜‘„‘Œ‘ǡ†‘„‹Œƒ‘‹œͳͲͳͲͲǡ ‹‘†„ƒ…‹˜ƒŒ‡†˜‡œƒ†Œ‡—Ž‡‘Œ‡‹•—†‡‘’‘”—‡ǡ†‘„‹Œƒ‘‘ƒ«‘’‘”—— ͳͲͳǡ斑‹‘†‰‘˜ƒ”ƒ‘”‹‰‹ƒŽ‘’‘•Žƒ–‘Œ’‘”—…‹Ǥ

158

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͷǤ͹”‹ƒœ‘’–‹ƒŽ‡’—–ƒŒ‡

PRIMER 5.31 a ƒ‘†‡”‹œ’”‡–Š‘†‘‰’”‹‡”ƒǡ†‡‘†‘˜ƒ–‹ͳͲͳͳͳͲͳͲͳͳͳͳͳͳͲͳͳͲͳͲͲͳͳͲͲͲͳͲǤ

 Ž‹ƒͷǤͺ”‹‡”†‡‘†‘˜ƒŒƒœƒ’”‡–Š‘†‹’”‹‡”

159

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‹ŽŒ‡ƒ’‘”—ƒ‹ƒͻ‰”‡æƒƒǤ‹–‘˜ƒƒ‘†ƒ”‡«Œ‡ͲͲͲͲͲͲͳͳͳͳͳͳͲͳͲͳ ͳͳͳͲ Ͳͳͳͳ ͲͲͲͲǡ 斑 ‘†‰‘˜ƒ”ƒ ‘†‘˜ƒ‘Œ ’‘”—…‹ ͲͳͳͲͲͲͲǡ ‘†‘•‘‘”‹‰‹ƒŽ‘Œ ’‘”—…‹ͲͳͳͲǤ —†—©‹ †ƒ •— ‘˜‘Ž—…‹‘‹ ‘†‘˜‹ Ž‹‡ƒ”‹ ‘†‘˜‹ǡ ’”‹‡ŽŒ‹˜ƒ Œ‡ ‡‘”‡ƒ ͷǤʹ ǡ ’”‡ƒ‘Œ‘ŒŒ‡‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡Œ‡†ƒ‘‹‹ƒŽ‘Œ–‡ā‹‹Ǥ OSOBINA 5.17‹‹ƒŽƒ–‡ā‹ƒ‘˜‘Ž—…‹‘‘‰‘†ƒǤ ‹‹ƒŽƒ –‡ā‹ƒ Œ‡†‘‰ ‘˜‘Ž—…‹‘‘‰ ‘†ƒ Œ‡†ƒƒ Œ‡ ‹‹ƒŽ‘ „”‘Œ— ‡—Ž–‹Š•‹„‘Žƒƒ’—–ƒŒ‹‘Œƒ’‘Žƒœ‹‹œƒ˜”惘ƒ•‡——Ž–‘•–ƒŒ—Ǥ ƒ‘†‡”‹œ’”‡–Š‘†‘‰’”‹‡”ƒƒŽƒœ‹‘†ƒŒ‡†୫୧୬ ሺሻ ൌ ͻǤ ƒ†‘Œ‘Œ•Ž‹…‹Œ‡‹œ ”‡æ‡–‡ ‘†‘˜ƒŒƒ ‹œ†˜‘Œ‡ƒ ‘†ƒ ”‡« ‘Œƒ ‹ƒ –‡ā‹— Œ‡†ƒ— ‹‹ƒŽ‘Œ ‘‰—©‘Œ–‡ā‹‹ͻœƒ‘˜ƒŒ‘˜‘Ž—…‹‘‹‘†Ǥ

 Ž‹ƒͷǤͻ‘†ƒ”‡«‹‹ƒŽ‡–‡ā‹‡



160

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͷǤ  , e   ƒ •Ž‹…‹ ȋŽ‹ƒ ͷǤͳͲȌ ’”‹ƒœƒƒ Œ‡ ƒ’•–”ƒ–ƒ 懏ƒ †‹‰‹–ƒŽ‘‰ ‘—‹ƒ…‹‘‘‰ •‹•–‡ƒ •ƒ ‹’Ž‡‡–‹”ƒ‹ ‘’‘‡–ƒƒ œƒ œƒæ–‹–‘ ‘†‘˜ƒŒ‡Ǥ ƒ •–”ƒ‹ ’‘æ‹ŽŒƒ‘…ƒ —’‘–”‡„ŽŒ‡ Œ‡ ‘†‡”ǡ †‘ ƒ •–”ƒ‹ ’”‹ƒ‘…ƒ ƒŽƒœ‹ •‡ †‡‘†‡”Ǥ ƒ˜‡æ©‡‘•ƒ†ƒ‡‡’‘’—Žƒ”‡–‡Š‹‡‘†‘˜ƒŒƒǤ ͳǤ  ȋAutomatic Repeat RequestȌ Ȃ ƒ—–‘ƒ–•‘ ‹œ†ƒ˜ƒŒ‡ œƒŠ–‡˜ƒ œƒ ’‘ƒ˜ŽŒƒŒ‡’‘”—‡Ǣ ʹǤ  ȋForward Error CorrectionȌ Ȃ †‡‘†‘˜ƒŒ‡ ’”‹ŽŒ‡‡ •‡˜‡…‡ ƒ‘ ƒŒ„Ž‹ā‡‘†‡”‡«‹Ǣ ͵Ǥ ‹„”‹†‹Ǣ ͶǤ –‡”Ž‹˜‹‰Ǣ ͷǤ ‡‘†‘˜ƒŒ‡•ƒ„”‹•ƒŒ‡Ǣ ͸Ǥ ‘ƒ–‡ƒ…‹Œƒ‘†‘˜ƒǢ 

 Ž‹ƒͷǤͳͲ‹‰‹–ƒŽ‹‘—‹ƒ…‹‘‹•‹•–‡

ͷǤͷǤͳǤ  ƒæ–‹–‘ ‘†‘˜ƒŒ‡ •‡ ‘„ƒ˜ŽŒƒ –ƒ‘ †ƒ  ‘† •ƒ ’‘ •‡„‹ ‡ ‹•’”ƒ˜ŽŒƒ ˜‡© •ƒ‘ †‡–‡–—Œ‡ ‰”‡æ‡Ǥ ƒ†ƒ •‡ †‘‰‘†‹ †‡–‡…‹Œƒ ‰”‡æ‡ǡ 惎Œ‡ •‡ œƒŠ–‡˜ œƒ ’‘ƒ˜ŽŒƒŒ‡’‘”—‡Ǥ 161

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

’‘‰Ž‡†—‰”‡æ‡†‡‘†‘˜ƒŒƒǡŒ‡„‘ŽŒ‹‘† ǡ„—†—©‹†ƒ•‡’”‹ŽŒ‡‡‘†‡ ”‡«‹  ’”‹Š˜ƒ–ƒŒ— •ƒ‘ ƒ‘ •— ’”‡‡–‡ „‡œ ‰”‡æ‡ ȋ†ƒŽ‡ ‰”‡æƒ †‡‘†‘˜ƒŒƒ Œ‡ —ŽƒȌǡ ’‘† —•Ž‘˜‘ †ƒ †‡–‡…‹Œƒ ‰”‡æƒƒ •‡ —˜‡ ‘„ƒ˜ŽŒƒ ‹•’”ƒ˜‘Ǥ ˜‘ •‡ ‡ †‘„‹Œƒ„‡•’Žƒ–‘Ǥ‡ƒŒ‡’Žƒ©‡ƒ•‹āƒ˜ƒŒ‡„”œ‹‡’”‡‘•ƒǤ‘†ƒ–ƒ’”‡†‘•– Œ‡†ƒŽ‡‘Œ‡†‘•–ƒ˜‹Œ‡†‡‘†‘˜ƒŒ‡—’‘”‡¯‡Œ—•ƒ Ǥ  œƒŠ–‡˜ƒ †‘†ƒ–‹ ’‘˜”ƒ–‹ ƒƒŽǡ ‘Œ‹ œƒ˜‹•‘ ‘† ’”‹‡‡ ‹ •…‡ƒ”‹Œƒ ‘—‹…‹”ƒŒƒ‹Œ‡—˜‡ƒ”ƒ•’‘Žƒ‰ƒŒ—Ǥ  ’‘‰Ž‡†— ‘‡–ƒŒƒǡ  Œ‡ ‘•‡–ŽŒ‹˜ǡ „—†—©‹ †ƒ ‘‡–ƒŒ‡ ‘ā‡ „‹–‹ –ƒ‘ †‹œƒŒ‹”ƒ‘ †ƒ •‡ —˜‡ †‡æƒ˜ƒ ’‘ ‡ƒ ‰”‡æƒ — •˜ƒ‘Œ ‘†‘Œ ”‡«‹Ǥ ’–‹ƒŽƒ •‹–—ƒ…‹Œƒ•ƒ–ƒ«‡‰Ž‡†‹æ–ƒ‘‡–ƒ«ƒŒ‡†ƒ‡’”‡‹†‘ˆ‘”•‹”ƒŒ‡†—‰”‡æ——Œ‡†‘Œ ‘†‘Œ”‡«‹ǡ«‹‡„‹•‡–ƒ‘†ƒ”‡«‡’”‡‹†‘”‡‡‹–‘˜ƒŽƒǤ ‘•–‘Œ‡†˜ƒ–‹’ƒǣ ͳǤ –ƒ‹‹«‡ƒŒ ʹǤ ‡’”‡‹†‹ –ƒ‹ ‹ «‡ƒŒ Ǥ ”‡†ƒŒ‹ 惎Œ‡ Œ‡†— ‘†— ”‡« ‹ «‡ƒ ’‘œ‹–‹˜— ’‘–˜”†— ‹•’”ƒ˜‘‰ ’”‹Œƒƒ ȋȌ ‹Ž‹ ‡‰ƒ–‹˜‹ ’‘–˜”†— ȋȌǡ ’”‡ ‡‰‘ 斑 ’‘惎Œ‡ ƒ”‡†—‘†—”‡«Ǥ‘„”ƒ•–”ƒƒ•–ƒ‹‹«‡ƒŒŒ‡’‘–”‡„ƒœƒ’‘Ž—†—’Ž‡•‹ ƒƒŽ‘Ǥ ‡‰ƒ–‹˜ƒ •–”ƒƒ •–ƒ‹ ‹ «‡ƒŒ  Œ‡ –”‘懐Œ‡ ˜”‡‡ƒ ƒ «‡ƒŒ‡ ’‘–˜”†‡ǡ斑•‹āƒ˜ƒ‡˜‹˜ƒŽ‡–—„”œ‹—’”‡‘•ƒǤ ‡’”‡‹†‹  œƒŠ–‡˜ƒ †—’Ž‡•‹ ƒƒŽǡ –ƒ‘ 斑 •‡ ‘†‡ ”‡«‹ ’‘ Œ‡†‘ ƒƒŽ—‡’”‡‹†‘惎Œ—•˜‡†‘•‡’‘†”—‰‘ƒƒŽ—‡’”‹‹Ǥ‘•–‘Œ‡†˜ƒ ƒ«‹ƒ‘„”ƒ†‡Ǧƒǣ  •ƒ •ŽƒŒ‡ —ƒœƒ† Ǧ ܰƒ†ƒ •‡ ’‘‘˜‘ 惎Œ‡ ‘‘†ƒ ”‡« — ‘Œ‘Œ Œ‡ †‡–‡–‘˜ƒƒ ‰”‡æƒ ’Ž—•  •˜‡ ‘†‡ ”‡«‹ —ƒœƒ†Ǥ ƒ”ƒ‡–ƒ”ܰ•‡ ‘†”‡¯—Œ‡ ƒ ‘•‘˜———’‘‰ƒæŒ‡ŒƒƒƒŽƒ—‘„ƒ•‡”ƒǤ ƒ’”‹‡”ǡ‘†‰‡‘•–ƒ…‹‘ƒ”‹Š•ƒ–‡Ž‹–•‹ŠƒƒŽƒǡƒæŒ‡Œ‡‘ā‡„‹–‹˜”Ž‘˜‡Ž‹‘ǡ †‘ ͷͶͲ •‡…Ǥ ”‹Œ‡‹ ‘”ƒ †ƒ ‡‘”‹æ‡ܰ‘†‹Š ”‡«‹ ’”‹ŽŒ‡‹Š — ‘˜‹”— ‘˜‘‰˜”‡‡ƒǡ斑œƒŠ–‡˜ƒ˜‡Ž‹—‡‘”‹Œ—Ǥ

162

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡Ž‡–‹˜‹  - ‘† ‘‰ƒ •‡ ’”‡‘•‹ ’‘‘˜‘ •ƒ‘ ‘†ƒ ”‡« — ‘Œ‘Œ Œ‡ †‡–‡–‘˜ƒƒ ‰”‡æƒǡ «‹‡ •‡ †‘„‹Œƒ ˜‡©ƒ „”œ‹ƒ ’”‡‘•ƒ ‡‰‘ — •Ž—«ƒŒ—  •ƒ •ŽƒŒ‡—ƒœƒ†ȂܰǤ „ƒ –‹’ƒ ‡’”‡‹†‘‰  †ƒŒ‡ ˜‡©— „”œ‹— ’”‡‘•ƒ — ‘†‘•— ƒ •–ƒ‹ ‹ «‡ƒŒ ǡƒ”ƒ«—˜‡©‹Š‡‘”‹Œ•‹ŠœƒŠ–‡˜ƒǤ ͷǤͷǤʹǤ  Œ‡’‘‰‘†ƒœƒ’”‹‡‡—‘Œ‹ƒ‘”‹•‹‘”ƒ†‘„‹–‹–ƒ«—’‘”——‹œ’”˜‘‰ •ŽƒŒƒǤ ”‹‡” •— Œ‡†‘•‡”‹ ‹ †‹ˆ—œ‹‘‹ ȋ‡‰ŽǤ BroadcastȌ ƒƒŽ‹Ǥ ƒƒæŒ‹ ‘†‘˜‹œƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒ’”‹’ƒ†ƒŒ—†˜‡ƒ‘•‘˜‹ƒ–‡‰‘”‹Œƒƒǣ ͳǤ „Ž‘‘†‘˜‹ƒǡ ʹǤ ‘˜‘Ž—…‹‘‹‘†‘˜‹ƒǤ ƒŒ’‘’—Žƒ”‹Œ‹„Ž‘‘†‘˜‹•—‹†‘Ž‘‘‘˜‹‘†‘˜‹Ǧǡ‘Œ‹”ƒ†‡ƒ‹˜‘—Ǧ „‹–‹Š •‹„‘Žƒǡ ƒ ‡ ƒ ‹˜‘— „‹–ƒǤ —†—©‹ †ƒ  ‘†‘˜‹ ‹•’”ƒ˜ŽŒƒŒ— ‰”‡æ‡ ƒ ‹˜‘— •‹„‘Žƒǡ ƒ ‡ „‹–ƒǡ ’‘‰‘†‹ •— œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‘…‡–”‹•ƒ‹Šǡ ’ƒ‡–‹Š ȋ‡‰ŽǤburstȌ‰”‡æƒƒǤ ƒ’”‹‡”ǣ ʹȂ•‹„‘Ž‹‘†‘˜‹•ƒͺ„‹–‘˜ƒ’‘•‹„‘Ž—ǡ ‘‰—‘”‹‰‘˜ƒ–‹•˜‡ ’ƒ‡–‡ ‰”‡æƒƒ ‘† ͳ͸ „‹–‘˜ƒ ‹Ž‹ ƒŒ‡Ǥ ƒƒ• •‡ ‘”‹•–‡ —   Ȃ ‘˜‘ •–ƒ†ƒ”†—œƒ†—„‘‹‘•‘•‹œƒ‘’ƒ–†‹•Ǧ’Ž‡Œ‡”‡Ǥ ‘˜‘Ž—…‹‘‹‘†‘˜‹—˜‘†‡—Žƒœ‹‹œ„‹–ƒ’‘”—‡—’‘‡”ƒ«‹”‡‰‹•–ƒ”†—ā‹‡‫ݎ‬Ǥ ƒ‰ƒ‘˜‹Š‘†‘˜ƒœƒ˜‹•‹‘†˜‡Ž‹«‹‡‫ݎ‬Ǥ‡©‡‫‡˜‘†‘‡Œ‹•ƒ‹ˆ‡‡Œƒ†ݎ‬ǡƒŽ‹–‘œƒ–‘ —•Ž‘āŒƒ˜ƒ†‡‘†‘˜ƒŒ‡Ǥ ‘•–‘Œ‹ ˜‹æ‡ ‡–‘†ƒ †‡‘†‘˜ƒŒƒ ‘˜‘Ž—…‹‘‹Š ‘†‘˜ƒǡ ƒŽ‹ Œ‡ †ƒƒ• ƒŒ”ƒ•’”‘•–”ƒŒ‡‹Œ‹‹–‡”„‹Œ‡˜ƒŽ‰‘”‹–ƒǡ‘–”‹˜‡ͳͻ͸͹‰‘†‹‡‘†•–”ƒ‡†”‡™ ‹–‡”„‹ŒƒǤƒƒ•Œ‡”ƒ•’‘Ž‘ā‹˜—Œ‡†‘«‹’—‹œ”ƒ¯‡‘ –‡Š‘Ž‘‰‹Œ‘Ǥ ‹–‡”„‹Œ‡˜ †‡‘†‡” Œ‡ ‡‡ˆ‹ƒ•ƒ ‹ ‡’”ƒ–‹«ƒ œƒ ˜‡Ž‹‘‫ܭ‬Ǥ ƒ ˜‡Ž‹‘‫ݎ‬ǡሺ‫ ݎ‬൏ ͻሻ «‡æ©‡•‡‘”‹•–‹†”—‰‹ƒŽ‰‘”‹–ƒ†‡‘†‘˜ƒŒƒ‘Œ‹•‡ƒœ‹˜ƒ•‡˜‡…‹ŒƒŽ‹†‡‘†‡”Ǥ

163

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‡©‹ ’‘•–—’ƒ †‡‘†‘˜ƒŒƒ Œ‡ †‡‘†‡” •ƒ ’‘˜”ƒ–‘ •’”‡‰‘ǡ ’‘‰‘†ƒ œƒ ƒƒŽ‡ •ƒ ’ƒ‡–‹ ‰”‡æƒƒǡ †‘ Œ‡ œƒ–‘ •Žƒ„‹Œ‹Š ’‡”ˆ‘”ƒ•‹ ƒ‘ •— ‰”‡æ‡ ƒƒƒŽ—•Ž—«ƒŒ‘”ƒ•’‘†‡ŽŒ‡‡Ǥ

‡‡”ƒŽ‘ •‡ ‘ā‡ ”‡©‹ †ƒ ‘˜‘Ž—…‹‘‹ ‘†‘˜‹ †ƒŒ— „‘ŽŒ‡ ”‡œ—Ž–ƒ–‡ ‘† „Ž‘ ‘†‘˜ƒ Œ‡†ƒ‡ ‘’Ž‡•‘•–‹ ‘†‘˜ƒŒƒ ‹ †‡‘†‘˜ƒŒƒǤ ”‘„Ž‡ •ƒ •˜‹ ‘†‘˜‹ƒ‘Œ‡•‘†‘•ƒ†ƒ”ƒœƒ–”ƒŽ‹Œ‡’‘–”‡„ƒ†ƒ•‡’”‘æ‹”‹’”‘’—•‹‘’•‡‰œƒ ‘‘Ž‹‘ ‘Ž‹‘ œƒŠ–‡˜ƒŒ— †‘†ƒ–‹ „‹–‹ ’ƒ”‘•–‹ ȋ”‡†—†ƒ–‹ „‹–‹Ȍ ƒ‘ ā‡Ž‹‘ †ƒ œƒ†”ā‹‘„”œ‹—’”‡‘•ƒ‡‘†‘˜ƒ‹Š’‘”—ƒ‹•–‘Ǥ ͳͻ͹͸Ǥ ‰‘†‹‡ ‘–ˆ”ƒŒ† ‰‡”„‘ ȋGottfried UngerboeckȌ Œ‡ ‘–”‹‘ Žƒ•— ‘†‘˜ƒ ‘Œ‹ ‹–‡‰”‹æ— ˆ—…‹Œ— ‘†‘˜ƒŒƒ ‹ ‘†—Ž‹•ƒŒƒǡ ’”‹ «‡— ‘–’ƒ†ƒ œƒŠ–‡˜ œƒ ’”‘æ‹”‡Œ‡ ˆ”‡˜‡–‘‰ ‘’•‡‰ƒ ’”‡‘•ƒǤ ˜‹ ‘†‘˜‹ •— ƒœ˜ƒ‹ ‰‡”„‘‘˜‹ ‘†‘˜‹ ‹Ž‹ trelis ‘†‘˜ƒƒ ‘†—Žƒ…‹Œƒ ȋȌǤ —˜ƒŽ‘ •˜‹ ‘†‡‹ ‘Œ‹ ”ƒ†‡ ƒ –‡Ž‡ˆ‘•‹Ž‹‹Œƒƒƒ„”œ‹ƒƒ˜‡©‹‘†ͻǤ͸„Ȁ•‡…†ƒƒ•‘”‹•–‡Ǥ  ͷǤͷǤ͵Ǥ     ‹„”‹†‹  ‘„‹—Œ— ‘†‘˜‡ œƒ †‡–‡…‹Œ— ‹ ‘†‘˜‡ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǡ «‹‡•‡’‘˜‡©ƒ˜ƒ‡ˆ‹ƒ•‘•–‘”‹æ©‡ŒƒƒƒŽƒǤ’”‹Œ‡‹—•‡’”˜‘’‘—惘ƒŒ— ‹•’”ƒ˜‹–‹•˜‡‰”‡æ‡—’”‹ŽŒ‡‘Œ‘†‘Œ”‡«‹Ǥ‘Ž‹‘•‡—–‘‡‡—•’‡ǡ‘”‹•–‹•‡ Œ‡†ƒ‘†’‘‡—–‡–”‹–‡Š‹‡œƒ”‡–”ƒ•‹•‹Œ—Ǥ ‹„”‹†‹    ˜”•–‡ 惎Œ‡ •˜‡ ‡‘’Š‘†‡ „‹–‘˜‡ ’ƒ”‘•–‹ œƒ †‡–‡…‹Œ— ‹ ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǤ ‹„”‹†‹ ˜”•–‡惎Œ—•ƒ‘„‹–‘˜‡’ƒ”‘•–‹‡‘’Š‘†‡œƒ†‡–‡…‹Œ—‰”‡æƒƒ ‹ «—˜ƒŒ— — ”‡œ‡”˜‹ „‹–‘˜‡ ’ƒ”‘•–‹ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǤ ƒ†ƒ ’”‹Œ‡‹ †‡–‡–—Œ‡ ‰”‡æ—ǡ œƒŠ–‡˜ƒ •ŽƒŒ‡ „‹–‘˜ƒ œƒ ‘”‡…‹Œ— ‰”‡æƒƒ ‹ ƒ ‘•‘˜— Œ‹Š ’‘—惘ƒ †ƒ ‹•’”ƒ˜‹ ‰”‡æ‡ ’”‡ ‡‰‘ 斑 ’‘惎Œ‡ œƒŠ–‡˜ œƒ ”‡–”ƒ•‹•‹Œ— …‡Ž‘—’‡ ‘†‡ ”‡«‹Ǥ ‹„”‹†‹   ˜”•–‡ Œ‡ ˜”Ž‘ ‡ˆ‹ƒ•ƒ œƒ ƒƒŽ‡ ‘Œ‹ •‡ ƒ”ƒ–‡”‹æ— †‘„”‹ •–ƒŒ‹ƒ ‘Œƒ •— ˜‡©‹•ƒ — ‘†‘•— ƒ  ”‡¯ƒ Ž‘æƒ •–ƒŒƒ ƒƒŽƒǤ

164

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤͷǤͶǤ   

‡†ƒ ‘† ƒŒ’‘’—Žƒ”‹Œ‹Š ƒ«‹ƒ †ƒ •‡ ‘”‹‰—Œ— ’ƒ‡–•‡ ‰”‡æ‡ Œ‡ ‘”‹æ©‡Œ‡ ‘†‘˜ƒ ‘Œ‹ †‘„”‘ ”ƒ†‡ ƒ •Ž—«ƒŒ‹ ‰”‡æƒƒǡ –ƒ‘ 斑 •‡ ’”‡–Š‘†‘ ”‘œ ’‘•–—’ƒ ‹–‡”Ž‹˜‹‰ƒ ’ƒ‡–•‡ ‰”‡æ‡ ”ƒ•’”æ‡ –ƒ‘ †ƒ ‹œ‰Ž‡†ƒŒ— ƒ‘ •Ž—«ƒŒ‘ ”ƒ•’‘†‡ŽŒ‡‡Ǥ ‘•–‘Œ‡†˜ƒ–‹’ƒ‹–‡”Ž‹˜‹‰ƒ‘Œ‹•‡†ƒƒ•ƒŒ˜‹æ‡‘”‹•–‡ǣ ͳǤ Ž‘‹–‡”Ž‹˜‹‰Ǥ ʹǤ ‘˜‘Ž—…‹‘‹‹–‡”Ž‹˜‹‰Ǥ ”‘…‡• ‹–‡”Ž‹˜‹‰ƒ ‘ā‡‘ ‘’‹•ƒ–‹ ƒ •Ž‡†‡©‹ ƒ«‹Ǥ ƒ ’”‡†ƒŒ‘Œ •–”ƒ‹ ’‘•Ž‡ ˆ—…‹Œ‡ ‘†‘˜ƒŒƒǡ ƒ† ‘†‹ ”‡«‹ƒ ’”‹‡Œ—Œ‡‘ ˆ—…‹Œ— ‹–‡”Ž‹˜‹‰ƒǤ ƒ–‹ ’‘”—— 惎Œ‡‘ ”‘œ ‘—‹ƒ…‹‘‹ ƒƒŽ — ‘ ’‘•–‘Œ‹ ˜‡”‘˜ƒ–‘©ƒ œƒ ƒ•–ƒƒ’ƒ‡–•‹Š‰”‡æƒƒǤƒ”ƒŒ—ǡƒ•–”ƒ‹’”‹ƒ‘…ƒ’”‹‡Œ—Œ‡•‡‹˜‡”œƒ ˆ—…‹Œƒœƒ†‡‹–‡”Ž‹˜‹‰‹†‘„‹Œ‡ƒ’‘”—ƒ•‡’”‘•Ž‡¯—Œ‡ˆ—…‹Œ‹œƒ†‡‘†‘˜ƒŒ‡ ‘Œƒ ‘ā‡ †ƒ ‹•’”ƒ˜‹ •˜‡ •Ž—«ƒŒ‘ ”ƒ•’‘”‡¯‡‡ ‰”‡æ‡Ǥ Ž—«ƒŒƒ ”ƒ•’‘†‡Žƒ ‰”‡æƒƒ’‘•–‹ā‡•‡’”‹‡‘‹–‡”Ž‹˜‹‰ƒǤ

 Ž‹ƒͷǤͳͳ ‡†ƒ’”‹‡”„Ž‘‘˜•‘‰‹–‡”Ž‹˜‹‰ƒ

Ž‘‘˜•‹‹–‡”Ž‹˜‹‰Ǧ•‡’‘’—Œƒ˜ƒ•ƒ‫‘Ž•‹«‡”Š‹†‘ܮ‬ā‡‹Š’‘”‡†‘˜‹ƒǤ˜ƒƒ ‘†ƒ”‡«Œ‡†—ā‹‡݊ȋŽ‹ƒͷǤͳʹȌǤ˜‹Š‫‹–ƒœ‡•‹«‡”Š‹†‘ܮ‬惎Œ‡’‘‘Ž‘ƒƒǡ

165

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

•˜‡†‘•‡…‡Ž‘—’‹‹–‡”Ž‹˜‡”‡‹•’”ƒœ‹Ǥƒ‘–‘‰ƒ•‡‹–‡”Ž‹˜‡”’‘‘˜‘’—‹‹ œƒ’‘«‹Œ‡‘˜‹…‹Ž—•Ǥ ƒ ’”‹Œ‡— •‡ ‘†‡ ”‡«‹ †‡‹–‡”Ž‹˜‹‰—Œ— ’”‡ †‡‘†‘˜ƒŒƒǤ ƒ‡–‡ ‰”‡æ‡ †—ā‹‡‫‹˜—Œƒ˜‹œƒœ‹‡ƒ–‹„‡Œƒ‹Ž‹ܮ‬懑†ͳ„‹–ƒ‰”‡æ‡—„‹Ž‘‘Œ‘Œ‘†‘Œ”‡«‹Ǥ ‡‘†‡” ‘Œ‹ †‘„”‘ ”ƒ†‹ ƒ •Ž—«ƒŒ‹ ‰”‡æƒƒ ©‡ •ƒ ˜‡Ž‹‘ ˜‡”‘˜ƒ–‘©‘ ‹•’”ƒ˜‹–‹’‘Œ‡†—‰”‡æ——•˜ƒ‘Œ‘†‘Œ”‡«‹—‡•–‘…‡Ž‘—’ƒ’ƒ‡–‰”‡æƒƒǤ ƒ”ƒ‡–ƒ”‫ƒ‰‹˜‹Ž”‡–‹ ƒ‹„—† ‹Ž‹ ƒ”‡˜‹Ž”‡–‹ ‡’‡–• ƒ˜‹œƒ ‡•ܮ‬Ǥ‫ƒ‡”’ ƒ”‹„ ‡•ܮ‬ ƒŒ‰‘”‹—•Ž‘˜‹ƒ’”‡‘•ƒ†ƒ–‘‰ƒƒŽƒǤ‘”ƒ„‹–‹˜‡©‹‘†ƒŒ˜‡©‡‰‘«‡‹˜ƒ‘‰ ’ƒ‡–ƒ‰”‡æƒƒ—†ƒ–‘ƒƒŽ—Ǥ•‘˜‹‡†‘•–ƒ–ƒ‹–‡”Ž‹˜‹‰ƒŒ‡ƒæŒ‡Œ‡‘Œ‡ •‡—‘•‹’‘’—Œƒ˜ƒŒ‡”‡†‘˜ƒǤ‘˜‘Ž—…‹‘‹‹–‡”Ž‹˜‹‰‡Ž‹‹‹æ‡‘˜ƒŒ’”‘„Ž‡ǡ ‘•‹ ƒæŒ‡Œƒ ˜‡œƒ‘‰ œƒ ’‘«‡–‘ ’—Œ‡Œ‡Ǥ ˜‹ •‡ ”‡†——Œ— ‡‘”‹Œ•‹ œƒŠ–‡˜‹ƒ’‘Ž‘˜‹——‘†‘•—ƒ„Ž‘‘˜•‡‹–‡”Ž‹˜‡”‡ǤƒŒ‡†‹«‹‡†‘•–ƒ–ƒ‘„ƒ –‹’ƒ ‹–‡”Ž‹˜‡”ƒ Œ‡ ƒæŒ‡Œ‡ ‘Œ‡ — ‡‹ ƒƒŽ‹ƒ ‘ā‡ ‹œ‘•‹–‹ ‹ ‡‘Ž‹‘ •‡—†‹ǡ斑‘ā‡„‹–‹‡’”‹Š˜ƒ–ŽŒ‹˜‘œƒ‡‡ƒ’Ž‹ƒ…‹Œ‡ȋ”‡…‹‘’”‡‘•‰‘˜‘”ƒȌǤ 

 Ž‹ƒͷǤͳʹe‡ƒ„Ž‘‘˜•‘‰‹–‡”Ž‹˜‹‰ƒ

‘˜‘Ž—…‹‘‹ ‹–‡”Ž‹˜‹‰ Ǧ •‡ •ƒ•–‘Œ‹ ‘† •—’ƒ ’‘‡”ƒ«‹Š ”‡‰‹•–ƒ”ƒǡ •˜ƒ‹ •ƒ —•–ƒŽŒ‡‹ ƒæŒ‡Œ‡Ǥ ˜ƒ‹ ‘˜‹ •‹„‘Ž ‹œ —Žƒœ‘‰ ˜‡–‘”ƒ ƒ’ƒŒƒ •—•‡†‹ ’”‡‘•‹ ”‡‰‹•–ƒ”ǡ ƒ ǷƒŒ•–ƒ”‹Œ‹dz •‹„‘Ž — –‘ ”‡‰‹•–”— ’‘•–ƒŒ‡ †‡‘ ‹œŽƒœ‘‰ ˜‡–‘”ƒǤ ‘˜‘Ž—…‹‘‹ ‹–‡”Ž‹˜‡” ‹ƒ ‡‘”‹Œ— «‹Œƒ ‘’‡”ƒ…‹Œƒ ‡ œƒ˜‹•‹ •ƒ‘ ‘† –”‡—–‘‰ •‹„‘Žƒǡ ˜‡© ‹ ‘† ’”‡–Š‘†‘‰Ǥ e‡ƒ ȋŽ‹ƒ ͷǤͳ͵Ȍǡ ’”‹ƒœ—Œ‡ •–”—–—”— ‘˜‘Ž—…‹‘‘‰ ‹–‡”Ž‹˜‡”ƒǡ ’‘ƒœ—Œ—©‹ •—’ •‡ƒ ”‡‰‹•–”ƒ ‹ Œ‹Š‘˜‡ ˜”‡†‘•–‹

166

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒæŒ‡Œƒ ‫ܦ‬ሺͳሻǡ ‫ܦ‬ሺʹሻǡ ǥ ǡ ‫ܦ‬ሺܰሻ Ǥ  ”‡‰‹•–ƒ” †”ā‹ ‫ܦ‬ሺ݇ሻ •‹„‘Žǡ ‰†‡ Œ‡ ݇ ൅ ͳǡ ʹǡ ǥ ǡ ܰǤ

 Ž‹ƒͷǤͳ͵e‡ƒ‘˜‘Ž—…‹‘‘‰‹–‡”Ž‹˜‡”ƒ

•‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡”‹ Ȃ — ‘˜‘Œ –‡Š‹…‹ ‹–‡”Ž‹˜‹‰ƒ ‹†‡Œƒ Œ‡ †ƒ •‡ ‡Ž‹‹‹æ— ”‡‰—Žƒ”‹‘„”ƒ•…‹‹Ž‹‘†”‡¯‡‡•–ƒ–‹•–‹«‡‘•‘„‹‡‹œ‘†”‡¯‡‡•‡˜‡…‡’‘†ƒ–ƒƒ ‹ –‘ –‘‘ ˜‡‘ƒ †—‰‘‰ ’‡”‹‘†ƒǤ •‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡” •‡ «‡•–‘ ‘”‹•–‹ ‘† –—”„‘‘†‘˜ƒǤ‹ˆ‘”‹•Ž—«ƒŒ‹‹–‡”Ž‹˜‡”Œ‡•–˜ƒ”ƒƒ’•–”ƒ…‹Œƒƒ†•–ƒ–‹•–‹«‹ ˜‡”‘˜ƒ–‘©ƒƒ œƒ ‡‹ ‹–‡”Ž‹˜‡” •ƒ ‘‰”‘‘ ’‡”‹‘†‘‫ܮ‬Ǥ ˜ƒ˜‹ ‹–‡”Ž‹˜‡”‹ ’‘—惘ƒŒ— †ƒ —˜‡†— ‡Ž‡‡– •Ž—«ƒŒ‘•–‹ — ‡‹ †‹œƒŒ ‘†ƒ „‡œ ’‘˜‡©ƒŒƒ ‘’Ž‡•‘•–‹ǡ ’”‡–’‘•–ƒ˜ŽŒƒŒ—©‹ ‘”‹æ©‡Œ‡ ‹–‡”ƒ–‹˜‘‰ †‡‘†‘˜ƒŒƒ †˜ƒ ‹–‡”Ž‹˜‘˜ƒƒ ‘†ƒǤ  ’”ƒ•‹ ’•‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡”‹ •— ’”‡†˜‹†ŽŒ‹˜‹ ‹ ‹˜‡”–‹„‹Ž‹Ǥ ‘ƒæƒŒ— •‡ ƒ‘   ‰‡‡”ƒ–‘”‹ ‘Œ‹ ‹ƒŒ— ‘†”‡¯‡— ’‡”‹‘†— œƒ •˜ƒ‘‹œƒ„”ƒ‘——–”ƒæŒ‡•–ƒŒ‡‰‡‡”ƒ–‘”ƒǤ‡”‹‘†ƒ‰‡‡”ƒ–‘”ƒ‘†”‡¯‡ƒŒ‡•ƒ ’‘Ž‹‘‘Ǥ ‘Ž‹‘ •— ’‘†ƒ…‹ ƒ–”‹…‡ •ƒ ˜‹æ‡ ”‡†‘˜ƒǡ ˆ—…‹Œƒ ’”‘…‡•‹”ƒ ’‘Œ‡†‹ƒ«‘‘Ž‘‡ƒ–”‹…‡Ǥ ͷǤͷǤͷǤ     ƒ†ƒ ’”‹Œ‡‹ ”ƒ†‹ — —•Ž‘˜‹ƒ ‘‡–ƒŒƒǡ ˆ‡†‹‰ƒ ‹Ž‹ ‡‹Š †”—‰‹Š –”ƒœ‹Œ‡–‹Š •‡–Œ‹ǡ ‘ā‡’”‡©‹—”‡ā‹”ƒ†ƒ’‘ ‘‡ ‘ā‡ †‘‡–‹‘†Ž——†ƒ Œ‡ ‡‹ „‹–‹Ž‹ •‹„‘Ž‘„”‹•ƒǤ ƒ ’”‹‡”ǡ ’”‹Œ‡‹ ‘ā‡ †ƒ ‘„”‹æ‡ •‹„‘Ž‡‫ ‡—”‘’ œ‹ܮ‹ܣ‬Ƿ Dzǡ «‹‡ •‡ †‘„‹Œƒ Ƿ ǦǦ̶Ǥ ˜‘ ‹Œ‡ ‹•–‘ ƒ‘ Ƿ Dzǡ — ‘‡ •— ’”‘•–‘ ‘†„ƒ«‡ƒ †˜ƒ 167

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

’‘•Ž‡†Œƒ•‹„‘ŽƒǤ‘æ–‘•‡Ž‘ƒ…‹Œƒ‹œ„”‹•ƒ‹Š„‹–ƒœƒǡ’‘’”ƒ˜‹Ž—†‡‘†‘˜ƒŒ‡ •ƒ „”‹•ƒŒ‡ œƒŠ–‡˜ƒ ƒŒ‡ „‹–ƒ œƒ ’”‘˜‡”— ’ƒ”‘•–‹ ‘† ‘†‘˜ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǤ ‘†«‹Œ‡Œ‡‹‹ƒŽ‘”ƒ•–‘ŒƒŒ‡݀௠௜௡ ǡ‘ā‡†ƒ‘”‹‰—Œ‡‡„”‹•ƒŒƒǡƒ‘Œ‡ǣ ݀௠௜௡ ൌ ݁ ൅ ͳǤ ‘†•‡–‹‘ •‡ †ƒ ‘†‘˜‹ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ ‘‰— †ƒ ‹•’”ƒ˜‡ – ‰”‡æƒƒ ‹ ‡ „”‹•ƒŒƒǡ†‘‰‘†˜ƒā‹ǣ ݀௠௜௡ ൒ ʹ‫ ݐ‬൅ ݁ ൅ ͳǤ ƒ ’”‹‡”ǡ Œ‡†ƒ ‘† œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ ‘Œ‹ ‹ƒ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ ͹ǡ ‘ā‡†ƒ‘”‹‰—Œ‡ʹ‰”‡æ‡‹ʹ„”‹•ƒŒƒǤ ͷǤͷǤ͸Ǥ   ‘ƒ–‡ƒ…‹ŒƒŒ‡‘„‹‘˜ƒŒ‡†˜ƒ‘†ƒ—•‡”‹Œ•‘Œ˜‡œ‹Ǥ‘’”ƒ˜‹Ž—•‡‘”‹•–‹ƒ ‘‹ƒƒŽ‹ƒƒ‘Œ‹ƒŒ‡†ƒ‘†‡‘ā‡†ƒ‘”‹‰—Œ‡•˜‡‰”‡æ‡‘Œ‡•‡‘‰— ’‘Œƒ˜‹–‹Ǥ Ž—•–”—Œ‘ –‘ Œ‡†‹ ’”‹‡”‘ǡ ˜‹†‡–‹ ȋŽ‹ƒ ͷǤͳͶȌǤ —–”ƒæŒ‹ ‘† „”œ‹‡Φǡ ‫ ܭ‬ൌ ͹ǡ Œ‡ ‘˜‘Ž—…‹‘‹ ‘† •ƒ ‹–‡”„‹Œ‡˜‹ †‡‘†‘˜ƒŒ‡ǡ ‘Œ‹ •‡ ‘”‹‰—Œ‡ ˜‡©‹ƒ •Ž—«ƒŒ‹Š ‰”‡æƒƒǤ ’‘ŽŒƒæŒ‹ ‘† Œ‡ ‹† ‘Ž‘‘‘˜ ‘† •ƒ ͳ͸ •‹„‘Žƒǡ ‘Œ‹•‡‹•’”ƒ˜ŽŒƒŒ—•˜‡’ƒ‡–•‡‰”‡æ‡‘Œ‡Œ‡’”‘’—•–‹‘‹–‡”„‹Œ‡˜†‡‘†‡”Ǥ

168

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͷǤͳͶ‘ƒ–‡ƒ…‹Œƒ‘†‘˜ƒ—ȋ‡‰ŽǤDeep space standardȌ

 ‘† ”ƒ†‹ •ƒ ͺ „‹–‹ •‹„‘Ž‹ƒ ‹ •–‘‰ƒ Œ‡ ˜‡‘ƒ ‡ˆ‹ƒ•ƒ — ‹•’”ƒ˜ŽŒƒŒ— ’ƒ‡–•‹Š ‰”‡æƒƒǤ —’ƒ „”œ‹ƒ ‘ƒ–‡‹”ƒ‘‰ ‘†ƒ Œ‡†ƒƒ Œ‡ ’”‘‹œ˜‘†— „”œ‹ƒ•ƒ•–ƒ˜‹Š‘†‘˜ƒǡ‘†‘•‘—‘˜‘’”‹‡”—ሺͳȀʹሻሺʹʹ͵Ȁʹͷͷሻ ؆ ͲǤͶͶǤ ‘†‹†‘„‹–ƒ‘ƒ–‡‹”ƒ‹Š‘†‘˜ƒŒ‡˜‡‘ƒ˜‡Ž‹Ǥ‡‹‘†Œ‹Š”ƒ†‡„—˜ƒŽ‘ ƒ‹˜‘—–‡”ƒŽ‹Š族‘˜ƒ‹–ƒ†ƒ•‡’‘Œƒ˜ŽŒ—Œ‡’”‘„Ž‡•‹Š”‘‹œƒ…‹Œ‡Ǥ  ’‘”‡† ‘˜‹Š †‘„”‹Š •˜‘Œ•–ƒ˜ƒǡ ‘ƒ–‡‹”ƒ‹ ‘†‘˜‹ •‡ –‡æ‘ ‹’Ž‡‡–‹”ƒŒ— œ„‘‰ Œ‹Š‘˜‡ •Ž‘ā‡‘•–‹ ‹ ƒŽ‡ „”œ‹‡ǡ 斑 Œ‡ ˜‡Ž‹‹ ’”‘„Ž‡ — ƒƒŽ‹ƒ •ƒ ‘‰”ƒ‹«‡‹’”‘’—•‹‘’•‡‰‘Ǥ ͷǤͷǤ͹Ǥ     ‡†‹Œ— Œ‡ ͳʹͲ  ’Žƒ•–‹«‹ †‹•ǡ ƒ ‘‡ •‡ †‹‰‹–ƒŽ‹ ƒ—†‹‘ ’‘†ƒ…‹ ‡‘”‹æ—’‘‘©—Œƒ‹…ƒȋ’‹–•Ȍ‘Œ‡‘«‹–ƒ˜ƒŽƒ•‡”‹•‘’Ǥ‹‘˜‡”œ‹Œƒ•‡ ‘„ƒ˜ŽŒƒƒͶͶǤͳ•‡’Ž‘˜ƒȀ•‡…ǡ«‹‡•‡‘„‡œ„‡¯—Œ‡ƒ—†‹‘‘’•‡‰‘†ʹͲœǤ˜ƒ‹ ƒ—†‹‘‘†„‹”ƒ•‡‘†—Œ‡—‹ˆ‘”‘•ƒʹଵ଺ ‹˜‘ƒ˜ƒ–‹œƒ…‹Œ‡ȋ‘„‹«ƒ‹ƒʹ଼  ‹˜‘ƒȌǤ ‡œ—Ž–—Œ—©ƒ †‹ƒ‹ƒ Œ‡ ͻ͸ †ǡ ƒ ——’‡ Šƒ”‘‹Œ•‡ †‹•–‘”œ‹Œ‡ •— ͲǤͲͲͷΨǤ

”‡æ‡ƒ•–ƒŒ—‹œ†˜ƒ‹œ˜‘”ƒǣ ͳǤ ”ƒæ‹ƒǡ‡Š—”‹©‹˜ƒœ†—Šƒǡ‡•ƒ˜”懐‘•–‹—–‹•‹˜ƒŒƒŒƒ‹…ƒǤ 169

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ʹǤ –‹•…‹’”•–‹Œ—ǡ‘‰”‡„‘–‹‡ǡƒ–ƒŽ‘ā‡ƒ’”ƒæ‹ƒǤ ‘› Œ‡ „‹‘ ‹†‡ƒŽƒ ’ƒ”–‡”ǡ „—†—©‹ †ƒ Œ‡ ˜‡© ‹ƒ‘ ‹•—•–˜‘ •ƒ ‘†‘˜‹ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒǤ ‹Ž‹’•‘˜‹ •–”—«Œƒ…‹ •— ’‘—惎‹ †ƒ ‘”‹•–‡ —‘„‹«ƒŒ‡‡ ‘†‘˜‡ǡ ƒŽ‹ ”‡œ—Ž–ƒ– Œ‡ „‹‘ Œ‘æ ‰‘”‹ǡ „—†—©‹ †ƒ •— ‰”‡æ‡ ’”‹ ‘«‹–ƒ˜ƒŒ— Ǧƒ ’‘ •˜‘Œ‘Œ’”‹”‘†‹’ƒ‡–•‡Ǥ ƒ‘ ‰‘†‹— †ƒƒ •ƒ”ƒ†Œ‡ —•–ƒ‘˜ŽŒ‡ƒ Œ‡ ‘ƒ«ƒ 懏ƒ ‘†‘˜ƒŒƒ ‘Œƒ •‡ •ƒ•–‘Œ‹‘†˜‹æ‡‹˜‘˜•‡’”‹‡‡‹–‡”Ž‹˜‹‰ƒ‹‹†‘Ž‘‘‘˜‹Š‘†‘˜ƒǤ˜ƒ懏ƒ Œ‡’‘œƒ–ƒ’‘†ƒœ‹˜‘ ǦCross Interleave Reed Solomon CodeǤƒ•–‘Œ‹•‡‘†Ͷ ‹˜‘ƒ‘–”‘Ž‡‰”‡æƒƒǣ ͳǤ ‡‘†‡”‘„‡œ„‡¯—Œ‡‹˜‘ Ǥ ʹǤ ‘Ž‹‘ ’ƒ‡–‡ ‰”‡æ‡ ’”‡˜ƒœ‹Žƒœ‡ ‘‰—©‘•–‹ ǡ †‡‘†‡” ’‘•–ƒ˜ŽŒƒ ‹˜‘‹•’”ƒ˜ŽŒƒŒƒ•ƒ„”‹•ƒŒ‡Ǥ ͵Ǥ ‘ ‰”‡æ‡ ’”‡˜ƒœ‹Žƒœ‡ ‹˜‘ ‹•’”ƒ˜ŽŒƒŒƒ •ƒ „”‹•ƒŒ‡ǡ †‡‘†‡” •ƒ”‹˜ƒ †ƒ–‹ ‘†„‹”ƒ ‹ œƒ‡Œ—Œ‡ ‰ƒ  ‹–‡”’‘Ž‹”ƒ‹ ‘†„‹”‘ ‹œ‡¯— ’‘—œ†ƒ‹Š •—•‡†‹Š‘†„‹”ƒƒǤ ͶǤ ‘Ž‹‘‰”‡æ‡’”‡˜ƒœ‹Žƒœ‡‘‰—©‘•–‹‹–‡”’‘Žƒ…‹‘‡‘”‡…‹Œ‡ǡ†‡‘†‡” •‡—–‹æƒ˜ƒ‹Ž‹†ƒŒ‡’‘•‡„—•‹‰ƒŽ‹œƒ…‹Œ—Ǥ ‡œ—Ž–ƒ–ƒ’‡”ˆ‘”ƒ•ƒ Œ‡†ƒ–ƒ—•Ž‡†‡©‘Œ–ƒ„‡Ž‹Ǥ Performanse kontrole greške CIRC-a Maksimalno ispravljanje ̱ͶͲͲͲ„‹–‘˜ƒȋʹǤͷƒ†‹•—Ȍ greške Maksimalna interpolacija ̱ͳʹǤͲͲͲ„‹–‘˜ƒȋͺȌ greške Nedetektovani uzorci greške ƒŒ‡‘†Œ‡†‡ƒ•˜ƒ‹Š͹ͷͲ«ƒ•‘˜ƒȋͳͲିଷ Ȍ Novi diskovi imaju tipian ̱ͳͲିସ  stopu greške (engl. BER)    ‘†‡” ‘”‹•–‹ –”‹ ‹˜‘ƒ ‹–‡”Ž‹˜‹‰ƒ ‹ †˜ƒ ‘ƒ–‡‹”ƒƒ ‹† ‘Ž‘‘‘˜ƒ ‘†ƒǤ—–”ƒæŒ‹Œ‡ܴܵሺ͵ʹǡʹͺሻ‘†ǡ†‘Œ‡•’‘ŽŒƒæŒ‹ܴܵሺʹͺǡʹͶሻ‘†Ǥ„ƒ‘†ƒ ‘”‹•–‡ͺȂ„‹–‡•‹„‘Ž‡ǡƒ——’ƒ„”œ‹ƒ‘†ƒŒ‡ΧǤ 170

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

—–”ƒæŒ‹ ‘† ‹ƒ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡†୫୧୬ ൌ ͷǡ –ƒ‘ †ƒ ‘ā‡ †ƒ ‘”‹‰—Œ‡ ƒŒ˜‹æ‡ †˜ƒ ’‘‰”‡æƒ •‹„‘ŽƒǤ ’‘ŽŒƒæŒ‹ ‘† ‹ƒ –ƒ‘†Œ‡ ‹‹ƒŽ‘ ”ƒ•–‘ŒƒŒ‡ †୫୧୬ ൌ ͷǡ‹•Ž—ā‹‹Ž‹œƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒ‹Ž‹‹•’”ƒ˜ŽŒƒŒ‡„”‹•ƒŒƒǡœƒ˜‹•‘‘†–‘‰ƒ ‘Ž‹‘Œ‡——–”ƒæŒ‹‘†„‹‘—•’‡æƒ—‘”‹‰‘˜ƒŒ—’ƒ‡–‹Š‰”‡æƒƒǤ   懏ƒ ‘†‘˜ƒŒƒ Œ‡ ’‘•–ƒŽƒ ‡•–”‡‘ —•’‡æƒǤ ƒ Œ‡ ‘˜‡”–‘˜ƒŽƒ ƒƒŽ ‘Œ‹ ‹Œ‡ –‘Ž‡”‹•ƒ‘ –”—— ’”ƒæ‹‡ — ˜”Ž‘ ”‘„—•–ƒ ’”ƒ–‹«ƒ •‹•–‡  ƒ—†‹‘ ‘•ƒ«ƒ ‘Œ‹ Œ‡ ‘•˜‘Œ‹‘ •˜‡–Ǥ ƒƒæŒ‹  ‘ā‡ †ƒ –‘Ž‡”‹æ‡ ͺ  ˜‡Ž‹‡ ”—’‡ ’”‘„—懐‡”‘œ†‹•ǡ„‡œƒ—†‹‘’‡”…‡’–‹˜‹Š‡ˆ‡ƒ–ƒǤ

171

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷǤ͸Ǥ    VEŽBA 7. ‡‹‰‘˜œƒæ–‹–‹‘†ȋͳʹǡͺȌǡ—˜‘†ƒƒ’‘‡ƒǣ ‡‹‰‘˜ ‘† •‡ ƒŒ«‡æ©‡ ‘”‹•–‹ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ —  ‡‘”‹ŒƒƒǤ ‘”—ƒ‘Œƒ•‡’”‡‘•‹Œ‡†—ā‹‡ͳʹ„‹–ƒ’”‹«‡—Œ‡ͺ„‹–ƒ”‡œ‡”˜‹•ƒ‘œƒ’‘†ƒ–‡ ƒ ’”‡‘•–ƒŽƒ Ͷ „‹–ƒ •— ‘–”‘Žƒ ‹ ‹œ”ƒ«—ƒ˜ƒŒ— •‡ ƒ ‘•‘˜— „‹–‘˜ƒ ’‘†ƒ–ƒƒǤ ‘–”‘Ž‹„‹–‘˜‹•‡ƒŽƒœ‡ƒ’”˜‘Œǡ†”—‰‘Œǡ«‡–˜”–‘Œ‹‘•‘Œ’‘œ‹…‹Œ‹Ǥ  ‡‹‰‘˜‘†œƒ‹•’”ƒ˜ŽŒƒŒ‡ͳ„‹–ƒ‰”‡æ‡‹’Ž‡‡–‹”ƒ•‡ƒ•Ž‡†‡©‹ƒ«‹ǣ ͳǤ ‹–‹’‘”—‡•—’‘„”‘Œƒ‹•ƒŽ‡˜ƒƒ†‡•‘’‘«‡˜æ‹‘†ͳǤ ʹǤ ˜ƒ‹„‹–‘Œ‹’”‡†•–ƒ˜ŽŒƒ•–‡’‡ʹŒ‡„‹–’”‘˜‡”‡ȋͳǡʹǡͶǡͺȌǤ ͵Ǥ •–ƒŽ‹„‹–‘˜‹ȋ͵ǡͷǡ͸ǡ͹ǡͻȌ•—„‹–‹’‘†ƒ–ƒǤ ˜ƒ‹ „‹– ’”‘˜‡”‡ —•’‘•–ƒ˜ŽŒƒ ‡’ƒ”— ’ƒ”‘•– •ƒ ‰”—’‘ „‹–ƒ ’‘†ƒ–ƒǤ ”˜‹ „‹– ’”‘˜‡”‡ •‡Ž‡–—Œ‡ „‹ƒ”‡ ˜”‡†‘•–‹ •ƒ „‹–‘ ͳ ƒ ’”˜‘ ‡•–—Ǥ ”—‰‹ „‹– ’”‘˜‡”‡•‡Ž‡–—Œ‡„‹ƒ”‡˜”‡†‘•–‹’‘†ƒ–ƒƒ•ƒ„‹–‘ͳƒ†”—‰‘‡•–—‹–†Ǥ

 Ž‹ƒͷǤͳͷ‹–‘˜‹’‘†ƒ–ƒ‹‘–”‘Ž‹„‹–‘˜‹ 172

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‫ ͳܥ‬ൌ ‫ܯ ْ ʹܯ ْ ͳܯ‬Ͷ ْ ‫ܯ‬ͷ ْ ‫ܯ‬͹ ‫ ʹܥ‬ൌ ‫ܯ ْ ͵ܯ ْ ͳܯ‬Ͷ ْ ‫ܯ‬͸ ْ ‫ܯ‬͹ ‫ ͵ܥ‬ൌ ‫ܯ ْ ͵ܯ ْ ʹܯ‬Ͷ ْ ‫ܯ‬ͺ ‫ܥ‬Ͷ ൌ ‫ܯ‬ͷ ْ ‫ܯ‬͸ ْ ‫ܯ‬͹ ْ ‫ܯ‬ͺ ‘†‡”ȋͳʹǡͺȌǣ ”‡ ’”‡‘•ƒ ’‘†ƒ–ƒƒ ‡’ƒ”ƒ ’ƒ”‘•– Œ‡ —•’‘•–ƒ˜ŽŒ‡ƒ ƒ† •˜ƒ‹ „‹–‘ ’”‘˜‡”‡‹Œ‡‰‘˜‘ƒ•‘…‹Œƒ–‹˜‘˜‡œ‘•ƒ’‘†ƒ…‹ƒǤ 



173

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͷǤͳ͸e‡ƒ‘†‡”ƒœƒ‡‹‰‘˜‘†ȋͳʹǡͺȌ

‡‘†‡”ȋͳʹǡͺȌǣ ƒ‘’”‡‘•ƒ’‘”—‡‹œ”ƒ«—ƒ˜ƒ‘„‹–’ƒ”‘•–ȋ‡‰ŽǤparity bitȌœƒ•˜ƒ‹•—’ ’‘†ƒ–ƒƒ’‘’”‹’ƒ†‘•–‹’”‡ƒ„‹–—’”‘˜‡”‡ȋ‡‰ŽǤcheck bitȌǤ‘Ž‹‘Œ‡•‹†”‘ ˜”‡†‘•–‹Ͳǡ‹Œ‡„‹Ž‘‰”‡æƒƒƒ—‘Ž‹‘Œ‡ͳǡ’‘•–‘Œ‹‰”‡æƒǤ    174

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‘˜‘’”‹‡”—’”‘‡‹©‡‘˜”‡†‘•–„‹–ƒƒ’‘œ‹…‹Œ‹͸Ǥ 

 Ž‹ƒͷǤͳ͹e‡ƒ†‡‘†‡”ƒœƒ‡‹‰‘˜‘†ȋͳʹǡͺȌ

”‘æ‹”‡Œƒ‹‘‰”ƒ‹«‡Œƒ‡‹‰‘˜‘‰‘†ƒȋͳʹǡͺȌ Sindrom vrednosti nulta nenulta nenulta

Parnost poruke ‡’ƒ”‘ ’ƒ”‘ ‡’ƒ”‘

Rezultat ‡ƒ‰”‡æ‡ ‘”‡…‹Œƒͳ„‹– ‡ƒ‘”‡…‹Œ‡

 

175

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

VEŽBA 8. ‡‹‰‘˜„‹ƒ”‹œƒæ–‹–‹‘†ȋ͹ǡͶȌǡ—˜‘†ƒƒ’‘‡ƒǣ ‡‹‰‘˜ ‘† •‡ ‘œƒ«ƒ˜ƒ •ƒሺ݊݇ሻǡ ’”‹ «‡— „”‘Œ݇’”‡†•–ƒ˜ŽŒƒ ‹ˆ‘”ƒ…‹‘‡ „‹–‘˜‡ǡƒ݊——’ƒ„”‘Œ„‹–‘˜ƒ—‘†‘Œ”‡«‹Ǥ‹œ”ƒœ—݊ ൌ ݉ ൅ ݇ǡ„”‘Œ݉‘œƒ«ƒ˜ƒ „”‘Œœƒæ–‹–‹Š„‹–ƒǤ‘Ž‹‘Œ‡’‘–”‡„‘‹•’”ƒ˜‹–‹—ƒƒŽ—’‘Œ‡†‹ƒ«‡‰”‡æ‡ǡ„”‘Œ œƒæ–‹–‹Š„‹–‘˜ƒ•‡”ƒ«—ƒ’‘ˆ‘”—Ž‹ǣ ʹ௠ ൒ ݇ ൅ ݉ ൅ ͳǤ ˜ƒƒ‘ǡœƒ‘‰—©‘•–‹•’”ƒ˜ŽŒƒŒƒ˜‡©‡‰„”‘Œƒ„‹–‘˜ƒǡ„”‘Œœƒæ–‹–‹Š„‹–‘˜ƒ‘”ƒ †ƒ •‡ ’‘˜‡©ƒ˜ƒǤ  ƒ•–ƒ˜— ”ƒœ”ƒ†‹©‡‘ ˆ—…‹Œ— ‡‹‰‘˜‘‰ ‘†ƒሺ͹ǡͶሻœƒ ‘†‘˜ƒŒ‡‹†‡‘†‘˜ƒŒ‡Ǥ”‘Œœƒæ–‹–‹Š„‹–ƒǡ݉ ൌ ͵Ǥ‘Ž‹‘•‡’”‘˜‡”‹ƒ˜‡†‡ƒ ‡Œ‡†ƒ‘•–ǣ ʹଷ ൒ Ͷ ൅ ͵ ൅ ͳǡ ˜‹†‹•‡†ƒŒ‡‹•’—Œ‡—•Ž‘˜œƒ‹•’”ƒ˜ŽŒƒŒ‡•ƒ‘Œ‡†‡‰”‡æ‡Ǥ ‡‹‰‘˜ ‘†ሺ͹ǡͶሻǡ ƒ ”‡« †—ā‹‡ Ͷ „‹–ƒǡ †‘†ƒŒ‡ ͵ „‹–ƒ ‹ ˆ‘”‹”ƒ ‘†— ”‡« †—ā‹‡͹„‹–‘˜ƒǤƒæ–‹–ƒ–”‹„‹–ƒ©‡’”‹Ž‹‘†‡‘†‘˜ƒŒƒ‘†”‡†‹–‹’‘Ž‘āƒŒŒ‡†‡ ‰”‡æ‡’”‡‘•‹†”‘ƒǡƒ–ƒŒƒ«‹†‡‘†‡”‡‹‰‘˜‘‰‘†ƒ‹•’”ƒ˜‹©‡‰”‡æ—‹ ‘†”‡†‹–‹’‘•Žƒ–—•‡˜‡…—Ǥ ’”˜‘‘”ƒ—‰‡‡”‹•ƒ©‡‘˜‡”‹ˆ‹ƒ…‹‘—ƒ–”‹…—‫ܪ‬Ǥƒ–”‹…—‰‡”‹æ‡‘–ƒ‘ 斑 ’‘ ‘Ž‘ƒƒ —’‹•—Œ‡‘ „‹ƒ”‡ ˜”‡†‘•–‹ „”‘Œ‡˜ƒ ‹œ ‘’•‡‰ƒ ‘† ͳ †‘ ͹Ǥ ƒ ’”‹‡”ǡ — ’”˜— ‘Ž‘— Œ‡ —’‹•ƒƒ „‹ƒ”ƒ ˜”‡†‘•– ͲͲͳ ‘Œƒ †‡…‹ƒŽ‘ ’”‡†•–ƒ˜ŽŒƒ„”‘ŒͳǤ



Ͳ

Ͳ

Ͳ

ͳ

ͳ

ͳ

ͳ

Ͳ

ͳ

ͳ

Ͳ

Ͳ

ͳ

ͳ

ͳ

Ͳ

ͳ

Ͳ

ͳ

Ͳ

ͳ

 †”—‰‘ ‘”ƒ— ’”‡Žƒœ‹‘ ƒ ˆ—…‹Œ— ‘†‘˜ƒŒƒǤ ”‘…‡• ‘†‘˜ƒŒƒ ’”‡†•–ƒ˜ŽŒƒ‘ •ƒ ‹œ”ƒœ‘ ܼ ൌ ܷ ȉ ‫ ܩ‬ǡ ‰†‡ ܷ ’”‡†•–ƒ˜ŽŒƒ ’‘”——ǡ ‫”‘–ƒ”‡‡‰ ܩ‬

176

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ–”‹…—ǡ ƒܼ‘†‘˜ƒ— ’‘”——Ǥ ƒ ˆ—…‹Œ— ‘†‘˜ƒŒƒ ‡‘’Š‘†‘ Œ‡ ‰‡‡”‹•ƒ–‹ ‰‡‡”ƒ–‘”ƒ–‹…—‫ܩ‬Ǥ

‡‡”ƒ–‘”ƒ–‹…ƒ’”‹ƒœƒƒŒ‡—–ƒ„‡Ž‹‹•’‘†Ǥ•‡«‡‹†‡‘–ƒ„‡Ž‡†‘„‹Œ‡Œ‡–ƒ‘ 斑 •‘ ‹˜‡”–‘˜ƒŽ‹ ˜”‡†‘•–‹ ˜‡”‹ˆ‹ƒ…‹‘‡ ƒ–”‹…‡‫ܪ‬Ǥƒ–‹ ’‘•Ž‡†Œ‹ ”‡† ‰‡‡”ƒ–‘” ƒ–”‹…‡ †‘„‹Œ‡ Œ‡ ’”‡‘ ˆ—…‹Œ‡ œƒ ‡’ƒ”— ’ƒ” ȋͲͲͳ ൌ ͳǡͲͳͲ ൌ ͳǡ Ͳͳͳ ൌ ͲǡͳͲͲ ൌ ͳǡͳͲͳ ൌ ͲǡͳͳͲ ൌ Ͳǡͳͳͳ ൌ ͳȌ‘•–œƒ •˜ƒ—‘Ž‘—˜‡”‹ˆ‹ƒ…‹‘‡ ƒ–”‹…‡Ǥ ‘”—ƒ ‘Œ— •ƒ†ƒ –”‡„ƒ †ƒ ‘†—Œ‡‘ Œ‡ ƒ ’”‹‡” ’‘”—ƒܷ ൌ ͳͲͲͲǤ ”‹‡” ‘ā‡Œƒƒ–”‹…‡‹˜‡–‘”ƒ†ƒ–Œ‡—–ƒ„‡Ž‹‘Œƒ•Ž‡†‹Ǥ ͳ ͳ Ͳ ͳ

ͳ Ͳ ͳ ͳ

ͳ Ͳ Ͳ Ͳ

ࡳ Ͳ ͳ ͳ ͳ

Ͳ ͳ Ͳ Ͳ

Ͳ Ͳ ͳ Ͳ

Ͳ Ͳ ൈ Ͳ ͳ

ࢁ ͳ ͳ ͳ Ͳ Ͳ Ͳ = Ͳ Ͳ Ͳ Ͳ Ͳ Ͳ

ͳ Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ Ͳ

ࢆ Ͳ Ͳ = 1110000 Ͳ Ͳ

 –”‡©‡ ‘”ƒ— ƒ ”‡†— Œ‡ ˆ—…‹Œƒ †‡‘†‘˜ƒŒƒ ‹Ž‹ •–”ƒƒ †‡‘†‡”ƒǤ ‡‘†‘˜ƒŒ‡ •‡ ‘„ƒ˜ŽŒƒ Œ‡†‘•–ƒ˜—ǡ ’‘ ’”‹…‹’— ‘†”‡¯‹˜ƒŒƒ •‹†”‘ ”‡«‹ ƒ ‘•‘˜— ‘Œ‡ •‡ —–˜”¯—Œ‡ †ƒ Ž‹ ’‘•–‘Œ‹ ‰”‡æƒ ‹Ž‹ ‡ ’‘•–‘Œ‹Ǥ ‘Ž‹‘ Œ‡ ”‡œ—Ž–ƒ– ‘ā‡Œƒܵ ൌ ܼ ȉ ‫«‡” ƒ†‘ ƒŽ—ܪ‬ǡ –ƒ†ƒ Œ‡ ‘†‘˜ƒƒ ’‘”—ƒ ’”‡‡•‡ƒ „‡œ ‰”‡æ‡‹Ž‹—‘Ž‹‘Œ‡”ƒœŽ‹«‹–ƒ‘†Ͳ’”Ǥ͵ǡ–‘©‡œƒ«‹–‹†ƒŒ‡‰”‡æƒƒ–”‡©‡„‹–—Ǥ ƒ‘’”‘‡‡˜”‡†‘•–‹„‹–ƒƒ–”‡©‘Œ’‘œ‹…‹Œ‹’”‡Žƒœ‹‘—ˆƒœ—†‡‘†‘˜ƒŒƒǤ Ͳ Ͳ Ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ ͳ

ࡴ ͳ Ͳ Ͳ ൈ ࢆ Ͳ

ͳ Ͳ ͳ

ͳ ͳ Ͳ

ͳ ͳ ͳ

=

Ͳ Ͳ ͳ 

Ͳ

Ͳ

Ͳ

Ͳ ͳ Ͳ

Ͳ ͳ ͳ

 Ͳ Ͳ Ͳ

ࡿ Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ

=

Ͳ Ͳ ʹ α Ͳ ʹ Ͳ ܵ ൌ Ͳǡ‡ ’‘•–‘Œ‹ ‰”‡æƒ

”‘Œ‡˜‹ ȋͲǡʹǡʹȌ — –ƒ„‡Ž‹ ’”‡†•–ƒ˜ŽŒƒŒ— „”‘Œ Œ‡†‹‹…ƒ ’‘ ”‡†‘˜‹ƒ ƒ–”‹…‡ ‘Œƒ ’”‡†•–ƒ˜ŽŒƒ ’”‘‹œ˜‘†‫ ܪ‬ȉ ܼǤ ƒ ‘•‘˜— ˆ—…‹Œ‡ œƒ ‡’ƒ”— ’ƒ”‘•– ȋȌ ‘†”‡¯—Œ‡‘•‹†”‘”‡«Ǥ

177

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ƒ•–ƒ˜— ‘˜‘‰ ’”‹‡”ƒ —˜‘†‹‘ ‰”‡æ— ƒ –”‡©‡ „‹–— ‘†‘˜ƒ‡ ’‘”—‡ ‹Ž‹ ‘†‡ ”‡«‹Ǥ ƒ‘ ’”‡‘•ƒ ’‘†ƒ–ƒƒ ’”‡‘ ‘—‹ƒ…‹‘‘‰ ƒƒŽƒ •ƒ ‰”‡æ‘ †‘‰‘†‹Žƒ•‡‰”‡æƒƒ–”‡©‘Œ’‘œ‹…‹Œ‹Ǥ ‘‘˜‘ ’”‡Žƒœ‹‘ — ˆƒœ— ‘†”‡¯‹˜ƒŒƒ •‹†”‘ ”‡«‹ǡ •Ž‹«— ƒ‘ — ’”‡–Š‘†‘ •Ž—«ƒŒ—Ǥ Ͳ Ͳ Ͳ Ͳ ͳ ͳ ͳ Ͳ ͳ ͳ ͳ 0

ࡴ ͳ Ͳ Ͳ ൈ ࢆ Ͳ

ͳ Ͳ ͳ

ͳ ͳ Ͳ

ͳ ͳ ͳ

=

Ͳ Ͳ ͳ

Ͳ ͳ Ͳ

 Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ

ࡿ Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ

Ͳ Ͳ Ͳ

=

 Ͳ

Ͳ

Ͳ

Ͳ Ͳ ͳ α ͳ ͳ ͳ ܵൌ͵  ‰”‡æƒ ’‘•–‘Œ‹

ƒ†ƒ •‘ ‘†”‡†‹Ž‹ •‹†”‘ ”‡«ܵ ൌ ሺͲͳͳሻ , ‘ā‡‘ †ƒ œƒŽŒ—«‹‘ †ƒ •‡ ‰”‡æƒ ƒŽƒœ‹ ƒ –”‡©‘Œ ’‘œ‹…‹Œ‹Ǥ ƒ†ƒ ’”‡Žƒœ‹‘ — ’‘•Ž‡†Œ— ˆƒœ— †‡‘†‘˜ƒŒƒ ƒ†ƒ Œ‡ ’‘•–‘ŒƒŽƒ‰”‡æƒ—’”‡‘•—Ǥ‡‘†‘˜ƒƒ’‘”—ƒܷ†‘„‹Œƒ•‡‹œ‘œ”ƒœƒܷ ൌ ܼ ᇱ ْ ܵǡ ‰†‡ܼ ᇱ ‘œƒ«ƒ˜ƒ ‘†‘˜ƒ— ’‘”—— ’”‡‡æ‡— ƒ †”—‰— •–”ƒ— ƒƒŽƒ ‘Œƒ ’‘–‡…‹ŒƒŽ‘•ƒ†”ā‹‰”‡æ—Ǥ ࢆᇱ  ͳ ͳ Ͳ Ͳ Ͳ Ͳ Ͳ  ࡿ Ͳ Ͳ ͳ Ͳ Ͳ Ͳ Ͳ ࢆ ͳ ͳ ͳ Ͳ Ͳ Ͳ Ͳ

‘œ‹…‹Œ‡‘œƒ«‡‡•ƒࡼ ’”‡†•–ƒ˜ŽŒƒŒ—‘–”‘Ž‡„‹–‘˜‡ǡƒ ’‘œ‹…‹Œ‡‘œƒ«‡‡•ƒࡵ ’”‡†•–ƒ˜ŽŒƒŒ—‹ˆ‘”ƒ…‹‘‡„‹–‘˜‡ ܲଵ ܲଶ ‫ܫ‬ଶ ܲଷ ‫ܫ‬ଶ ‫ܫ‬ଷ ‫ܫ‬ସ 1

1

1

0

0

0

0

‫ܫ‬ଵ ͳ

ࢁ

‫ܫ‬ଶ  ‫ܫ‬ଷ  Ͳ Ͳ Kraj.

‫ܫ‬ସ  Ͳ

ƒ•–ƒ˜—‘˜‘‰’”‹‡”ƒ•Ž‡†‹”‡æ‡Œ‡œƒ†ƒ–ƒ—ƒ–Žƒ„Ǧ—‹‹—Ž‹Ǧ—ǣ Ž‡†‡©‹ƒ”‡†„ƒƒ—ƒ–Žƒ„Ǧ—†‡ˆ‹‹•ƒ©‡‘‡‹‰‘˜‘†ȋ͹ǡͶȌǤ݊Ǧ‘œƒ«ƒ˜ƒ †—ā‹— ‘†‡ ”‡«‹ǡ‫ݎ‬Ǧ ‘œƒ«ƒ˜ƒ „”‘Œ ‘–”‘Ž‹Š „‹–‘˜ƒǡ ƒ݇Ǧ „”‘Œ ‹ˆ‘”ƒ…‹‘‹Š „‹–‘˜ƒǤ ”‘Œ”‡†—†ƒ–‹Š„‹–‘˜ƒ‹Ž‹‘–”‘Ž‹Š„‹–‘˜ƒǣ εε”αŽ‘‰ʹȋΪͳȌ

178

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”α͵ ”‘Œ‹ˆ‘”ƒ…‹‘‹Š„‹–‘˜ƒǣ εεαǦŽ‘‰ʹȋΪͳȌ αͶ

‡‡”‹•ƒŒ‡‡‡•Ž—«ƒŒ‡’‘”—‡ǣ εε’‘”—ƒα˜‡…ʹƒ–ȋ”ƒ†‹–ȋͳͲͲȗͶǡͳǡȏͲǡͳȐȌǡȌǢ

 Ž‹ƒͷǤͳͺ ‡‡”‹•ƒƒ’‘”—ƒ

‘†‘˜ƒŒ‡•ƒ—‰”ƒ¯‡‘ˆ—…‹Œ‘—ƒ–Žƒ„Ǧ—ǣ ε卑†‘˜ƒƒ’‘”—ƒα‡…‘†‡ȋ’‘”—ƒǡǡǡ̵Šƒ‹‰Ȁ„‹ƒ”›̵ȌǢ

 Ž‹ƒͷǤͳͻ‘†‘˜ƒƒ’‘”—ƒ 179

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ†ƒ •‹—Ž‹”ƒ‘ ’”‡‘• ’‘”—‡ ’”‡‘ 族‘‰ ƒƒŽƒǡ –ƒ‘ 斑 —‰”ƒ¯—Œ‡‘ ’‘‰”‡æ‡„‹–‘˜‡—‘†‘˜ƒ—’‘”——ǣ ε卑†‘˜ƒƒ’‘”—ƒ•ƒ•—‘α”‡ȋ‘†‘˜ƒƒ’‘”—ƒΪ”ƒ†‡””ȋͳͲͲǡǡȏͲͳǢǤʹͷ Ǥ͹ͷȐȌǡʹȌǢ ƒ‘ ’”‡‘•ƒ ’”‡‘ 族‘‰ ƒƒŽƒǡ —–˜”†‹©‡‘ „”‘Œ ’‘‰”‡æ‹Š „‹–‘˜ƒ ’”‡‘ ‘’‡”ƒ…‹Œ‡ǣ εεȏ„”‘Œ ”‡•ƒƒǡ‰”‡•ƒȐα„‹–‡””ȋ‘†‘˜ƒƒ’‘”—ƒǡ‘†‘˜ƒƒ’‘”—ƒ•ƒ•—‘Ȍ „”‘Œ ”‡•ƒƒα͹Ͳ ‰”‡•ƒαͲǤͳͲͲͲ ”‡Žƒœ‹‘ƒˆƒœ—†‡–‡…‹Œ‡‹‹•’”ƒ˜ŽŒƒŒƒ‰”‡æƒƒǣ ε冇‘†‘˜ƒƒ’‘”—ƒα†‡…‘†‡ȋ‘†‘˜ƒƒ’‘”—ƒ•ƒ•—‘ǡǡǡ ̵Šƒ‹‰Ȁ„‹ƒ”›̵ȌǢ ƒ ”ƒŒ— ’”‘˜‡”ƒ˜ƒ‘ ’‡”ˆ‘”ƒ•‡ ‡‹‰‘˜‘‰ ‘†ƒ ȋ͹ǡͶȌ ‹ —–˜”¯—Œ‡‘ †ƒ Œ‡ ‘˜ƒŒ‘†‹•’”ƒ˜‹‘•˜‡‰”‡æ‡ȋͳͲΨ’‘‰”‡æ‹Š„‹–‘˜ƒȌǣ εεȏ„”‘Œ ”‡•ƒƒǡ‰”‡•ƒȐα„‹–‡””ȋ†‡‘†‘˜ƒƒ’‘”—ƒǡ’‘”—ƒȌ „”‘Œ ”‡•ƒƒαͲ ‰”‡•ƒαͲ ƒ•–ƒ˜ƒ”‡æ‡Œƒœƒ†ƒ–ƒ—•‹—Ž‹Ǧ—ǡ•Ž‡†‹•‹—Žƒ…‹ŒƒƒƒŽƒ•ƒ族‘ǣ

 Ž‹ƒͷǤʹͲ•ƒ˜‡”‘˜ƒ–‘©‘‰”‡æ‡ͲǡͲʹ

‘†‡æƒ˜ƒŒ‡‰‡‡”ƒ–‘”ƒ’‘”—ƒǣ

180

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒͷǤʹͳ‡”—Ž‹Œ‡˜‰‡‡”ƒ–‘”’‘”—ƒ•ƒ˜‡”‘˜ƒ–‘©‘Ͳǡͷ

‘†‡æƒ˜ƒŒ‡„‹ƒ”‘‰•‹‡–”‹«‘‰‘—‹ƒ…‹‘‘‰ƒƒŽƒǣ

 Ž‹ƒͷǤʹʹ‹—Žƒ…‹ŒƒƒƒŽƒ•ƒ族‘ǡ˜‡”‘˜ƒ–‘©ƒ‰”‡æ‡ͲǡͲʹ

‡”‘˜ƒ–‘©ƒ‰”‡æ‡—ƒƒŽ—Œ‡ͲǡͲʹǡƒ‹‹…‹ŒƒŽ‘•–ƒŒ‡͹ͳǤ ‹…‹ŒƒŽ‹sid‹Ž‹•–ƒŒ‡ ‰‡‡”ƒ–‘”ƒ’”‡†•–ƒ˜ŽŒƒ‡‘•Ž—«ƒŒ‘‹œƒ„”ƒ‘’‘«‡–‘•–ƒŒ‡’•‡—†‘‰‡‡”ƒ–‘”ƒ œƒ‰‡‡”‹•ƒŒ‡‰”‡æ‡Ǥ

181

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ‘†‡æƒ˜ƒŒ‡„Ž‘ƒœƒ”ƒ«—ƒŒ‡‰”‡æ‡ǣ

 Ž‹ƒͷǤʹ͵Ž‘œƒ”ƒ«—ƒŒ‡‰”‡æ‡—ƒƒŽ—

ƒ”ƒ‡–”‹ „Ž‘ƒ •ƒ •Ž‹‡ ȋŽ‹ƒ ͷǤʹ͵Ȍ ‘–”‘Ž‹æ— ˜”‡‡ ‹œ˜”惘ƒŒƒ ‘’Ž‡–‡ •‹—Žƒ…‹Œ‡Ǥ ƒ‘ ͳͲͲ ƒ•–ƒŽ‹Š ‰”‡æƒƒ •‹—Žƒ…‹Œƒ ©‡ „‹–‹ œƒ—•–ƒ˜ŽŒ‡ƒ ‹ ”‡œ—Ž–ƒ– •‹—Žƒ…‹Œ‡„‹©‡’”‘•Ž‡¯‡ƒ”‡†‘„Ž‘—œƒ’”‹ƒœ”‡œ—Ž–ƒ–ƒǤ ‘†‡æƒ˜ƒŒ‡„Ž‘ƒœƒ’”‹ƒœ”‡œ—Ž–ƒ–ƒǣ

 Ž‹ƒͷǤʹͶŽ‘œƒ’”‹ƒœ”‡œ—Ž–ƒ–ƒ•‹—Žƒ…‹Œ‡

182

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ”ƒ‡–”‹ ‘˜‘‰ „Ž‘ƒ — †ƒ–‘Œ •‹—Žƒ…‹Œ‹ œƒ†”āƒ˜ƒŒ— ’”‡†‡ˆ‹‹•ƒ‡ ˜”‡†‘•–‹Ǥ ƒ ”‡œ—Ž–ƒ–— •‹—Žƒ…‹Œ‡ ‘ā‡‘ †ƒ ˜‹†‹‘ †ƒ Œ‡ ƒ Ͷͳͻ͹ „‹–‘˜ƒ ’”‡‡•‡‡ ’‘”—‡ „‹Ž‘——’‘ͳͲͲ„‹–ƒ‰”‡æ‡Ǥ  ƒ•–ƒ˜— ’”‘æ‹”—Œ‡‘ •‹—Žƒ…‹Œ— — •‹—Ž‹Ǧ— •ƒ Œ‘æ Œ‡†‹ ‹†‡–‹«‹ ƒƒŽ‘ǡ –‹ 斑 — †”—‰‘ ƒƒŽ— ‘”‹•–‹‘ œƒæ–‹–‹ ‘† ‘Œ‹ •‡ ‹’Ž‡‡–‹”ƒ ’”‡‘‡‘†‡”ƒƒ’”‡†ƒŒ‘Œ•–”ƒ‹‹†‡‘†‡”ƒƒ’”‹Œ‡‘Œ•–”ƒ‹Ǥ

 Ž‹ƒͷǤʹͷ•ƒ˜‡”‘˜ƒ–‘©‘‰”‡æ‡ͲǡͲʹ‹œƒæ–‹–‹‘†‘͹ǡͶ

’”‡–Š‘†‘Œ•‹—Žƒ…‹Œ‹ƒ•Ž‹…‹ȋŽ‹ƒͷǤʹʹȌ‘”‹•–‹Ž‹•‘‡‹‰‘˜ œƒæ–‹–‹‘† ȋ͹ǡͶȌǤƒ•Ž‡†‡©‘Œ•Ž‹…‹’”‹ƒœƒ‘Œ‡’‘†‡æƒ˜ƒŒ‡‡‘†‡”ƒ‹†‡‘†‡”ƒǣ

 Ž‹ƒͷǤʹ͸‡‹‰‘˜‡‘†‡”‹†‡‘†‡”œƒ‘†ȋ͹ǡͶȌ

  183

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ•–ƒ˜—•Ž‡†‹’‘†‡æƒ˜ƒŒ‡‰‡‡”ƒ–‘”ƒ’‘”—ƒǣ

 Ž‹ƒͷǤʹ͹ ‡‡”ƒ–‘”’‘”—ƒ•ƒ˜‡”‘˜ƒ–‘©‘Ͳǡͷ

ƒ ”ƒœŽ‹— ‘† „Ž‘ƒ œƒ ‰‡‡”‹•ƒŒ‡ ’‘”—ƒ — ’”˜‘ ƒƒŽ—ǡ •ƒ†ƒ Œ‡ ’‘–”‡„‘ †‡ˆ‹‹•ƒ–‹–ƒ–‰‡‡”ƒ–‘”ƒ‹„”‘Œ‹•’‘”—«‡‹Š„‹–‘˜ƒ—•˜ƒ‘–ƒ–—Ǥ–‹˜‹”ƒ©‡‘ ‘’…‹Œ— ǷFrame-based outputsdz ‹ œƒ ˜”‡†‘•– ’ƒ”ƒ‡–”ƒ ǷSamples per framedz ’‘•–ƒ˜‹–‹ ˜”‡†‘•– ͶǤ ”‡†‘•– Ͷ ’”‡†•–ƒ˜ŽŒƒ „”‘Œ݇‹Ž‹ ‹ˆ‘”ƒ…‹‘‡ „‹–‘˜‡ ‘† ‡‹‰‘˜‘‰œƒæ–‹–‘‰‘†ƒǤ

 Ž‹ƒͷǤʹͺ‘”‡¯‡Œ‡‰”‡æƒƒ‹œ‡¯—ƒƒŽƒ„‡œ‹•ƒ

ƒ ‘•‘˜— ”‡œ—Ž–ƒ–ƒ •‹—Žƒ…‹Œ‡ ’”‹ƒœƒ‘‰ ƒ •Ž‹…‹ ȋŽ‹ƒ ͷǤʹͺȌǡ œƒ ‹•–‹ „”‘Œ ’”‡‡•‡‹Š’‘”—ƒ‰”‡æƒŒ‡•ƒŒ‡ƒœƒͺͲ„‹–‘˜ƒǤ 184

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

VEŽBA 9. –‡”Ž‹˜‹‰ǡ—˜‘†ƒƒ’‘‡ƒǣ

‡†ƒ ‘† ƒŒ’‘’—Žƒ”‹Œ‹Š ƒ«‹ƒ †ƒ •‡ ‘”‹‰—Œ— ’ƒ‡–•‡ ‰”‡æ‡ Œ‡ ‘”‹æ©‡Œ‡ ‘†‘˜ƒ ‘Œ‹ †‘„”‘ ”ƒ†‡ ƒ •Ž—«ƒŒ‹ ‰”‡æƒƒǡ –ƒ‘ 斑 •‡ ’”‡–Š‘†‘ ”‘œ ’‘•–—’ƒ ‹–‡”Ž‹˜‹‰ƒ ’ƒ‡–•‡ ‰”‡æ‡ ”ƒ•’”æ‡ –ƒ‘ †ƒ ‹œ‰Ž‡†ƒŒ— ƒ‘ •Ž—«ƒŒ‘ ”ƒ•’‘†‡ŽŒ‡‡Ǥ ‘•–‘Œ‡ †˜ƒ –‹’ƒ ‹–‡”Ž‹˜‡”ƒ ‘Œ‹ •‡ †ƒƒ• ƒŒ˜‹æ‡ ‘”‹•–‡ǡ –‘ •— „Ž‘‘˜•‹ ‹ ‘˜‘Ž—…‹‘‹‹–‡”Ž‹˜‡”‹Ǥ  ‘˜‘ ’”‹‡”— ’”‹ƒœƒ©‡‘ ’•‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡”Ǥ •‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡”‹ ‡Ž‹‹‹æ— ”‡‰—Žƒ”‡ ‘„”ƒ•…‡ ‹Ž‹ ‘†”‡¯‡‡ •–ƒ–‹•–‹«‡ ‘•‘„‹‡ ‹œ ‘†”‡¯‡‡ •‡˜‡…‡ ’‘†ƒ–ƒƒ ‹ –‘ –‘‘ ˜‡‘ƒ †—‰‘‰ ’‡”‹‘†ƒǤ •‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡”•‡«‡•–‘‘”‹•–‹‘†–—”„‘‘†‘˜ƒǤ Ž‡†‡©‹ ’”‹‡” — ƒ–Žƒ„Ǧ— ‹Ž—•–”—Œ‡ ƒ‘ ‹–‡”Ž‹˜‡” ’‘„‘ŽŒæƒ˜ƒ ’‡”ˆ‘”ƒ•‡ ‘†‘˜ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ — ‘—‹ƒ…‹‘‹ ƒƒŽ‹ƒ •ƒ ”ƒˆƒŽ‹ ‰”‡æƒƒǤ  ‘˜‘ ‘†‡Ž— ‘”‹•–‹‘ ’•‡—†‘•Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡” ‹ ‡‹‰‘˜ „‹ƒ”‹œƒæ–‹–‹‘†͹ǡͶǤ Postavka parametara modela sa i bez primene interlivera. ‡ˆ‹‹æ‡‘’‘«‡–ƒ•–ƒŒƒ‰‡‡”ƒ–‘”ƒǣ εε•–ͳαʹ͹ʹʹͳǢ•–ʹαͶͺ͵ͳǢ †”‡¯—Œ‡‘’ƒ”ƒ‡–”‡œƒ‡‹‰‘˜‘†ǣ εεα͹ǢαͶǢ

‡‡”‹æ‡‘‡—•Ž—«ƒŒ—’‘”——œƒ‘†‘˜ƒŒ‡ǣ εε’‘”—ƒα”ƒ†‹–ȋȗͷͲͲǡͳǡʹǡ•–ͳȌǢ ‘†—Œ‡‘’‘”——‡‹‰‘˜‹‘†‘ǣ ε卑†‘˜ƒƒ̴’‘”—ƒα‡…‘†‡ȋ’‘”—ƒǡǡǡ̵Šƒ‹‰Ȁ„‹ƒ”›̵ȌǢ

185

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡‡”‹æ‡‘•Ž—«ƒŒ—’ƒ‡–•—‰”‡æ—ƒ†‘†‘˜ƒ‘’‘”—‘ǣ ε剔‡•ƒαœ‡”‘•ȋ•‹œ‡ȋ‘†‘˜ƒƒ̴’‘”—ƒȌȌǢ‰”‡•ƒȋǦʹǣΪ͵ȌαȏͳͳͳͳͳͳȐǢ Rezultat sa primenom interlivera. ‘œ‹˜ƒ‘ˆ—…‹Œ—œƒ‹–‡”Ž‹˜‹‰ǣ ε勐–‡”Ž‹˜‡”ᔃ†‹–”Ž˜ȋ‘†‘˜ƒƒ̴’‘”—ƒǡ•–ʹȌǢ ˜‘†‹‘”ƒˆƒŽ—‰”‡æ—’”‡‘‘’‡”ƒ…‹Œ‡ǣ ε勐–‡”Ž‹˜‡”̴‰”‡•ƒα„‹–š‘”ȋ‹–‡”Ž‹˜‡”ǡ‰”‡•ƒȌǢ ‘œ‹˜ƒ‘ˆ—…‹Œ—œƒ†‡‹–‡”Ž‹˜‹‰ǣ ε冇‹–‡”Ž‹˜‡”ᔃ††‡‹–”Ž˜ȋ‹–‡”Ž‹˜‡”̴‰”‡•ƒǡ•–ʹȌǢ ‡‘†—Œ‡‘’‘”——ǣ ε冇‘†‘˜ƒƒ̴’‘”—ƒα†‡…‘†‡ȋ†‡‹–‡”Ž‹˜‡”ǡǡǡ̵Šƒ‹‰Ȁ„‹ƒ”›̵ȌǢ ”‹ƒœ—Œ‡‘•–ƒ–‹•–‹«‡’‘†ƒ–‡œƒ‰”‡æ—ǣ ε冋•’ȋ̵”‘Œ‰”‡•ƒ‹•–‘’ƒ‰”‡•‡ǡ•ƒ’”‹‡‘‹–‡”Ž‹˜‡”ƒǣ̵ȌǢ εεȏ„”‘Œ̴‰”‡•ƒƒǡ•–‘’ƒ̴‰”‡•‡Ȑα„‹–‡””ȋ’‘”—ƒǡ†‡‘†‘˜ƒƒ̴’‘”—ƒȌ „”‘Œ̴‰”‡•ƒαͲ •–‘’ƒ̴‰”‡•‡αͲ Rezultat bez primene interlivera. ˜‘†‹‘”ƒˆƒŽ—‰”‡æ—’”‡‘‘’‡”ƒ…‹Œ‡ǣ ε卑†‘˜ƒƒ̴’‘”—ƒ̴‰”‡•ƒα„‹–š‘”ȋ‘†‘˜ƒƒ̴’‘”—ƒǡ‰”‡•ƒȌǢ ‡‘†—Œ‡‘’‘”——ǣ ε冇‘†‘˜ƒƒ̴’‘”—ƒα †‡…‘†‡ȋ‘†‘˜ƒƒ̴’‘”—ƒ̴‰”‡•ƒǡǡǡ̵Šƒ‹‰Ȁ„‹ƒ”›̵ȌǢ 186

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

”‹ƒœ—Œ‡‘•–ƒ–‹•–‹«‡’‘†ƒ–‡œƒ‰”‡æ—ǣ ε冋•’ȋ̵”‘Œ‰”‡•ƒ‹•–‘’ƒ‰”‡•‡ǡ„‡œ’”‹‡‡‹–‡”Ž‹˜‡”ƒǣ̵ȌǢ εεȏ„”‘Œ̴‰”‡•ƒƒǡ•–‘’ƒ̴‰”‡•‡Ȑα„‹–‡””ȋ’‘”—ƒǡ†‡‘†‘˜ƒƒ̴’‘”—ƒȌ „”‘Œ̴‰”‡•ƒƒαͶ •–‘’ƒ̴‰”‡•‡αͲǤͲͲʹͲ 

187

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

6. KRIPTOGRAFIJA – INFORMACIONO TEORIJSKI UVOD ‹ŽŒ‡˜‹‘˜‘‰’‘‰Žƒ˜ŽŒƒ•—†ƒ†ƒ‘‘†‰‘˜‘”‡ƒ•Ž‡†‡©ƒ’‹–ƒŒƒǣ Šta je predmet i cilj kriptografije? Teorijska postavka problema kriptografije u okviru teorije informacija. Šta je perfektan tajnost i kako se postiže? Šta je taka jedinstvenosti i kakav je njen znaaj?

 Ž‹ƒ͸Ǥͳ‘†‘˜ƒŒ‡’‘”—ƒ—…‹ŽŒ—‘„‡œ„‡¯‡Œƒ–ƒŒ‘•–‹‹ƒ—–‡–‹«‘•–‹Ǥ

Ž‡†‹ˆ—…‹Œƒ拈”‘˜ƒŒƒ•ƒȋŽ‹ƒ͸ǤͳȌǣ ‫ ܥ‬ൌ ‡ሺǡ ሻ  െ 拈”ƒ–ǡ  െ ’‘”—ƒǡ  െ –ƒŒ‹ŽŒ—«ǡ ሺȁǡ ሻ ൌ Ͳǡ —…‹Œƒ拈”‘˜ƒŒƒŒ‡†‡–‡”‹‹•–‹«ƒǡ‘†‘•‘‫‡•‘ƒ‘‡¯‡”†‘«ƒœ‘†‡Œ‡Œܥ‬ œƒ‫ܭ‹ܯ‬Ǥ —…‹Œƒ†‡æ‹ˆ”‘˜ƒŒƒǣ ݀ሺ݁ሺ‫ܯ‬ǡ ‫ܭ‬ሻǡ ‫ܭ‬ሻ ൌ ‫ܯ‬ǡ

188

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

†‡æ‹ˆ”‘˜ƒŒ‡‹•–‹–ƒŒ‹ŽŒ—«‡†ƒŒ‡‘”‹‰‹ƒŽ—’‘”——Ǥ‡æ‹ˆ”‘˜ƒŒ‡Œ‡–ƒ‘¯‡ †‡–‡”‹‹•–‹«‘ǡ‘†‘•‘ǣ ‫ܪ‬ሺ‫ܯ‬ȁ‫ܥ‬ǡ ‫ܭ‬ሻ ൌ Ͳ ”‹‡–‹‘ ˜ƒā— «‹Œ‡‹…— †ƒ ሺȁǡ ሻ ൌ Ͳǡ ‹ ሺȁǡ ሻ ൌ Ͳ ‡ ‹’Ž‹…‹”ƒŒ— ሺȁǡ ሻ ൌ ͲǤ†‘•‘ǡ’”‹…‹’‹Œ‡Ž‘Œ‡‘‰—©‡˜‹æ‡ŽŒ—«‡˜ƒœƒˆ‹•‹”ƒ‘‫ܥ‹ܯ‬Ǥ ‡¯—–‹ǡ—”‹’–‘‰”ƒˆ•‘Œ’”ƒ•‹•‡–‘’‘’”ƒ˜‹Ž—‡†‡æƒ˜ƒȋ•ƒ”ƒœŽ‘‰‘Ȍǡ–ƒ‘ †ƒ•‡’”ƒ–‹«‘—œ‹ƒ†ƒ‹œƒŽŒ—«˜ƒā‹ሺȁǡ ሻ ൌ ͲǤ ‹ŽŒ”‹’–‘‰”ƒˆ‹Œ‡Œ‡œƒæ–‹–ƒ’‘”—‡‘†ǣ ͳǤ ‘‰”‡æ‘‰ ’”‹ƒ‘…ƒ ȋ–ƒŒ‘•–Ȍǡ ‡‘‰—©‡ Œ‡ †‘„‹–‹‫ܥ—˜‘•‘ ƒܯ‬ǡ „‡œ ’‘œƒ˜ƒŒƒ‫ܭ‬Ǥ ʹǤ ‘‰”‡æ‘‰ ‡‹–‘˜ƒŒ‡ ȋƒ—–‡–‹ˆ‹ƒ…‹ŒƒȌǡ ‡‘‰—©‡ Œ‡ œƒ‡‹–‹ ’‘”—— ‘†‹ˆ‹ƒ…‹Œ‘拈”ƒ–ƒ‫ ܥ—ܥ‬ᇱ ǡ„‡œ’‘œƒ˜ƒŒƒ‫ܭ‬Ǥ ‹ŽŒ ”‹’–‘ƒƒŽ‹–‹«ƒ”ƒ Œ‡ ”ƒœ„‹ŒƒŒ‡ •‹•–‡ƒ –ƒŒ‘•–‹Ȁƒ—–‡–‹ˆ‹ƒ…‹Œ‡ǡ ‘†‘•‘ †‘Žƒā‡Œ‡†‘‫ܥƒŒƒ…ƒœ‘’—˜‘•‘ƒܭ‹Ž‹ܯ‬Ǥ”‡–’‘•–ƒ˜‡‘Œ‡•‡’”‹–‘‡«‹‡ •—ǣ ͳǤ ‘•–—’ƒ 拈”‘˜ƒŒƒ ‹ †‡æ‹ˆ”‘˜ƒŒƒ Œ‡ •˜‹ƒ ’‘œƒ– ȋ‡”Š‘ˆ‘˜ ’”‹…‹’Ȍ ƒ‘‹•–ƒ–‹•–‹«ƒ•˜‘Œ•–˜ƒ’‘”—ƒǤ ʹǤ ‡ƒ—–‘”‹œ‘˜ƒ‹‘”‹•‹…‹‡œƒŒ—ŽŒ—«‫ܭ‬Ǥ ͵Ǥ Œ‡•˜‹ƒ†‘•–—’‘ȋƒŽ‹‡‹‫ܯ‹ܭ‬ȌǤ ͶǤ ˜ƒ–ƒŒ‘•–•‡•˜‘†‹ƒ–‘†ƒƒ’ƒ†ƒ«•‹•–‡ƒ‡’‘œƒŒ‡–ƒŒ‹ŽŒ—«Ǥ

189

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸ǤͳǤ    DEFINICIJA 6.1‡”ˆ‡–ƒ–ƒŒ‘•– e‹ˆ”ƒ•‹ •‹•–‡ Œ‡ ’‡”ˆ‡–ƒǡ ƒ‘ ‹ •ƒ‘ ƒ‘ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ ‹œ‡¯— ‘–˜‘”‡‡’‘”—‡‫‰‡©—Œƒ”ƒ˜‘‰†‘‹ܯ‬拈”ƒ–ƒ‫‹Ž—ƒƒ†‡Œ‡Œܥ‬ǡ‘†‘•‘ǣ ሺǢ ሻ ൌ ͲǤ TEOREMA 6.1  ’‡”ˆ‡–‘ 拈ƒ”•‘ •‹•–‡— ‘‰—©‹Š ŽŒ—«‡˜ƒ ‘”ƒ „‹–‹ „ƒ”‡ ‘Ž‹‘ ‹ ‘‰—©‹Š’‘”—ƒǤ TEOREMA 6.2  ’‡”ˆ‡–‘ 拈ƒ”•‘ •‹•–‡— ‡‘†”‡¯‡‘•– ŽŒ—«ƒሺሻŒ‡ ƒŒƒŒ‡ ˜‡Ž‹ƒ ‘Ž‹‘‹‡‘†”‡¯‡‘•–’‘”—ƒሺሻሺሻ ൒ ሺሻǤ ‘•Ž‡†‹…‡ ‘˜‡ †˜‡ –‡‘”‡‡ •— œƒŽŒ—«ƒ †ƒ — ’‡”ˆ‡–‹ 拈ƒ”•‹ •‹•–‡‹ƒ ŽŒ—«‡˜‹ ‘”ƒŒ— „‹–‹ †‘˜‘ŽŒ‡ ‘’Ž‡•‘•–‹ ‹Ž‹ ƒŒƒŒ‡ ‘‘Ž‹‘ ‘Ž‹‘ Œ‡ ‘’Ž‡•‘•–’‘”—ƒǤ PRIMER 6.1‡Ǧ‹‡Ǧƒ†Ǥ ˜‘ Œ‡ ’”‹‡” †‘„”‘ ’‘œƒ–‘‰ ’‡”ˆ‡–‘‰ 拈ƒ”•‘‰ •‹•–‡ƒǤ  ‘˜‘ •‹•–‡—ǡ ŽŒ—«Œ‡Œ‡†‘”ƒ–‹«‹•–‘•Ž—«ƒŒƒ„‹ƒ”‹‹œ ൌ ଵ ǡ  ଶ ǥ  ୬ –ƒƒ˜†ƒŒ‡ǣ ሺ‫ܭ‬௜ ൌ Ͳሻ ൌ ‫݌‬ሺ‫ܭ‬௜ Ͳȁ‫ܭ‬ଵ ǡ ǥ ǡ ‫ܭ‬௜ିଵ ሻ ൌ ͲǤͷ ‰†‡ Œ‡݊˜‡Ž‹«‹ƒ ƒŒ˜‡©‡ ’‘”—‡ ‘Œ— –”‡„ƒ ’”‡‡–‹Ǥ e‹ˆ”‘˜ƒŒ‡ •‡ ‘„ƒ˜ŽŒƒ ƒ ‘•‘˜—•ƒ„‹”ƒŒƒƒ‹˜‘—„‹–ƒǣ ୧ ൌ ୧ ൅  ୧ Ǥ ŽŒ—«•‡•‡‘”‹•–‹–‹•ƒ‘Œ‡†‘”ƒ–‘Ǥ’‘–”‡„ƒŒ‡†‘‰ŽŒ—«ƒ—†˜ƒ拈”‘˜ƒŒƒ •ƒ†˜‡”ƒœŽ‹«‹–‡’‘”—‡ǡ‘’”‘‹–—Œ‡‘˜ƒŒ•‹•–‡Ǥ

190

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸ǤͳǤͳǤ  e ǣ    ‘† ’‡”ˆ‡–‡ 拈”‡ ’‘•–‘Œ‹ ŽŒ—« ‘Œ‹ ’”‡•Ž‹ƒ˜ƒ •˜ƒ— ’‘”—— — •˜ƒ‹ 拈”ƒ– •ƒ Œ‡†ƒ‘˜‡”‘˜ƒ–‘©‘Ǥ ƒ•˜ƒ‘݅ǡ݆ǣ ‫݌‬൫‫ܯ‬௜ ห‫ܥ‬௝ ൯ ൌ ‫݌‬ሺ‫ܯ‬௜ ሻǤ

 Ž‹ƒ͸Ǥʹ ”ƒˆ‹«ƒ’”‡œ‡–ƒ…‹Œƒ’‡”ˆ‡–‡拈”‡

‡ˆ‹‹…‹Œƒǣ 

݅ǡ ݆ǣܲሺ‫ܯ‬௜ ȁ‫ܥ‬௝ ሻ  ൌ ܲሺ‫ܯ‬௜ ሻ e‹ˆ”ƒŒ‡’‡”ˆ‡–ƒƒ‘ǣ

‫ܯ‬ǡ ‫ܲܥ‬ሺ‫ܥ‬ȁ‫ܯ‬ሻ  ൌ ܲሺ‫ܥ‬ሻ ‹Ž‹ǡ‡˜‹˜ƒŽ‡–‘ǣ

‫ܯ‬ǡ ‫ܲܥ‬ሺ‫ܯ‬ȁ‫ܥ‬ሻ  ൌ ܲሺ‫ܯ‬ሻǡ „‡œ ’‘œƒ˜ƒŒƒ ŽŒ—«ƒǡ •˜ƒ‹ 拈”ƒ– ’‘†Œ‡†ƒ‘ ˜‡”‘˜ƒ–‘ ‘ā‡ ‘†‰‘˜ƒ”ƒ–‹ „‹Ž‘ ‘‘–˜‘”‡‘–‡•–—Ǥ 

191

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

PRIMER 6.2 ‡Ǧ‹‡’ƒ†拈”ƒǤ ݇ ൌ ͲͳͳͲͲͳͲͳͳͲͲͲͳ ݉ ൌ ͳͳͲͲͳͳͲͳͲͳͲͳͲ ‫ ܥ‬ൌ ͳͲͳͲͳͲͲͲͳͳͲͳͳ TEOREMA 6.3 ‡Ǧ‹‡’ƒ†Œ‡’‡”ˆ‡–ƒ拈”ƒǤ DOKAZ ƒͳ ൑ ‹ ൑ ǣ ‫݌‬ሺ‫ܥ‬௜ ൌ Ͳȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ǡ ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻ ൌ ‫݌‬ሺ‫ܯ‬௜ ൌ Ͳȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ǡ ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻ ȉ ‫݌‬ሺ‫ܭ‬௜ ൌ Ͳሻ ൅ ‫݌‬ሺ‫ܯ‬௜ ൌ ͳȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ǡ ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻ ȉ ‫݌‬ሺ‫ܭ‬௜ ൌ ͳሻ ൌ ͲǤͷሾ‫݌‬ሺ‫ܯ‬௜ ൌ Ͳȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ǡ ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻ ൅ ‫݌‬ሺ‫ܯ‬௜ ൌ ͳȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ǡ ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻሿ ൌ ͲǤͷ Ž‹«‘ǣ ‫݌‬ሺ‫ܥ‬ଵ ȁ‫ܯ‬ଵ ǡ ǥ ǡ ‫ܯ‬௡ ሻ ൌ ͲǤͷǡ ‹ ‫݌‬ሺ‫ܥ‬௜ ȁ‫ܥ‬ଵ ǡ ǥ ǡ ‫ܥ‬௜ିଵ ሻ ൌ ͲǤͷ œƒ ݅ǡ ͳ ൑ ݅ ൑ ݊ǡ ’ƒ Œ‡ ܲሺ‫ܥ‬ȁ‫ܯ‬ሻ ൌ ܲሺ‫ܥ‬ሻǡ–ŒǤ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܯ‬ሻ ൌ ͲǤ       

192

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸ǤͳǤʹǤ  ,  e 

‘”‡ƒ˜‡†‡‹•–ƒ˜Œ‡‘‰—©‡†‘ƒœƒ–‹‹‰”ƒˆ‹«‹ƒ‘•‘˜— ‡‰‘˜‹Š†‹Œƒ‰”ƒƒǤ 

  ‡¯—œƒ˜‹•‘•–‹ˆ‘”ƒ…‹‘‹Š‡”ƒ—”‡Žƒ…‹Œ‹ܼ ൌ ܺ۩ܻǤ

 Ž‹ƒ͸Ǥ͵‡¯—œƒ˜‹•‘•–‹ˆ‘”ƒ…‹‘‹‡”ƒ 193

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸ǤͳǤ͵Ǥ e    Ǧ

 Ž‹ƒ͸ǤͶ‡”ˆ‡–ƒ–ƒŒ‘•–‡Ǧ‹‡’ƒ†Ǧƒ

ƒ •˜ƒ‹ ’‡”ˆ‡–‹ ”‹’–‘•‹•–‡ •ƒ Œ‡†‹•–˜‡‹ †‡‘†‘˜ƒŒ‡ ˜ƒā‹‫ܪ‬ሺ‫ܭ‬ሻ  ൒ ‫ܪ‬ሺ‫ܯ‬ሻǤ

‡†‹•–˜‡‘•–†‡‘†‘˜ƒŒƒǣ ‫ܪ‬ሺ‫ܭܥ݈ܯ‬ሻ  ൌ ͲǤ œ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܭ‬ሻ  ൒ Ͳ ՜ ܾ ൒ ܽǡܽ‘†ƒ˜†‡ǣ ‫ܪ‬ሺ‫ܭ‬ሻ ൒ ܾ െ ܽ ൅ ܿ ൒ ܽ െ ܽ ൅ ܿ ൌ ‫ܪ‬ሺ‫ܯ‬ሻǤ

 Ž‹ƒ͸Ǥͷ‘ƒœe‡‘‘˜‡–‡‘”‡‡ 194

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸ǤʹǤ    ,     ’”ƒ•‹ •‡ «‡•–‘ ‘†•–—’ƒ ‘† ’‡”ˆ‡–‹Š 拈ƒ”ƒ œ„‘‰ ‘’”‘‹•ƒ ‹œ‡¯— ‹˜‘ƒ ’‘–”‡„‡ –ƒŒ‘•–‹ ‹ …‡‡ —˜‘¯‡Œƒ Œ‡†‘‰ 拈ƒ”•‘‰ •‹•–‡ƒǤ e‹”‘‘ Œ‡ ”ƒ•’”‘•–”ƒŒ‡ƒŽƒ•ƒ‡’‡”ˆ‡–‹Š拈ƒ•‹Š•‹•–‡ƒǡ«‹Œ‹Œ‡ŽŒ—«œƒ–‘ƒŒ‹‘† ’‘”—ƒ‹‘”‹•–‹•‡˜‡Ž‹‹„”‘Œ’—–ƒǤ Šta možemo rei o praktino upotrebljivijim, ali neperfektnim šifarskim sistemima? e‡‘Œ‡—˜‡‘–œ˜Ǥ‡˜‹˜‘ƒ…‹‘—ˆ—…‹Œ—ǡ†‡ˆ‹‹•ƒ—ƒ•—’—’”‹”‘†‹Š„”‘Œ‡˜ƒǣ Ƚሺሻ ൌ ሺȁଵ ǥ ୬ ሻǤ –—‹–‹˜‘ Œ‡ Œƒ•‘ †ƒ 斑 ˜‹æ‡ 拈”ƒ–ƒ‫—Œƒ‰ƒŽ‘’•ƒ” ƒ ‘ƒ‹ܥ‬ǡ •˜‡ ©‡ •‡ ˜‹æ‡ •ƒŒ‹˜ƒ–‹‡‘†”‡†Œ‡‘•–ŽŒ—«ƒ‫ܭ‬Ǥ ‘”ƒŽ‘ǡ–‘„‹œƒ«‹Ž‘ǣ Ž‹ Ƚሺሻ ൌ Ͳ

୬՜ஶ

ƒ«ƒŒ‡†‹•–˜‡‘•–‹•‡†‡ˆ‹‹æ‡ƒ‘ƒŒƒŒ‡݊œƒ‘Œ‡Œ‡Ƚሺሻ ؆ ͲǤ DEFINICIJA 6.2ƒ«ƒŒ‡†‹•–˜‡‘•–‹Ǥ ƒ«ƒŒ‡†‹•–˜‡‘•–‹†ƒ–‘‰”‹’–‘•‹•–‡ƒŒ‡ƒŒƒŒ‡݊œƒ‘Œ‡˜ƒā‹ǣ ‫ܪ‬ሺ‫ܭ‬ȁ‫ܥ‬ଵ ǥ ‫ܥ‬௡ ሻ ؆ ͲǤ ͸ǤʹǤͳǤ    , ,    ‘ †‡ˆ‹‹…‹Œ‹ǡ –ƒ«ƒ Œ‡†‹•–˜‡‘•–‹ Œ‡ ƒŒƒŒƒ ‘Ž‹«‹ƒ 拈”ƒ–ƒ ‘Œ‘ ‘”ƒ ”ƒ•’‘Žƒ‰ƒ–‹”‹’–‘ƒƒŽ‹–‹«ƒ”ǡ†ƒ„‹‘‰ƒ‘†ƒ‘†”‡†‹ŽŒ—«‫‘«ƒœ‘†‡Œܭ‬Ǥ”—‰‹ ”‡«‹ƒ–‘Œ‡ƒŒƒŒƒ‘Ž‹«‹ƒ拈”ƒ–ƒ‘Œƒ‘‘‰—©ƒ˜ƒ†ƒ•‹•–‡„—†‡”ƒœ„‹Œ‡Ǥ

195

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 Ž‹ƒ͸Ǥ͸ƒ«ƒŒ‡†‹•–˜‡‘•–‹Ȃ’‡”ˆ‡–‡‹‡’‡”ˆ‡–‡拈”‡

TEOREMA 6.4 ‘˜ƒā‹ǣ ‫—† ‡–•‹ —• ܥ‹ ܯ‬ā‹‡݊ ‹ ’”‹’ƒ†ƒŒ— ‹•–‘ ƒŽˆƒ„‡–—Ǥ e‹ˆ”‘˜ƒ‡ ’‘”—‡ ‹ƒŒ— ’”‹„Ž‹ā‘ƒ•‹ƒŽ—‡‘†”‡¯‡‘•–ǣ ሺ୬ ሻ ؆  Ž‘‰ ǡ 斑Œ‡”‹–‡”‹Œ—‘‡–‡ā‡•˜‹†‹œƒŒ‡”‹”‹’–‘•‹•–‡ƒǤ ŽŒ—«‡˜‹‹’‘”—‡•—‡œƒ˜‹•‹ ሺ୬ ǡ ሻ ൌ ሺ୬ ሻ ൅ ሺሻǡ 斑Œ‡—‘„‹«ƒŒ‡‘‹’”‹”‘†‘Ǥ–ƒ†ƒŒ‡–ƒ«ƒŒ‡†‹•–˜‡‘•–‹ƒ’”‘•‹ƒ–‹˜‘Œ‡†ƒƒ —ൎ

ୌሺ୏ሻ ୖሺ୑ሻȉ୪୭୥ ୈ

ǡ

‰†‡Œ‡ܴሺ‫ܯ‬ሻ”‡†—†ƒ•ƒ’‘”—ƒ‫‡•‡Œ‘ܯ‬拈”—Œ—ǡ†‡ˆ‹‹•ƒƒ•ƒǣ ሺሻ ൌ ͳ െ 

196

ୌಮ ሺ୑ሻ ୪୭୥ ୈ

Ǥ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

DOKAZ: ”‡–’‘•–ƒ˜‹‘†ƒŒ‡݊†‘˜‘ŽŒ‘˜‡Ž‹‘ǡ–ƒ‘†ƒ˜ƒā‹ǣ ሺ୬ ሻ ൎ  ȉ ஶ ሺሻǡ ுሺ௄஼೙ ሻ

ᇩᇭᇭᇭᇭᇭᇭᇭᇪᇭᇭᇭᇭᇭᇭᇭᇫ ‫ܪ‬ሺ‫ܭ‬ȁ‫ܥ‬௡ ሻ ൌ ‫ܪ‬ሺ‫ܯ‬ ௡ ‫ܥܭ‬௡ ሻ െ ‫ܪ‬ሺ‫ܯ‬௡ ȁ‫ܥܭ‬௡ ሻ െ ‫ܪ‬ሺ‫ܥ‬௡ ሻ ൌ ‫ܪ‬ሺ‫ܯ‬௡ ‫ܥܭ‬௡ ሻ െ ‫ܪ‬ሺ‫ܥ‬௡ ሻ ൌ ‫ܪ‬ሺ‫ܯ‬௡ ‫ܭ‬ሻ െ ‫ܪ‬ሺ‫ܥ‬௡ ሻ ൌ ‫ܪ‬ሺ‫ܯ‬௡ ሻ ൅ ‫ܪ‬ሺ‫ܭ‬ሻ െ ‫ܪ‬ሺ‫ܥ‬௡ ሻ ൌ ݊ ȉ ‫ܪ‬ஶ ሺ‫ܯ‬ሻ ൅ ‫ܪ‬ሺ‫ܭ‬ሻ െ ݊ ȉ Ž‘‰ ‫ܦ‬  ƒ«ƒŒ‡†‹•–˜‡‘•–‹Œ‡†‡ˆ‹‹•ƒƒ•ƒǣ ‫ܪ‬ሺ‫ܭ‬ȁ‫ܥ‬௨ ሻ ൌ Ͳǡ ‘†‘•‘ǣ ‫ݑ‬ሺ‫ܪ‬ஶ ሺ‫ܯ‬ሻ െ Ž‘‰ ‫ܦ‬ሻ ൅ ‫ܪ‬ሺ‫ܭ‬ሻ ൌ Ͳǡ ‘†ƒŽ‡•Ž‡†‹ǣ ‫ݑ‬ൌ

‫ܪ‬ሺ‫ܭ‬ሻ ‫ܪ‬ሺ‫ܭ‬ሻ ൌ Ǥ Ž‘‰ ‫ ܦ‬െ ‫ܪ‬ஶ ሺ‫ܯ‬ሻ ܴሺ‫ܯ‬ሻ ȉ Ž‘‰ ‫ܦ‬

PRIMER 6.5ƒ«ƒŒ‡†‹•–˜‡‘•–‹Ǥ ‘•ƒ–”ƒŒ‘ ’‘”—‡ ’‹•ƒ‡ ƒ ‡‰Ž‡•‘ Œ‡œ‹— •ƒ ʹ͹ œƒ‘˜ƒ —ŽŒ—«—Œ—©‹ ”ƒœƒ‡ ‹œ‡¯— ”‡«‹ ‹ 拈”‘˜ƒ‡ ŽŒ—«‡ ‘Œ‹ •‡ •ƒ•–‘Œ‹ ‘† ʹͲ ‡œƒ˜‹•‹Š ƒ”ƒ–‡”ƒ‡‰Ž‡•‘‰ƒŽˆƒ„‡–ƒǤ ƒ†ƒŒ‡‫ܪ‬ሺ‫ܭ‬ሻ ൌ ʹͲŽ‘‰ʹ͹Ǥ ‘œƒ‡‰Ž‡•‹Œ‡œ‹—•˜‘Œ‹‘‡–”‘’‹Œ—‘†ʹ„‹–ƒ’‘œƒ—ǡ”‡†—†ƒ•ƒ’‘”—ƒ Œ‡ †ƒ–ƒ •ƒ ܴሺ‫ܯ‬ሻ ൌ ͳ െ ʹȀ݈‫ʹ݃݋‬͹ ൎ ͲǤͷͺǤ ƒ«ƒ Œ‡†‹•–˜‡‘•–‹ ‘˜‘‰ 拈ƒ”•‘‰ •‹•–‡ƒŒ‡†ƒ–ƒ•ƒǣ ‫ݑ‬ൌ

‫ܪ‬ሺ‫ܭ‬ሻ ʹͲ ȉ Ž‘‰ሺʹ͹ሻ ൌ ؆ ͵ͷ ܴ Ž‘‰ ‫‰‘Ž ܦ‬ሺʹ͹ሻ െ ʹ

197

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

˜ƒŒ ”‡œ—Ž–ƒ– œƒ«‹ †ƒ •ƒ ’‘œƒ˜ƒŒ‡ 拈”ƒ–ƒ †—ā‹‡ ‘‘ ͵ͷ ƒ”ƒ–‡”ƒǡ ŽŒ—« ‘ā‡‘†”‡†‹–‹Œ‡†‘œƒ«‘Ǥ ”‹‡–‹‘†ƒŒ‡–ƒ«ƒŒ‡†‹•–˜‡‘•–‹‫ݑ‬ǡ’”‹…‹’‹Œ‡Ž‘ǡ‘Ž‹«‹ƒ拈”ƒ–ƒ†‘˜‘ŽŒƒœƒ Œ‡†‘œƒ«‘ ‘†”‡¯‹˜ƒŒ‡ ŽŒ—«ƒǤ ‡¯—–‹ǡ ‘ •ƒ‘ ‘”‡–‘ ƒ«‹— ‹ •Ž‘ā‡‘•–‹‘†”‡¯‹˜ƒŒƒŽŒ—«ƒ‫ƒŒƒ˜ƒœ‘’—˜‘•‘ƒܭ‬拈”ƒ–ƒ‡ƒ‹Œ‡†‡”‡«‹— e‡‘‘˜‹”ƒ†‘˜‹ƒǤ ͸ǤʹǤʹǤ * ,    œ•ƒ‡†‡ˆ‹‹…‹Œ‡–ƒ«‡Œ‡†‹•–˜‡‘•–‹˜‹†‹‘†ƒŒ‡Œ‡†ƒ‘‰—©‹ƒ«‹œƒŒ‡‘ ’‘˜‡©ƒ˜ƒŒ‡ǡ•ƒŒ‹˜ƒŒ‡”‡†—†ƒ•‡’‘”—ƒ‘Œ‡•‡拈”—Œ—ǡ‘†‘•‘’‘˜‡©ƒŒ‡ Œ‹Š‘˜‡‡–”‘’‹Œ‡Ǥ –‘‰ƒŒ‡ƒ’”‹‡”†‘„”ƒ‹†‡Œƒ‘’”‹‘˜ƒ–‹’‘”—‡’”‡拈”‘˜ƒŒƒǤ œƒ‹•–ƒœƒƒŒ„‘ŽŒ‡‘‰—©‡‘’”‹‘˜ƒŒ‡ǣ ሺ୬ ሻ ؆  Ž‘‰ ǡ ሺሻ ؆ Ͳǡ — ՜ λǤ PRIMER 6.6 ƒ«ƒ Œ‡†‹•–˜‡‘•–‹ ”‹’–‘•‹•–‡ƒ ‘Œ‹ •‡ 拈”—Œ— ’‘”—‡ ‹œ ƒŽˆƒ„‡–ƒ ‘† ͻ͸ œƒ‘˜ƒǡ’”‹«‡—Œ‡‡–”‘’‹Œƒ’‘”—ƒ͵„‹–ƒȀ’‘œƒ—ǡ†‘Œ‡‡–”‘’‹ŒƒŽŒ—«ƒ͵͵ „‹–ƒŒ‡ǣ ‫ݑ‬ൌ

͵͵ ൌ ͻǤʹǡ Ž‘‰ ͻ͸ െ ͵

ܴ ൌͳെ

͵ ൌ ͷͶǤͶΨǤ Ž‘‰ ͻ͸

PRIMER 6.7 ƒ«ƒŒ‡†‹•–˜‡‘•–‹”‹’–‘•‹•–‡ƒ‘Œ‹•‡拈”—Œ—„‹ƒ”‡’‘”—‡ǡ”‡†—†ƒ•‡ ʹͷΨǡ†‘•—ŽŒ—«‡˜‹†—ā‹‡ͳ͸„‹–ƒ‹—‹ˆ‘”‘•—”ƒ•’‘†‡ŽŒ‡‹Œ‡ǣ ‫ݑ‬ൌ 198

ͳ͸ ൌ ͸ͶǤ ͲǤʹͷ ȉ ͳ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͸Ǥ͵Ǥ    ƒ—«‹©‡‘ǣ Zašto su autentifikacija i tajnost teoretski nekompatibilni? Kako obezbediti autentifikaciju u praksi? —–‡–‹ˆ‹ƒ…‹Œƒ‘„‡œ„‡¯—Œ‡‡Šƒ‹œƒ‘Œ‹•‡‘ā‡‘—˜‡”‹–‹†ƒŒ‡’”‹ŽŒ‡ƒ ’‘”—ƒ’‘•Žƒ–ƒ‘†ƒ—–‘”‹œ‘˜ƒ‡‘•‘„‡Ǥ ”—‰‹”‡«‹ƒƒ†ƒ’”‹‹‘”‹’–‘‰”ƒ‫ܥ‬ǡ‘”ƒ‘‹ƒ–‹‡Šƒ‹œƒ‘Œ‹•‡ —˜‡”ƒ˜ƒ‘†ƒŒ‡”‹’–‘‰”ƒ’‘•Žƒ–‘†•–”ƒ‡ƒ—–‘”‹œ‘˜ƒ‡‘•‘„‡‹†ƒ‹Œ‡ ”‡œ—Ž–ƒ–’”‡˜ƒ”‡—‘Œ‘Œ‹œƒ”‹’–‘‰”ƒƒ•–‘Œ‹‡ƒ†”—‰ƒ‡ƒ—–‘”‹œ‘˜ƒƒ‘•‘„ƒǤ ‡Žƒ–‹˜‘Œ‡‘˜‹”‡œ—Ž–ƒ–—”‹’–‘Ž‘‰‹Œ‹‘Œ‹—•–ƒ‘˜ŽŒƒ˜ƒ†ƒ•—–ƒŒ‘•–‹ ƒ—–‡–‹«‘•–†˜ƒ”ƒœŽ‹«‹–ƒ‘…‡’–ƒ•ƒ‡‘’ƒ–‹„‹Ž‹…‹ŽŒ‡˜‹ƒǤ ˜ƒŒ•–ƒ˜•Ž‡†‹‹œ•Ž‡†‡©‡–‡‘”‡‡Ǥ TEOREMA 6.7 ‡”‘˜ƒ–‘©ƒ୍ †ƒŒ‡”‹’–‘‰”ƒˆƒŽ•‹ˆ‹‘˜ƒǡ‘†‘•‘†ƒ‰ƒŒ‡’‘•ŽƒŽƒ ‡ƒ—–‘”‹œ‘˜ƒƒ‘•‘„ƒǡŒ‡‘‰”ƒ‹«‡ƒ•ƒǣ ୍ ൒ ʹି୍ሺେǢ୏ሻ  ‰†‡•—‫‘•‘†‘‡ƒ”‰‘–’‹”‡©—‰‘‡Œ—–‡œ‡”’‡Œ‘‡‹«‹Ž‡˜‡Œƒ«—Ž•ܭ‹ܥ‬ ŽŒ—«‡˜‡ǡ”‡•’‡–‹˜‘Ǥ˜ƒ‰”ƒ‹…ƒ•‡†‘•–‹ā‡—’‘•‡„‹•Ž—«ƒŒ‡˜‹ƒǤ †ƒ˜†‡ •Ž‡†‹ †ƒ ‰ƒ”ƒ–‘˜ƒŒ‡ ƒ—–‡–‹ˆ‹ƒ…‹Œ‡ ’‘˜Žƒ«‹ œƒ •‘„‘ †ƒ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ ‹œ‡¯— ”‹’–‘‰”ƒƒ ‹ ŽŒ—«ƒ ‘”ƒ „‹–‹ ˜‡Ž‹ƒǤ  †”—‰‡ •–”ƒ‡ †ƒ „‹ •‘‘„‡œ„‡†‹Ž‹’‡”ˆ‡–—–ƒŒ‘•–ǡ–ƒ‹•–ƒ—œƒŒƒƒ‹ˆ‘”ƒ…‹Œƒ‘”ƒ„‹–‹Œ‡†ƒƒ —Ž‹Ǥ ƒ•–ƒ‘˜‹æ–ƒ–ƒŒ‘•–‹’‘”—‡‹ƒ—–‡–‹ˆ‹ƒ…‹Œ‡‹ƒ‘’”‘–‹˜”‡«—•‹–—ƒ…‹Œ—ǡƒ‹‡ǣ ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܭ‬ሻ ൌ ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܭ‬ሻ ൅ ‫ܪ‬ሺ‫ܭ‬ሻ െ ‫ܪ‬ሺ‫ܯ‬ሻ െ ‫ܪ‬ሺ‫ܭ‬ȁ‫ܯ‬ǡ ‫ܥ‬ሻǡ

199

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ‘•–ƒ˜‹‘†ƒŒ‡ǣ ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܯ‬ሻ ൌ Ͳ‹ሺȁǡ ሻ ൌ Ͳǡ †‘„‹Œƒ‘ǣ ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܭ‬ሻ ൌ ‫ܪ‬ሺ‫ܭ‬ሻ െ ‫ܪ‬ሺ‫ܯ‬ሻǡ 斑’‘˜Žƒ«‹ǣ ܲூ ൒ ʹுሺெሻିுሺ௄ሻ ൐ Ͳǡ ‘†‘•‘ǣ ൫‫ܪ‬ሺ‫ܭ‬ሻ ‫ܪ ب‬ሺ‫ܯ‬ሻ൯ǡ 斑œƒ«‹†ƒŽŒ—«‘”ƒ„‹–‹˜”Ž‘‘’Ž‡•ƒǤ

‡†‘‘‰—©‡”‡æ‡Œ‡Œ‡†ƒ•‡‘„‡œ„‡†‹ƒ—–‡–‹ˆ‹ƒ…‹Œƒœƒ†‘˜‘ŽŒƒ˜ƒŒ‡—•Ž‘˜ƒǣ ‫ܫ‬ሺ‫ܥ‬Ǣ ‫ܭ‬ሻ ‫Ͳ ب‬ǡ ƒ †ƒ •‡ ’”‹ –‘‡ –ƒŒ‘•– ‘„‡œ„‡†‹ ƒ ‘•‘˜— ’”ƒ–‹«‡ –ƒŒ‘•–‹ œƒ•‘˜ƒ‡ ƒ ƒŽ‰‘”‹–ƒ•‘Œ ‘’Ž‡•‘•–‹Ǥ ˜‘ Œ‡ Œ‡†ƒ ‘† ”ƒœŽ‘‰ƒ œƒæ–‘ •— ”‹’–‘‰”ƒˆ•‹ •‹•–‡‹œƒ•‘˜ƒ‹ƒƒŽ‰‘”‹–ƒ•‘Œ‘’Ž‡•‘•–‹’‘’—Žƒ”‹œƒƒ—–‡–‹ˆ‹ƒ…‹Œ—Ǥ

200

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

7. BIBLIOGRAFIJA A. J. Viterbi and J. K. Omura. ”‹…‹’Ž‡• ‘ˆ ‹‰‹–ƒŽ ‘—‹…ƒ–‹‘ ƒ† ‘†‹‰Ǥ ȏŒ‹‰ƒȐǤǦ‡™‘”ǣ… ”ƒ™Ǧ‹ŽŽǡͳͻ͹ͻǤ Aiden A. Bruen, Mario A. Forcinito ”›’–‘‰”ƒ’Š›ǡ ‹ˆ‘”ƒ–‹‘ –‡Š‘”›ǡ ƒ† ‡””‘”Ǧ…‘””‡…–‹‘ȏŒ‹‰ƒȐǤǦ‡™ ‡”•‡›ǣ ‘Š‹Ž‡›Ƭ‘•ǡʹͲͲͷǤ Blahut, Richard E. Š‡‘”› ƒ† ”ƒ…–‹…‡ ‘ˆ ””‘” ‘–”‘Ž ‘†‡• ȏŒ‹‰ƒȐǤǦ ȏ•ǤŽǤȐǣ ††‹•‘Ǧ‡•Ž‡›ǡͳͻͺ͵Ǥ Dušan B. Draji, Predrag N. Ivaniš ˜‘† — –‡‘”‹Œ— ‹ˆ‘”ƒ…‹Œƒ ‹ ‘†‘˜ƒŒ‡ ȏŒ‹‰ƒȐǤǦ‡‘‰”ƒ†ǣƒ†‡•ƒ‹•ƒ‘‡‘‰”ƒ†ǡʹͲͲͻǤ F. Bavaud, J.-C. Chappelier, J. Kohlas  –”‘†—…–‹‘ –‘ ˆ‘”ƒ–‹‘ Š‡‘”› ƒ†’’Ž‹…ƒ–‹‘•ȏŒ‹‰ƒȐǤǦʹͲͲͷǣȏ•ǤǤȐǤ Lang, Serge.Ž‰‡„”ƒȏŒ‹‰ƒȐǤǦȏ•ǤŽǤȐǣ††‹•‘Ǧ‡•Ž‡›ǡͳͻͻ͵ǤǦǤŠ‹”††‹–‹‘Ǥ Lin, Shu and Daniel J. Costello, Jr. ””‘” ‘–”‘Ž ‘†‹‰ǣ —†ƒ‡–ƒŽ• ƒ† ’’Ž‹…ƒ–‹‘•Ǥ‰Ž‡™‘‘†Ž‹ˆˆ•ȏŒ‹‰ƒȐǤǦȏ•ǤŽǤȐǣ”‡–‹…‡ǦƒŽŽǡͳͻͺ͵Ǥ N. M. Abramson. ˆ‘”ƒ–‹‘Š‡‘”›ƒ†‘†‹‰ǤȏŒ‹‰ƒȐǤǦ‡™‘”ǣ… ”ƒ™Ǧ ‹ŽŽǡͳͻ͸͵Ǥ R. Adler.”‰‘†‹…ƒ†‹š‹‰’”‘’‡”–‹‡•‘ˆ‹ˆ‹‹–‡‡‘”›…Šƒ‡Ž•ȏƒ†‘˜‹ȐǤǦ ȏ•ǤŽǤȐǣ”‘…Ǥ‡”Ǥƒ–ŠǤ‘…ǡͳͻ͸ͳǤǦͳʹǣͻʹͶǦͻ͵ͲǤ Raymond W Yueng  ‡™ —–Ž‘‘ ‘ Šƒ‘ ˆ‘”ƒ–‹‘ ‡ƒ•—”‡• ȏƒ†‘˜‹ȐȀȀ ”ƒ•ƒ…–‹‘•‘ ǤǦͳͻͻͳǤǦǤ͵͹Ǥ Shannon C. E.ƒ–Š‡ƒ–‹…ƒŽ–Š‡‘”›‘ˆ…‘—‹…ƒ–‹‘ȏ,ƒ•‘’‹•ȐȀȀ‡ŽŽ›•–‡ ‡Š‹…ƒŽ ‘—”ƒŽǤǦͳͻͶͺǤǦ•–”Ǥ͵͹ͻǦͶʹ͵Ǥ Van Lint, J. H. –”‘†—…–‹‘ –‘ ‘†‹‰ Š‡‘”› ȏŒ‹‰ƒȐǤǦ ȏ•ǤŽǤȐǣ ’”‹‰‡”Ǧ‡”Žƒ‰ǡ ͳͻͺʹǤ   201

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

DODATAK A – UVOD U MATLAB OKRUŽENJE ƒ ’”‘‰”ƒ•‘Ǧ”ƒœ˜‘Œ‘ ‘”—ā‡Œ‡ — ‘˜‘ —†ā„‡‹— ‹œƒ„”ƒŽ‹ •‘ ƒ–Žƒ„̺ ’”‘‰”ƒ•‹ ’ƒ‡–Ǥ ƒ–Žƒ„ Œ‡ ƒ•–ƒ‘ ƒ‘ •”ƒ©‡‹…ƒ œƒ ǷMATrix LABaratory̶ ȋǷŽƒ„‘”ƒ–‘”‹Œƒ œƒ ƒ–”‹…‡̶ȌǤ œ—‡‘ ‰ƒ Œ‡ ͳͻ͹ͲǦ‹Š Ž‹˜ ‘Ž‡” ȋŽ‡˜‡ ‘Ž‡”Ȍǡ 懈 ƒ–‡†”‡ œƒ ‹ˆ‘”ƒ–‹— ƒ ‹˜‡”œ‹–‡–— Ƿ‘˜‹ ‡•‹‘̶Ǥ ‘‰—©ƒ˜ƒ „”œ ”ƒœ˜‘Œ ƒ’Ž‹ƒ…‹Œƒ ȋ‡‰ŽǤ RAD-rapid application developmentȌ — …‹ŽŒ— „”œ‘‰ ‰‡‡”‹•ƒŒƒ ‡•’‡”‹‡–ƒŽ‹Š”‡œ—Ž–ƒ–ƒǤ ƒ–Žƒ„̺ Œ‡  ‘”—ā‡Œ‡ ‹ ‘„‡œ„‡¯—Œ‡ ‘†Ž‹«‘ ”ƒ†‘ ‘”—ā‡Œ‡ •ƒ ƒŽƒ–‹ƒ œƒ ‘„”ƒ†— ’‘†ƒ–ƒƒǡ ˜‹œ—ƒŽ‹œƒ…‹Œ— ’‘†ƒ–ƒƒ ‹ •–ƒ†ƒ”†‹œ‘˜ƒ‡ ƒŽ‰‘”‹–‡ ‘Œ‹ •‡ ’”‹‡Œ—Œ— — •˜‹ ˜‹•‘‘Ǧ–‡Š‘Ž‘捋 ’‘ŽŒ‹ƒǤ ‘”‡† ‘‰‘„”‘Œ‹Š ƒŽ‰‘”‹–ƒƒ —†‹’”‘‰”ƒ‹”ƒŒ‡ƒ˜‹•‘‘‹˜‘—Ǥ˜‹’”‹‡”‹—‘˜‘—†ā„‡‹—”ƒœ˜‹Œ‡‹•— —’”ƒ˜‘—‘˜‘•‘ˆ–˜‡”—Ǥ Ž‡†‡‘•‘˜‹’”‘‰”ƒ•‹‘†‘˜‹‘Œ‹•‡‘†‘•‡ƒ‡Ž‡‡–ƒ”‘’”‘‰”ƒ‹”ƒŒ‡— ƒ–Žƒ„Ǧ—Ǥ ‡Žƒ”‹•ƒŒ‡˜‡–‘”ƒǣ

‡‡”‹•ƒŒ‡‹œƒܺ—Œ‡†‘”‡†—ǣ 

εεšαȏͳ͵ͷ͹ͻͳͳȐ

”ā‹ƒ«‹œƒ‰‡‡”‹•ƒŒ‡‹œƒܺ‹•–‡˜‡Ž‹«‹‡ǣ  

εεšαͳǣʹǣͳͳ

šαͳ͵ͷ͹ͻͳͳ

”ƒ•’‘‘˜ƒŒ‡‹œƒܺ—Œ‡†—‘Ž‘—ǣ 

εε›αš̵ 

›α ͳ ͵

202

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͷ ͹ ͻ ͳͳ

‡‡”‹•ƒŒ‡‹œƒܼ—‘’•‡‰—˜”‡†‘•–‹‘†ͷ†‘͵Ͳ•ƒ‘”ƒ‘ͷǤ εεαͷǣͷǣ͵Ͳ œαͷͳͲͳͷʹͲʹͷ͵Ͳ ‹œܼŒ‡‰‡‡”‹•ƒ‹‹Œ‡’”‹ƒœƒ—command windowǤ‘ā‡‘•ƒœƒ–‹˜”‡†‘•– –”‡©‡‰ ‡Ž‡‡–ƒ ‹Ž‹ ’”‘•Ž‡†‹–‹ ˜”‡†‘•– –”‡©‡‰ ‡Ž‡‡–ƒ –ƒ‘ 斑 ©‡‘ —‡–‹ ƒ”‡†„—ǣ εεœȋ͵Ȍ ƒ•αͳͷ ƒ ‘˜ƒŒ ƒ«‹ †‘„‹Ž‹ •‘ ‘˜— ’”‘‡ŽŒ‹˜— ans ‘Œƒ Œ‡ ƒ—–‘ƒ–•‹ †‡Žƒ”‹•ƒƒǤ ”‡†‘•– — ƒ–Žƒ„Ǧ— ‘Œ‘Œ —ƒ’”‡† ‹Œ‡ ‘†”‡¯‡ ƒœ‹˜ǡ ƒ—–‘ƒ–•‹ †‘„‹Œƒ ƒœ‹˜ ans. ƒ”‡†„ƒ œƒ ’”‡‰Ž‡† •˜‹Š ’”‘‡ŽŒ‹˜‹Š ‘Œ‡ •— †‡Žƒ”‹•ƒ‡ — Œ‡†‘Œ ‹•–ƒ…‹ ƒ–Žƒ„Ǧƒǣ 

εε™Š‘

‘—”˜ƒ”‹ƒ„Ž‡•ƒ”‡ǣ ƒ•š›œ  ƒ”‡†„ƒœƒ—˜‹†—†‡–ƒŽŒ‡‡‡’”‘‡ŽŒ‹˜‡ǡ’”Ǥƒ–”‹…ƒ’‘†ƒ–ƒƒǣ 

εε™Š‘•

 ƒ‡‹œ‡›–‡•Žƒ••––”‹„—–‡•

203

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ƒ•ͳšͳͺ†‘—„Ž‡  šͳš͸Ͷͺ†‘—„Ž‡  ›͸šͳͶͺ†‘—„Ž‡  œͳš͸Ͷͺ†‘—„Ž‡ Ž‹ƒ‘ā‡Ž‹‘†ƒ•ƒœƒ‘†‹‡œ‹Œ—ƒ–”‹…‡ǡ—‘•‹‘•Ž‡†‡©—ƒ”‡†„—ǣ 

εεȏǡȐα•‹œ‡ȋšȌ αͳ α͸ ‹Ž‹ 

εε•‹œ‡ȋšȌ ƒ•α͸

 ‘Ž‹‘ā‡Ž‹‘–”ƒŒ‘†ƒ•ƒ«—˜ƒ‘˜”‡†‘•–‹•˜‹Š’”‘‡ŽŒ‹˜‹Š‹œŒ‡†‡‹•–ƒ…‡ ƒ–Žƒ„Ǧƒǡ—‘•‹‘•Ž‡†‡©—ƒ”‡†„—ǣ 

ε啃˜‡ƒœ‹˜ ƒŒŽƒ

ǡƒ‘ā‡Ž‹‘«—˜ƒ–‹˜”‡†‘•–‹•ƒ‘‘†”‡¯‡‹Š’”‘‡ŽŒ‹˜‹Šǣ ε啃˜‡ƒœ‹˜ ƒŒŽƒš ǡƒ‘ā‡Ž‹‘‹œ„”‹•ƒ–‹•˜‡’”‘‡ŽŒ‹˜‡‘”‹•–‹©‡‘ƒ”‡†„—ǣ 

εε…Ž‡ƒ”ƒŽŽ

ǡ ƒ‘ ā‡Ž‹‘ ‘”‹•–‹–‹ ’”‘‡ŽŒ‹˜‡ ‘Œ‡ •‘ •ƒ«—˜ƒŽ‹ — †ƒ–‘–‡—ǡ ‘”‹•–‹‘ ƒ”‡†„—ǣ 

204

εεŽ‘ƒ†ƒœ‹˜ ƒŒŽƒ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡Žƒ”‹•ƒŒ‡‹‹‹…‹ŒƒŽ‹œ‘˜ƒŒ‡ƒ–”‹…ƒǣ εεαȏͳ͸͵ʹͳ͵ǢͷͳͲͳͳͺǢͻ͸͹ͳʹǢͶͳͷͳͶͳȐ α ͳ͸͵ʹͳ͵ ͷͳͲͳͳͺ ͻ͸͹ͳʹ ͶͳͷͳͶͳ œ”ƒ«—ƒ˜ƒŒ‡•—‡’‘‘Ž‘ƒƒƒ–”‹…‡ǣ 

εε•—ȋȌ

ƒ•α͵Ͷ͵Ͷ͵Ͷ͵Ͷ ”ƒ•’‘‘˜ƒŒ‡ƒ–”‹…‡ǣ εε̵ ƒ•α ͳ͸ͷͻͶ ͵ͳͲ͸ͳͷ ʹͳͳ͹ͳͶ ͳ͵ͺͳʹͳ ”‹ƒœ‹‹œ”ƒ«—ƒ˜ƒŒ‡•—‡†‹Œƒ‰‘ƒŽ‹Š‡Ž‡‡ƒ–ƒǣ 

ε冋ƒ‰ȋȌ

ƒ•αͳ͸ ͳͲ

205

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

͹ ͳ 

εε•—ȋ†‹ƒ‰ȋȌȌ ƒ•α͵Ͷ

”‹ƒœ˜”‡†‘•–‹‡Ž‡‡–ƒ•ƒ–”ƒā‡‡’‘œ‹…‹Œ‡ǣ 

εεȋʹǡͶȌ ƒ•αͺ

”œ‘‰‡‡”‹•ƒŒ‡ƒ–”‹…‡ǣ εεαœ‡”‘•ȋʹǡ͵Ȍ αͲͲͲ ͲͲͲ 

εε αͷȗ‘‡•ȋʹǡ͵Ȍ αͷͷͷ ͷͷͷ



εεαͳͲȗ”ƒ†ȋͳǡͺȌ 

α͸Ǥͷͷ͹ͶͲǤ͵ͷ͹ͳͺǤͶͻͳ͵ͻǤ͵͵ͻͻ͸Ǥ͹ͺ͹Ͷ͹Ǥͷ͹͹Ͷ͹ǤͶ͵ͳ͵͵Ǥͻʹʹ͵ ƒ†•ƒȂˆƒŒŽ‘˜‹ƒǤ”˜‘”‡‹”ƒ‘ˆƒŒŽƒ–”‹…ƒǤǤ‡©‡‘•Ž‡†‡©—†‡Žƒ”ƒ…‹Œ— ƒ–”‹…‡‹•ƒ†”āƒŒ•ƒ«—˜ƒ–‹—ˆƒŒŽ—ǣ αȏͳ͸ǤͲ͵ǤͲʹǤͲͳ͵ǤͲ ͷǤͲͳͲǤͲͳͳǤͲͺǤͲ ͻǤͲ͸ǤͲ͹ǤͲͳʹǤͲ 206

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͶǤͲͳͷǤͲͳͶǤͲͳǤͲȐǢ ƒ†ƒǡƒ‘ā‡Ž‹‘†ƒ—«‹–ƒ‘’”‘‡ŽŒ‹˜—‹œˆƒŒŽƒǡ—‡©‡‘•Ž‡†‡©—‘ƒ†—ǣ εεƒ–”‹…ƒ ƒ–‹—‡•‡‘ƒœ‹˜’”‘‡ŽŒ‹˜‡ǣ 



εε

αͳ͸͵ʹͳ͵ ͷͳͲͳͳͺ ͻ͸͹ͳʹ ͶͳͷͳͶͳ ‘ƒ–‡ƒ…‹Œƒƒ–”‹…ƒŒ‡’”‘…‡•˜‡œ‹˜ƒŒƒ‹Ž‹•’ƒŒƒŒƒ†˜‡ƒŒ‡ƒ–”‹…‡—Œ‡†— ˜‡©—Ǥ”‹‡”œƒƒ–”‹…—ǣ 

εεαȏΪ͵ʹǢΪͶͺΪͳ͸Ȑ

αͳ͸͵ʹͳ͵Ͷͺ͵ͷ͵ͶͶͷ ͷͳͲͳͳͺ͵͹ͶʹͶ͵ͶͲ ͻ͸͹ͳʹͶͳ͵ͺ͵ͻͶͶ ͶͳͷͳͶͳ͵͸Ͷ͹Ͷ͸͵͵ ͸ͶͷͳͷͲ͸ͳ͵ʹͳͻͳͺʹͻ ͷ͵ͷͺͷͻͷ͸ʹͳʹ͸ʹ͹ʹͶ ͷ͹ͷͶͷͷ͸Ͳʹͷʹʹʹ͵ʹͺ ͷʹ͸͵͸ʹͶͻʹͲ͵ͳ͵Ͳͳ͹ ”‹‡ƒŽ‘‰ƒ”‹–ƒ•‡ˆ—…‹Œ‡ƒ†‹œ‘˜”‡†‘•–‹ 

 εεαȋͳǣʹǣͳ͸Ȍ̵Ǣ 207

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

εε αͳ ͵ ͷ ͹ ͻ ͳͳ ͳ͵ ͳͷ εε‘‰αŽ‘‰ʹȋȌ ‘‰αͲ ͳǤͷͺͷͲ ʹǤ͵ʹͳͻ ʹǤͺͲ͹Ͷ ͵Ǥͳ͸ͻͻ ͵ǤͶͷͻͶ ͵Ǥ͹ͲͲͶ ͵ǤͻͲ͸ͻ Ž‡†‹—˜‘ā‡Œ‡’‘†ƒ–ƒƒ‹œš…‡Ž†ƒ–‘–‡‡Ǥƒ’”ƒ˜‹–‹excel†ƒ–‘–‡—’‘†ƒ…‹ǤšŽ•šǤ †ƒ–‘–‡…‹ †‡ˆ‹‹•ƒ–‹ ’”‘‹œ˜‘ŽŒ— ƒ–”‹…— ȏͶ š ͶȐǤ ”‘‡‹–‹ ƒœ‹˜ ǷŠ‡‡–ͳDz — ƒœ‹˜ Ƿƒ–”‹…ƒDzǤ ‘懐Œ‡ ƒ”‡†„‡ xlsfinfoȋƒœ‹˜ƒ–‘–‡‡Ȍ †‘„‹Œƒ‘ †‡–ƒŽŒƒ —˜‹† — excel†ƒ–‘–‡—Ǥ  208

 εεȏ–›’‡ǡ•Š‡‡–•Ȑᚎ•ˆ‹ˆ‘ȋ̵’‘†ƒ…‹ǤšŽ•š̵ȌǢ

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

εε–›’‡ –›’‡α‹…”‘•‘ˆ–š…‡Ž’”‡ƒ†•Š‡‡– εε•Š‡‡–• •Š‡‡–•α̵ƒ–”‹…ƒ̵̵Š‡‡–ʹ̵̵Š‡‡–͵̵ ‘ā‡Ž‹‘†ƒ—˜‡œ‡‘’‘†ƒ–‡•ƒŽ‹•–ƒƒ–”‹…ƒǡ—‘•‹‘ƒ”‡†„—ǣ εεαšŽ•”‡ƒ†ȋ̵’‘†ƒ…‹ǤšŽ•š̵ǡ̵ƒ–”‹…ƒ̵ȌǢ εε αͳʹ͵Ͷ ʹ͵Ͷͷ ͵Ͷͷ͸ Ͷͷ͸͹  ƒ–‹ ’”‹‡‹‘ ’”‘…‡• ‘ƒ–‡ƒ…‹Œ‡ ƒ† ƒ–”‹…‘  ‹ —’‹æ‡‘ ’‘†ƒ–‡ — excel†ƒ–‘–‡—Ǥ εεαȏΪͳʹǢΪͷΪͺȐǢ εε αͳʹ͵Ͷͳ͵ͳͶͳͷͳ͸ ʹ͵ͶͷͳͶͳͷͳ͸ͳ͹ ͵Ͷͷ͸ͳͷͳ͸ͳ͹ͳͺ Ͷͷ͸͹ͳ͸ͳ͹ͳͺͳͻ ͸͹ͺͻͻͳͲͳͳͳʹ ͹ͺͻͳͲͳͲͳͳͳʹͳ͵ 209

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ͺͻͳͲͳͳͳͳͳʹͳ͵ͳͶ ͻͳͲͳͳͳʹͳʹͳ͵ͳͶͳͷ  εεšŽ•™”‹–‡ȋ̵‘†ƒ…‹ǤšŽ•š̵ǡǡ̵ƒ–”‹…ƒ‘̵ȌǢ 



‡‡”‹•ƒŒ‡ ƒˆƒ‘˜‘‰ ”‡«‹ƒ ‹ ƒˆƒ‘˜‹Š ‘†‘˜ƒǤ ƒ’”ƒ˜‹©‡‘ excel †ƒ–‘–‡—•ƒ•Ž‡†‡©‹•ƒ†”āƒŒ‡ǣ

210

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________



 ‘•‹‘•Ž‡†‡©‡ƒ”‡†„‡œƒ—˜‘œ’‘†ƒ–ƒƒ—ƒ–Žƒ„‘”—ā‡Œ‡ǣ εεαšŽ•”‡ƒ†ȋ̵ œ˜‘”ǤšŽ•š̵ǡ̵‘”—‡̵ȌǢ εε’αšŽ•”‡ƒ†ȋ̵ œ˜‘”ǤšŽ•š̵ǡ̵‡”‘˜ƒ–‘…‡̵ȌǢ  εε αͳʹ͵Ͷ εε’ ’αͲǤͷͲͲͲͲǤ͵ͷͲͲͲǤͳʹͲͲͲǤͲ͵ͲͲ ‡–‹•Ž‡†‡©‡ƒ”‡†„‡œƒ’”ƒ˜ŽŒ‡Œ‡ƒˆƒ‘˜‘‰”‡«‹ƒǣ εεαŠ—ˆˆƒ†‹…–ȋǡ’ȌǢ

211

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

εε αȏͳȐȏͲȐ ȏʹȐȏͳšʹ†‘—„Ž‡Ȑ ȏ͵Ȑȏͳš͵†‘—„Ž‡Ȑ ȏͶȐȏͳš͵†‘—„Ž‡Ȑ

 Ž‡†‹ƒˆƒ‘˜‘‘†‘˜ƒŒ‡Ǥ Ž‡†‡©‘‘ƒ†‘‰‡‡”‹æ‡‘ͷͲ‹•–‹Š„Ž‘‘˜ƒ’‘”—‡Ǥ εε’‘”—‡α”‡’ƒ–ȋȏ͵͵ͳ͵͵͵͵͵ʹ͵ȐǡͳǡͷͲȌǢ ‘ƒ«‹•—’•‹„‘Žƒ—’‘”—…‹ǣ εε•‹„‘Ž‹αȏͳʹ͵ȐǢ ƒ•—‹«‘‘†”‡¯‡‡˜‡”‘˜ƒ–‘©‡œƒ͵•‹„‘Žƒǣ εε˜‡”‘˜ƒ–‘…‡αȏͲǤͳͲǤͳͲǤͺȐǢ ‡«‹œƒƒˆƒ‘˜‘†ǣ 212

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ε唇…‹αŠ—ˆˆƒ†‹…–ȋ•‹„‘Ž‹ǡ˜‡”‘˜ƒ–‘…‡ȌǢ

‡‡”‹•ƒŒ‡‘†‡•‡˜‡…‡’”‡‘ƒˆƒ‘˜‘‰‘†‡”ƒǣ ε卑†ƒ‡˜‡…ƒαŠ—ˆˆƒ‡…‘ȋ’‘”—‡ǡ”‡…‹ȌǢ

‡‡”‹•ƒŒ‡†‡‘†‘˜ƒ‡•‡˜‡…‡’”‡‘ƒˆƒ‘˜‘‰†‡‘†‡”ƒǣ ε冇‘†‘˜ƒƒ‡˜‡…ƒαŠ—ˆˆƒ†‡…‘ȋ‘†ƒ‡˜‡…ƒǡ”‡…‹ȌǢ

 213

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

DODATAK B – JEDNA PRIMENA GREŠAKA U KRIPTOGRAFIJI

KODOVA

ZA

ISPRAVLJANJE

†‘†ƒ–—’”‹ƒœƒ©‡‘Œ‡†—’”‹‡—‘†‘˜ƒœƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒ—•‹–‡œ‹ •‹•–‡ƒœƒ‰‡‡”‹•ƒŒ‡”‹’–‘Ž‘捋ŠŽŒ—«‡˜ƒƒ‘•‘˜—„‹‘‡–”‹Œ•‹Š’‘†ƒ–ƒƒǤ ‘˜‘ †‡Ž— —†ā„‡‹ƒ †ƒ–ƒ •— —˜‘†ƒ ”ƒœƒ–”ƒŒƒ ˜‡œƒƒ œƒ ”ƒœŽ‹«‹–‡ ƒ•’‡–‡ ”ƒœ˜‘Œƒ‘˜‘‰•‹•–‡ƒœƒ‰‡‡”‹•ƒŒ‡”‹’–‘Ž‘捋ŠŽŒ—«‡˜ƒƒ‘•‘˜—„‹‘‡–”‹Œ‡ ‹”‹•ƒǡ ƒ‘ ‹ ‘’Ž‡–ƒ ’”‘…‡• Œ‡‰‘˜‘‰ ”ƒœ˜‘Œƒ ‹ ‹–‡‰”ƒ…‹Œ‡ — •–ƒ†ƒ”†‡ „‹‘‡–”‹Œ•‡•‹•–‡‡Ǥ Ž‡†‹ ‰‡‡”‹«ƒ 懏ƒ œƒ •‹–‡œ— Œ‡†‘‰ ‘’Ž‡•‘‰ •‹•–‡ƒ •ƒ †‡–ƒŽŒ‹ ‘’‹•‹ƒ •˜‹Š ‘’‘‡–‹ ‘Œ‡ ƒ †‹”‡–ƒ ‹Ž‹ ‹†‹”‡–ƒ ƒ«‹ —«‡•–˜—Œ— — •˜‘Œ•–˜—‰”ƒ†‹˜‹Š‘’‘‡–‹‘˜‘‰”‡æ‡ŒƒǤ



‡‡”‹«ƒ懏ƒ•‹•–‡ƒ

ƒ •Ž‹…‹ Œ‡ ’”‡†•–ƒ˜ŽŒ‡ƒ ‰‡‡”‹«ƒ 懏ƒ ’”‡†Ž‘ā‡‘‰ ”‡æ‡Œƒ •ƒ •˜‹ •˜‘Œ‹ ’‘†•‹•–‡‹ƒǤ ‘’Ž‡–ƒ •‹•–‡ •ƒ•–‘Œ‹ •‡ ‘† †˜ƒ ’‘†•‹•–‡ƒǣ ’‘†•‹•–‡ œƒ ‘†‘˜ƒŒ‡ ‹”‹• „‹‘‡–”‹Œ•‘‰ ‹œ˜‘”ƒ ‘Œ‹ Œ‡ œƒ•‘˜ƒ ƒ ƒŽ‰‘”‹–‹ƒ –”ƒ†‹…‹‘ƒŽ‹Š „‹‘‡–”‹Œ•‹Š •‹•–‡ƒ ‹ ’‘†•‹•–‡— œƒ ’”‡‘• ’‘”—ƒ ’”‡‘ „‹‘‡–”‹Œ•‘‰ ƒƒŽƒ •ƒ 族‘Ǥ  ƒ•–ƒ˜— •Ž‡†‹ †‡–ƒŽŒ‘ ‘„ŒƒæŒ‡Œ‡ 214

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

’‘Œ‡†‹ƒ«‹Š —Ž‘‰ƒ •˜‹Š ƒ˜‡†‡‹Š ‘’‘‡–‹ ‘Œ‡ •— •ƒ†”āƒ‡ — ‘˜‘ †‹Œƒ‰”ƒ—’”‘…‡•ƒǤ‘’‘‡–‡•——‡”‹•ƒ‡„”‘Œ‡˜‹ƒ‘†ͳ†‘ͳͲǤ Komponenta 1Ǧ’”‡†•–ƒ˜ŽŒƒ’”‘…‡•—‘•‡‰‡‡”‹æ‡”‹’–‘Ž‘捋ŽŒ—«œƒ†ƒ–‡ ˜‡Ž‹«‹‡Ǥ ”‡’‘”—«‡‘ Œ‡ †ƒ ŽŒ—« „—†‡ ‰‡‡”‹•ƒ ƒ •Ž—«ƒŒƒ ƒ«‹ ’”‡‘ ‹ˆ‘”ƒ…‹‘‹Š ‹œ˜‘”ƒ  ‘Œ‡ Œ‡ ‘‰—©‡ ’”‘ƒ©‹ — ’”‹”‘†‹ ‘”—ā‡Œ‹ƒǤ  †”—‰‘ •Ž—«ƒŒ— ‘Œ‹ ‹Œ‡ –‘Ž‹‘ ’‘’—Žƒ”ƒǡ ‘‰—©‡ Œ‡ ŽŒ—« ‰‡‡”‹•ƒ–‹ ‹ ‡‹ ’•‡—†‘•Ž—«ƒŒ‹ ‰‡‡”ƒ–‘”‘Ǥ ˜ƒƒ˜ ƒ«‹ ‰‡‡”‹•ƒŒƒ ŽŒ—«ƒ ‘ā‡ †ƒ ƒ”—æ‹ „‡œ„‡†‘•–Œ‡†‘‰•‹‡–”‹«‘‰”‹’–‘•‹•–‡ƒǤ Komponenta 2Ǧ’”‡†•–ƒ˜ŽŒƒ’”‘…‡•œƒæ–‹–‘‰‘†‘˜ƒŒƒœƒ‘”‡…‹Œ—‰”‡æƒƒ— ‘‡ •‡ ‘”‹•–‡ ‹†Ǧ‘Ž‘‘ ‘†‘˜‹Ǥ  ‘˜‘ ’”‘…‡•— ”‹’–‘Ž‘捋 ŽŒ—«‫‡Œܭ‬ ‘†‘˜ƒ ‹†Ǧ‘Ž‘‘ ‘†‡”‘Ǥ Ž‘‰ƒ ‘˜‘‰ ’”‘…‡•ƒ Œ‡ ‘† •—æ–‹•‡ ˜ƒā‘•–‹ œƒ •‹•–‡ǡœƒ’”ƒ˜‘–‡Š‹ƒ’”‡—œ‡–ƒ‹œ’‘ŽŒƒ‘—‹ƒ…‹Œƒǡƒ‘•‘˜—‘Œ‡Œ‡ƒ•–ƒŽƒ ‹ «‹–ƒ˜ƒ ‹†‡Œƒ ‘ ’‘–’—‘ Œ‡†‘ ‘˜‘ ƒ—«‘ ‹•–”ƒā‹˜ƒ«‘ ’‘ŽŒ— ’‘† ƒœ‹˜‘Ƿ„‹‘‡–”‹Œ•ƒ”‹’–‘‰”ƒˆ‹ŒƒdzǤ Komponenta 3 Ȃ ’”‡†•–ƒ˜ŽŒƒ ’”‘…‡• ‰‡‡”‹•ƒŒƒ ‹”‹• ‘†ƒ ‘Œ‹ ’”‹’ƒ†ƒ ’‘†•‹•–‡— œƒ ‘†‘˜ƒŒ‡ ‹”‹• „‹‘‡–”‹Œ•‘‰ ‹œ˜‘”ƒǤ  ƒæ‡ •Ž—«ƒŒ— •’‡…‹ˆ‹«ƒ ’”‘…‡• ‘Œ‹ — •‡„‹ •ƒ†”ā‹ †˜ƒ ’‘†’”‘…‡•ƒǤ ”˜‹ ’‘†’”‘…‡• •‡ ‘†‘•‹ ƒ •–ƒ†ƒ”†— ’”‘…‡†—”— œƒ ‰‡‡”‹•ƒŒ‡ „‹‘‡–”‹Œ•‘‰ ‘„”ƒ•…ƒ ‘Œ‹ Œ‡ ‘’‹•ƒ — ’‘‰Žƒ˜ŽŒ—͵Ǥ”—‰‹”‡«‹ƒǡ‘ā‡‘†ƒƒā‡‘†ƒŒ‡‘˜‘Œ‡†ƒ•Ž‘ā‡’”‘…‡•œƒ ˆ‘”‹”ƒŒ‡ ‹”‹• ‹ˆ‘”ƒ…‹‘‘‰ ‹œ˜‘”ƒ ƒ ‘•‘˜— ‘‰ƒ Œ‡ ƒ•‹Œ‡ —”ƒ¯‡ƒ •‹–‡œƒ ‘’Ž‡–‘‰”‡æ‡Œƒ‘‘‡Œ‡”‡«Ǥ”—‰‹’‘†’”‘…‡•’”‡†•–ƒ˜ŽŒƒŒ‘指†ƒ•Ž‘ā‡ ’”‘…‡• ‘Œ‹ —˜‘†‹ ‹ˆ‘”ƒ…‹‘‡ ‡”‡ ‹ ƒ ‘•‘˜— ”‡œ—Ž–ƒ–ƒ †‘„‹Œ‡‹Š ’”‡‘ –‡‘”‹Œ•‘Ǧ‹ˆ‘”ƒ…‹‘‡ ƒƒŽ‹œ‡ ‘†—Œ‡ ‹ˆ‘”ƒ…‹‘‹ ‹œ˜‘” — …‹ŽŒ— ‹œ†˜ƒŒƒŒƒ ƒŒ‘œ‹•–‡–‹Œ‹Š‹ˆ‘”ƒ…‹ŒƒǤ ƒ’‘‡—©‡‘ †ƒ Œ‡ ‘˜‘ ”‹–‹«ƒ –ƒ«ƒ — ‘˜‘ •‹•–‡—ǡ ‰†‡ •‡ †‘„‹Œ‡ Ž‘æ ”‡œ—Ž–ƒ– ’”‡‘•‹ †‘‹‘ ‡ˆ‡–‘ ƒ ’”‡‘•–ƒŽ‡ ‘’‘‡–‡Ǥ ƒ’”ƒ˜‘ǡ ’‡”ˆ‘”ƒ•‡ «‹–ƒ˜‘‰ •‹•–‡ƒ œƒ˜‹•‡ ‘† ˜ƒŽ‹–‡–ƒ ’”‘…‡•ƒ ‘†‘˜ƒŒƒ ‹”‹• ‹ˆ‘”ƒ…‹‘‘‰‹œ˜‘”ƒǤ œ–‘‰”ƒœŽ‘‰ƒ•’”‘˜‡Ž‹•‘†‡–ƒŽŒ—‹”‹‰‘”‘œ—–‡‘”‹Œ•‘Ǧ ‹ˆ‘”ƒ…‹‘—ƒƒŽ‹œ—‘‘Œ‘Œ©‡‘ƒ•‹Œ‡‰‘˜‘”‹–‹—‘˜‘’‘‰Žƒ˜ŽŒ—Ǥ

215

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

 ”‘…‡•‰‡‡”‹•ƒŒƒ‹”‹•‘†ƒ

Komponenta 4 – ’”‡†•–ƒ˜ŽŒƒŒ‘指†—–‡Š‹—’”‡—œ‡–—‹œ–‡‘”‹Œ‡‘—‹ƒ…‹ŒƒǤ –‡”Ž‹˜‡” ‹ƒ œƒ«ƒŒ— —Ž‘‰ƒ — •‹•–‡—Ǥ ‘”‹•–‹ •‡ œƒ ”ƒ•’”拘ƒŒ‡ ’ƒ‡–•‹Š ‰”‡æƒƒ‹•ƒŒ‡Œ‡—œƒŒƒ‡‹ˆ‘”ƒ…‹Œ‡‹œ‡¯—”ƒœŽ‹«‹–‹Š‹”‹•ƒǤ‘˜‘”‡æ‡Œ— ‘”‹•–‹ •‡ •Ž—«ƒŒ‹ ‹–‡”Ž‹˜‡” ȋ‡‰ŽǤ Random interliverȌǤ ‡Š‹— ‹–‡”Ž‹˜‹‰ƒ ’”‹‡‹©‡‘ƒ†‘†‘˜ƒ‹‹”‹•‘†‘Ǥ Komponenta 5 - ’”‡†•–ƒ˜ŽŒƒ Ž‘‰‹«— ‘’‡”ƒ…‹Œ— Dzdz — ‘Œ‘Œ •‡ „‘†‘˜ƒ ”‹’–‘Ž‘捋 ŽŒ—« «˜”•–‘ ˜‡œ—Œ‡ œƒ ‘”‹‰‹ƒŽ‹ ‹”‹• ‘† ƒ† ‘Œ‹ Œ‡ ’”‹‡Œ‡ƒ –‡Š‹ƒœƒ‹–‡”Ž‹˜‹‰Ǥ ƒŒ—©‹—˜‹†—†ƒ•—‘„ƒ’‘†ƒ–ƒ•Ž—«ƒŒƒǡ†‘„‹Œƒ‘•‹•–‡ ‘Œ‹’‘•˜‹•˜‘Œ‹‘•‘„‹ƒƒǡ†‘•–ƒ’‘†•‡©ƒƒǷ‡Ǧ–‹‡’ƒ†dz’‡”ˆ‡–‹–ƒŒ‹ ”‹’–‘•‹•–‡Ǥ Komponenta 6 - ’”‡†•–ƒ˜ŽŒƒ ’‘†ƒ–ƒ ‘Œ‹ Œ‡ ”‡œ—Ž–ƒ– Ƿdz ‘’‡”ƒ…‹Œ‡Ǥ ‘„‹Œ‡‹ ’‘†ƒ–ƒ—•‡„‹«—˜ƒœƒŽŒ—«ƒ—‘”‹‰‹ƒŽ—„‹‘‡–”‹Œ—‹•Ž—«ƒŒ‘‰‡‡”‹•ƒ‹ŽŒ—«Ǥ ƒ‘•‘˜—‘˜‘‰’‘†ƒ–ƒ‹Œ‡‘‰—©‡‘–”‹–‹‘”‹‰‹ƒŽ—„‹‘‡–”‹Œ—‹Ž‹ŽŒ—«Ǥ˜ƒŒ ’‘†ƒ–ƒœƒ†‘˜‘ŽŒƒ˜ƒˆ‘”—’‘†ƒ–ƒœƒ•Žƒ†‹æ–‡Œ‡•ƒƒ•’‡–ƒœƒæ–‹–‡’”‹˜ƒ–‘•–‹ „‹‘‡–”‹Œ•‹Š’‘†ƒ–ƒƒǤ Komponenta 7 - ’”‡†•–ƒ˜ŽŒƒ’”‘…‡•—‘‡•‡œƒ’‘«‹Œ‡•ƒ’”‘…‡†—”‘—‘Œ‘Œ ”‡‰—Žƒ”‹ ‘”‹•‹ ā‡Ž‹ †ƒ ƒ ‘•‘˜— ‘”‹‰‹ƒŽ‡ ‹”‹• „‹‘‡–”‹Œ‡ ”‡‰‡‡”‹æ‡ ŽŒ—« ‘Œ‹Œ‡œƒŽŒ—«ƒ«˜”•–‘˜‡œ‘‘”‹‰‹ƒŽ‡‹”‹•„‹‘‡–”‹Œ‡‹ŽŒ—«ƒǤ˜ƒŒ’”‘…‡•Œ‡ ‹†‡–‹«ƒ’”‘…‡•‹ƒ—‘’‘‡–‹ ͵Ǥ Komponenta 8 - ’”‡†•–ƒ˜ŽŒƒ ’”‘…‡• ‘Œ‹ Œ‡ ‹†‡–‹«ƒ ’”‘…‡•— — ‘’‘‡–‹ ͶǤ ‡Š‹ƒ‹–‡”Ž‹˜‹‰ƒŒ‡’”‹‡Œ‡ƒ‹ƒ†‘”‹‰‹ƒŽ‘‹”‹•„‹‘‡–”‹Œ‘‘Œƒ•Ž—ā‹ œƒ ”‡‰‡‡”‹•ƒŒ‡ ŽŒ—«ƒ‫ܭ‬Ǥ ƒ’‘‹Œ‡‘ †ƒ — ‘„ƒ •Ž—«ƒŒƒ ‹–‡”Ž‹˜‡” ”ƒ†‹ •ƒ‘ — Œ‡†‘ •‡”— „‡œ ‹˜‡”œ‘‰ ”‡ā‹ƒǤ ƒ«‹Œ‡ǡ — ‘˜‘ ‡˜‹˜ƒŽ‡–‘ ƒƒŽ— ‡ ’‘•–‘Œ‹’‘–”‡„ƒœƒ‹˜‡”–‹„‹Ž‘•–‹Ǥ Komponente 9 i 10Ǧ’”‡†•–ƒ˜ŽŒƒŒ—†˜ƒ’‘•Ž‡†Œƒ’”‘…‡•ƒ—†‹Œƒ‰”ƒ—’”‘…‡•ƒǡ ’”‡‘‘Œ‹Š•‡”‡‰‡‡”‹æ‡ŽŒ—«‘Œ‹Œ‡œƒŽŒ—«ƒ«˜”•–‘˜‡œ‘—‘’‘‡–‹ͷ 216

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒ †‹Œƒ‰”ƒ—Ǥ ƒ–‹ǡ ’‘‘˜‘ •‡ ’”‹‡Œ—Œ‡ Ž‘‰‹«ƒ ‘’‡”ƒ…‹Œƒ Ƿdz ƒ† ‘†‘˜ƒ‹‹”‹•‘†‘‹’‘†ƒ–‘‘Œ‹—•‡„‹«—˜ƒŽŒ—«Ǥƒ–‹•‡’”‹‡Œ—Œ‡‹†Ǧ ‘Ž‘‘ †‡‘†‡” ‘Œ‹ ‘”‹‰—Œ‡ •˜‡ ƒ•–ƒŽ‡ ‰”‡æ‡Ǥ ‘Ž‹‘ Œ‡ †‘„‹Œ‡‹ ”‡œ—Ž–ƒ– ’‘•Ž‡ †‡‘†‡”ƒ Œ‡†ƒ ŽŒ—«— ‘Œ‹ Œ‡ ‰‡‡”‹•ƒ — ’”‘…‡•— ȋͳȌǡ –‘ œƒ«‹ †ƒ Œ‡ ‘’Ž‡–ƒ ’”‘…‡†—”ƒ ”‡ƒŽ‹œ‘˜ƒƒ —•’‡æ‘ ‹ †ƒ •‘ ƒ’”ƒ˜‹Ž‹ •‹•–‡ ‘Œ‹ ‹ƒ ‘‰—©‘•– †ƒ ƒ ‘•‘˜— ‹•–‘‰ ‹”‹• „‹‘‡–”‹Œ•‘‰ ’‘†ƒ–ƒƒ ‰‡‡”‹æ‡ ”‹’–‘Ž‘捇 ŽŒ—«‡˜‡Ǥ ƒŒ—©‹—˜‹†—†ƒ’”‘Œ‡–‘˜ƒ‹•‹•–‡’”‹’ƒ†ƒ„‹‘‡–”‹Œ•‘Œ”‹’–‘‰”ƒˆ‹Œ‹ǡ‰Žƒ˜‹ ‹œƒœ‘˜Œ‡‹–‡‰”‹–‡–’‘†ƒ–ƒƒǤ Analiza ekvivalentnog kanala ƒŽ‹œƒ ‡˜‹˜ƒŽ‡–‘‰ ƒƒŽƒ ’‘†”ƒœ—‡˜ƒ ’”‘ƒŽƒā‡Œ‡ ‡‘‰ Žƒ•‹«‘‰ ‘—‹ƒ…‹‘‘‰ ƒƒŽƒ ‹œ –‡‘”‹Œ‡ ‘—‹ƒ…‹Œƒ ‘Œ‹ —–˜”¯—Œ‡ —•Ž‘˜‡ ’‘† ‘Œ‹ƒ Œ‡ ‘‰—© ’‘—œ†ƒ ’”‡‘• ‹ˆ‘”ƒ…‹Œƒǡ ƒ ‘†‰‘˜ƒ”ƒ ’‘ •˜‹ •˜‘Œ‹ ƒ”ƒ–‡”‹•–‹ƒƒ ƒæ‡ ƒƒŽ—ǡ ƒŽ‹ •ƒ ”ƒœŽ‹«‹–‹ •ƒ†”āƒŒ‡Ǥ ‘–”‡„‘ Œ‡ —–˜”†‹–‹ ƒ•‹ƒŽ—„”œ‹—’‘—œ†ƒ‘‰’”‡‘•ƒ’‘ƒƒŽ—•ƒ族‘—œ—’‘–”‡„—‘†‘˜ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ ‹ ƒ•‹ƒŽ— ‘Ž‹«‹— ‰”‡æƒƒ ‘Œƒ ƒ•–ƒŒ‡ ƒ†ƒ •‡ ‹ˆ‘”ƒ…‹Œƒ’”‡‡•‡˜‡©‘„”œ‹‘‘†ƒ•‹ƒŽ‡Ǥ

 ƒŽ‹œƒ‡˜‹˜ƒŽ‡–‘‰ƒƒŽƒ

ƒ†ƒ Œ‡ Œƒ•‘ †ƒ ‡˜‹˜ƒŽ‡–‹ ƒƒŽ ’”‡†•–ƒ˜ŽŒƒ ‹•–‹ ƒƒŽ ‘Œ‹ Œ‡ ‘’‹•ƒ ƒ †˜ƒ ”ƒœŽ‹«‹–ƒ ƒ«‹ƒǤ ˜‡ ‘˜‘ Œ‡ ’”‹ƒœƒ‘ ƒ •Ž‹…‹ ‹œƒ†ǡ ‘Œƒ •ƒ†”ā‹ ƒƒŽ‹œ— †˜ƒ 217

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‡˜‹˜ƒŽ‡–ƒ ƒƒŽƒǤ ‘”Œ‹ ƒƒŽ ƒ •Ž‹…‹ ’”‡†•–ƒ˜ŽŒƒ ‡˜‹˜ƒŽ‡–‹ ƒƒŽ ‘Œ‹ •‡ «‡•–‘ ‘ā‡ •”‡•–‹ — Žƒ•‹«‹ ‘—‹ƒ…‹‘‹ ƒƒŽ‹ƒǤ e‡ƒ ƒƒŽƒ •ƒ†”ā‹ ‡‘†‡”ǡ †‡‘†‡”ǡ ‹–‡”Ž‹˜‡”ǡ †‡‹–‡”Ž‹˜‡” ‹ ƒƒŽ •ƒ 族‘Ǥ ‘”—ƒ ‘Œƒ •‡ ’”‡‘•‹‘˜‹ƒƒŽ‘ǡ‹œŽ‘ā‡ƒŒ‡—–‹…ƒŒ—族ƒ‘Œ‹•‡‹•’‘ŽŒƒ˜ƒ—˜‹†—’ƒ‡–•‹Š ‰”‡æƒƒ — •ƒ†”āƒŒ— ’‘”—‡Ǥ „œ‹”‘ †ƒ •‡ ”ƒ†‹ ‘ ˜‡©‹ ’ƒ‡–•‹ ‰”‡æƒƒ ƒ ’”‡†ƒŒ‘Œ •–”ƒ‹ǡ ’”‹‡Œ‡ Œ‡ ‹†Ǧ‘Ž‘‘‘˜ ‘† ‹ ‹–‡”Ž‹˜‡” «‹Œ‹ Œ‡ œƒ†ƒ–ƒ †ƒ ”ƒ•’”æ‹ •‹„‘Ž‡ ‘†‘˜ƒ‡ ’‘”—‡ǡ ƒ œƒ–‹ •‡ ’‘”—ƒ 惎Œ‡ ’”‡‘ ƒƒŽƒǤ  –‘— ’”‡‘•ƒ’‘”—ƒŒ‡‹œŽ‘ā‡ƒ—–‹…ƒŒ—族ƒ‘Œ‹—–‹•—Œ‡—•ƒ†”āƒŒ’‘”—‡’ƒ‡–•‡ ‰”‡æ‡Ǥ ƒ†ƒ ’‘”—ƒ •–‹‰‡ ƒ ’”‹Œ‡— •–”ƒ—ǡ ’”‹‡Œ—Œ‡ •‡ †‡‹–‡”Ž‹˜‡” ‘Œ‹ •‹„‘Ž‡ ‘†‘˜ƒ‡ ’‘”—‡ ˜”ƒ©ƒ ƒ ‹•–‡ ‹†‡•‡ ’‘œ‹…‹Œ‡ ‘Œ‡ •— „‹Ž‡ ƒ‘ ‘†‘˜ƒŒƒƒ’”‡†ƒŒ‘Œ•–”ƒ‹Ǥƒƒ–‡•‡‰”‡æ‡‘Œ‡•—ƒ•–ƒŽ‡•ƒ†ƒ•—”ƒœ„‹Œ‡‡ ‹ —Œ‡†ƒ«‡‘ ”ƒ•’‘”‡¯‡‡ ’”‡‘ …‡Ž‘‰ •ƒ†”āƒŒƒ ’‘”—‡Ǥ  ’‘•Ž‡†Œ‘Œ ˆƒœ‹ǡ ’”‹‡‘‹†Ǧ‘Ž‘‘†‡‘†‡”ƒ‘”‹‰—Œ—•‡•˜‡ƒ•–ƒŽ‡‰”‡æ‡Ǥ ‘Œ‹ ƒƒŽ ƒ •Ž‹…‹ ’”‡†•–ƒ˜ŽŒƒ „‹‘‡–”‹Œ•‹ ƒƒŽ •ƒ ’”‹•—•–˜‘ 族ƒǤ e‡ƒ ƒƒŽƒ•ƒ†”ā‹‡‘†‡”ǡ†‡‘†‡”ǡ‹–‡”Ž‹˜‡”‹‘—‹ƒ…‹‘‹ƒƒŽǤ‘˜‘ƒƒŽ— ’‘”—ƒ Œ‡ ŽŒ—«‫ ‘‡”’ ‹•‘‡”’ ‡• ‹Œ‘ܭ‬族‘‰ ƒƒŽ ‘Œ‹ Œ‡ ‹†—‘˜ƒ •ƒ †˜ƒ ‹”‹•ƒǤe—‘Œ‹Œ‡’”‹•—–ƒ—ƒƒŽ—ǡ‹•’‘ŽŒƒ˜ƒ•‡’”‡‘’ƒ‡–•‹Š‰”‡æƒƒǤ…‹ŽŒ— ’‘•–‹œƒŒƒ˜‹•‘‹Š’‡”ˆ‘”ƒ•‹ƒ•–”ƒ‹†‡‘†‡”ƒǡ’”‹‡Œ—Œ‡‘‹–‡”Ž‹˜‡”ƒ† ‘„ƒ‹”‹•ƒȋŒ‡†ƒƒ’”‡†ƒŒ‘Œǡƒ†”—‰‹ƒ’”‹Œ‡‘Œ•–”ƒ‹Ȍ‘ŒƒœƒŒ‡†‘‹†——Œ— ‘—‹ƒ…‹‘‹ ƒƒŽ •ƒ 族‘Ǥ ƒ–‹ǡ ŽŒ—« ‫†‹ ƒ• ‘‡Œ—†‘ ܭ‬Ǧ‘Ž‘‘ ‡‘†‡”‘ ‹ 惎Œ‡‘ ”‘œ –ƒƒ˜ ‘—‹ƒ…‹‘‹ ƒƒŽ ƒ† ‘Œ‹ •ƒ†ƒ ‹ƒ‘ ‘–”‘Ž— œƒ ‘†”‡¯‡ ‘’•‡‰ ˜”‡†‘•–‹ ’ƒ‡–•‹Š ‰”‡æƒƒǤ ‘”—ƒ ƒ ’”‹Œ‡— ‹Ž‹ ŽŒ—«‫†‹‡Œ—†‘‡†‡•ܭ‬Ǧ‘Ž‘‘†‡‘†‡”‘‹†‘„‹Œ‡ƒ’‘”—ƒ’”‡†•–ƒ˜ŽŒƒŽŒ—« ‫ܭ‬Ԣ‘Œ‹Œ‡Œ‡†ƒŽŒ—«—‫‹ƒ”–•Œ‘Œƒ†‡”’ƒܭ‬Ǥ ‘ā‡‘ •ƒ† †ƒ œƒŽŒ—«‹‘ †ƒ •‘ ƒƒŽ‹œ‘ ‡˜‹˜ƒŽ‡–‘‰ ƒƒŽƒ •ƒ‹ ‘†‡Ž‘˜ƒŽ‹ ‘˜ƒŒ ‘˜‹ ƒƒŽǡ ’”‡‘ ‘‰ƒ ‘•–˜ƒ”—Œ‡‘ ’”‡‘• ’‘”—ƒ •ƒ ƒ•‹ƒŽ‹ƒ’ƒ…‹–‡–‘Ǥ˜ƒŒƒƒŽ‹ƒ‘•‘„‹‡„‹ƒ”‘‰•‹‡–”‹«‘‰ƒƒŽƒ •ƒ 族‘ ‹ ƒ ‘˜ƒŒ ƒ«‹ •‘ ’‘–˜”†‹Ž‹ e‡‘‘˜— –‡‘”‡—ǡ ‘Œƒ Œ‡ „‹Žƒ ˜‡Ž‹‘ ‹œ‡ƒ¯‡Œ‡—Œ‡‰‘˜‘ƒŒ’‘œƒ–‹Œ‡”ƒ†—‹œͳͻͶͺǤ‰‘†‹‡ǡ—‘‡•‡–˜”†‹†ƒ ƒ‘‹œƒ„‡”‡‘‘†‰‘˜ƒ”ƒŒ—©‹ƒ«‹‘†‘˜ƒŒƒ‹ˆ‘”ƒ…‹Œ‡œƒœƒ†ƒ–‹ƒƒŽǡ‘ā‡•‡ ’‘•–‹©‹’‘ā‡ŽŒ‹ƒŽƒ‰”‡æƒ†‡‘†‘˜ƒŒƒǡ‘†‘•‘’”‡‘•ƒ‹ˆ‘”ƒ…‹ŒƒǤ   218

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Uloga zaštitnog koda i interlivera

”‡æ‡‘Œ‡ƒ•–ƒŒ—‹Œ‡‘‰—©‡—’‘–’—‘•–‹‡Ž‹‹‹•ƒ–‹ǡƒŽ‹‹ŠŒ‡‘‰—©‡œƒ–‘ •ƒŒ‹–‹Ǥœƒ˜‹•‘•–‹‘†•–‡’‡ƒ‹–‡‰”ƒ…‹Œ‡ǡ˜‡”‘˜ƒ–‘©ƒƒ•–ƒƒ‰”‡æ‡Œ‡˜‡©ƒ ‹Ž‹ ƒŒƒǤ ƒ ƒ•’‡–ƒ ’”‘Œ‡–‘˜ƒŒƒ •‹•–‡ƒǡ ‘†‘•‘ œƒ ’‘•–‹œƒŒ‡ ˜‹•‘‡ ’‘—œ†ƒ‘•–‹—”ƒ†—•‹•–‡ƒ‘”‹•–‡•‡–”‹‘•‘˜ƒ’”‹•–—’ƒǣ x x x

‹œ„‡‰ƒ˜ƒŒ‡‰”‡æƒƒǢ ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǢ •ƒŒ‡Œ‡‰”‡æƒƒǢ

Izbegavanje grešaka ’‘†”ƒœ—‡˜ƒ •’”‡«ƒ˜ƒŒ‡ ƒ•–ƒƒ ‰”‡æƒƒ ƒ•–ƒŽ‹Š ƒ Šƒ”†˜‡”•‘Œ ‹Ž‹ •‘ˆ–˜‡”•‘Œ ’Žƒ–ˆ‘”‹Ǥ ˜ƒ˜‡ –‡Š‹‡ •‡ ‘†‘•‡ ƒ ‹œ„‘” ˜ƒŽ‹–‡–‘‰Šƒ”†˜‡”ƒȋ‹”‹•ƒ‡”ƒȌ‘Œ‹—«‡•–˜—Œ——’”‘…‡•—ƒ˜‹œ‹…‹Œ‡•Ž‹‡‹”‹•ƒǡ ƒ‘ ‹ ƒ†‡˜ƒ–ƒ ‹œ„‘” ƒŽ‰‘”‹–ƒƒ ‘Œ‹ —«‡•–˜—Œ— — ‘„”ƒ†‹ •‹‰ƒŽƒ ȋ‘†‘˜ƒŒ‡ ‹”‹•ƒȌǤ œ„‡‰ƒ˜ƒŒ‡‰”‡æƒƒ’‘†”ƒœ—‡˜ƒ‹ˆƒœ‡—‘Œ‹ƒ•‡˜”懖‡•–‹”ƒŒƒ‰†‡•‡ ’”‡‹•’‹–—Œ—’‘Œ‡†‹‡‘’‘‡–‡•‹•–‡ƒǤ Ispravljanje grešaka Œ‡ –‡Š‹ƒ ‘Œƒ ‡ •’”‡«ƒ˜ƒ ƒ•–ƒƒ ‰”‡æ‡Ǥ ˜ƒ –‡Š‹ƒ —•’‡æ‘†‡–‡–—Œ‡‹‹•’”ƒ˜ŽŒƒƒ•–ƒŽ‡‰”‡æ‡Ǥ‘ā‡‘†ƒƒā‡‘†ƒ‘˜ƒ–‡Š‹ƒ ‹ƒ‘‰—©‘•––”ƒ•ˆ‘”ƒ…‹‘‡‹˜‡”–‹„Ž‘•–‹ƒ†’‘†ƒ–‘•ƒ‰”‡æ‘ǡ—…‹ŽŒ— †‘„‹ŒƒŒƒ ‹•–‘‰ ’‘†ƒ–ƒ „‡œ ‰”‡æ‡Ǥ ‡†ƒ ‘† ˜ƒā‹Œ‹Š ‘’‘‡–‹ ‘˜‘‰ •‹•–‡ƒ •— œƒæ–‹–‹ ‘†‘˜‹ ‘Œ‡ ’”‹‡Œ—Œ‡‘ ƒ† ’‘†ƒ–‘ ȋŽŒ—« KȌǡ ‘Œ‹ Œ‡ — –‘— ’”‡‘•ƒ ‹œŽ‘ā‡ ‰”‡æƒƒǤ ƒ ‘˜ƒŒ ƒ«‹ Œ‡ ‘‘‰—©‡ ’”‡‘• — ”‹–‹«‹ •‹–—ƒ…‹Œƒƒœƒœƒ†ƒ–‹•–‡’‡–‘Ž‡”ƒ…‹Œ‡Ǥ ’”‘Œ‡–‘˜ƒŒ—•‹•–‡ƒ‘”‹æ©‡‹Œ‡‹†Ǧ‘Ž‘‘‘†Ǥ˜ƒŒ‘†‹•’”ƒ˜ŽŒƒ‰”‡æ‡ ƒ‹˜‘—•‹„‘Žƒǡƒ‡ƒ‹˜‘—„‹–‘˜ƒǡ’‘‰‘†‹•—œƒ‹•’”ƒ˜ŽŒƒŒ‡‘…‡–”‹•ƒ‹Š ’ƒ‡–•‹Šȋ‡‰ŽǤburstȌ‰”‡æƒƒǤ‹‹ƒŒ—拔‘—’”‹‡——•‹•–‡‹ƒ†‹‰‹–ƒŽ‹Š ‘—‹ƒ…‹Œƒ‹•‹•–‡‹ƒœƒ«—˜ƒŒ‡’‘†ƒ–ƒƒǤ‹†Ǧ‘Ž‘‘‘†‘˜‹•—’‘†‰”—’ƒ  ‘†‘˜ƒ ‹ Žƒ•ƒ Ž‹‡ƒ”‹Šǡ ‡„‹ƒ”‹Š …‹Ž‹«‹Š ‘†‘˜ƒǤ ‹†Ǧ‘Ž‘‘ ‘† Œ‡ „Ž‘‘†‘Œ‹•‡’”‡†•–ƒ˜ŽŒƒƒ‘ܴܵሺ݊ǡ ݇ǡ ‫ݐ‬ሻ’”‡‘’‘ŽŒƒ ƒŽ‘ƒ GF (2 n ) Ǥ ‹†Ǧ‘Ž‘‘ ‘† —˜‘†‹ ˜‡Ž‹— ”‡†—†ƒ–— ‹ˆ‘”ƒ…‹Œ— ȋ’”‡‘ ’‘Ž‹‘•‡ •–”—–—”‡Ȍ‹ –ƒ‘’‘•–‹ā‡˜‹•‘‡’‡”ˆ‘”ƒ•‡œƒ †‡–‡…‹Œ—‹‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǤ ƒ „‹ •‡ ‘˜ƒ …‡ƒ ’Žƒ–‹Žƒ ‡‘’Š‘†‘ Œ‡ ‘”‹•–‹–‹ •ƒ‘ ‘œ‹•–‡–— ‹ˆ‘”ƒ…‹Œ— ȋŒ‡†‹•–˜‡‡ƒ”ƒ–‡”‹•–‹‡ȌǤ œ‘˜‘‰”ƒœŽ‘‰ƒ•——”ƒ¯‡‡”‹‰‘”‘œ‡‹ˆ‘”ƒ…‹‘‡ 219

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

ƒƒŽ‹œ‡ƒ†–‡•–—”‘‹”‹•ƒǡ•ƒ…‹ŽŒ‡‹œ„‘”ƒ—’”ƒ˜‘–ƒ˜‹Š•‡‰‡ƒ–ƒ‘Œ‹©‡†ƒ •ƒ†”ā‡˜‡©‹‘‘œ‹•–‡–—‹ˆ‘”ƒ…‹Œ—Ǥ Smanjenje grešaka Œ‡ —‰Žƒ˜‘ Œ‡†ƒ ‘† –‡Š‹ƒ ‘Œƒ —–‹«‡ ƒ •ƒŒ‡Œ‡ ƒ•–ƒŽ‹Š‰”‡æƒƒ‘Œ‡‹Œ‡‘‰—©‡‹•’”ƒ˜‹–‹Ǥƒæ‡•Ž—«ƒŒ—‹œƒ„”ƒŽ‹•‘œƒ‘˜— ˜”•–— –‡Š‹‡ ‹–‡”Ž‹˜‡”Ǥ –‡”Ž‹˜‡”‹ ‘”‹•–‡ ‡–‘†— ’”‡’Ž‹–ƒŒƒ ˜”‡†‘•–‹ — ‹”‹• ‘†—Ǥ ‡–‘† œƒ ’”‡’Ž‹–ƒŒ‡ ‘ā‡ †ƒ „—†‡ ”ƒœ‘˜”•ƒǤ ‹ ‘”‹•–‹‘ •Ž—«ƒŒ— ’‡”—–ƒ…‹Œ— ‘Œƒ Œ‡ œƒ†ƒ–ƒ •ƒ ‡‘ ‹‹…‹ŒƒŽ‘ ˜”‡†‘æ©— ‘Œƒ ’”‡†•–ƒ˜ŽŒƒ ’‘«‡–‘•–ƒŒ‡’‡•—†‘‰‡‡”ƒ–‘”ƒǤ˜ƒ˜‹‹–‡”Ž‹˜‡”‹—˜‘†‡‡Ž‡‡–•Ž—«ƒŒ‘•–‹— ‡‹ †‹œƒŒ ‘†ƒ „‡œ ’‘˜‡©ƒŒƒ ‘’Ž‡•‘•–‹ǡ ’”‡–’‘•–ƒ˜ŽŒƒŒ—©‹ ‘”‹æ©‡Œ‡ ‹–‡”ƒ–‹˜‘‰†‡‘†‘˜ƒŒƒ†˜ƒ‹–‡”Ž‹˜‘˜ƒƒ‘†ƒǤ Motiv za uvoenje zaštitnih kodova i interlivera ”‹‡ƒœƒæ–‹–‹Š‘†‘˜ƒ‹‹–‡”Ž‹˜‡”ƒƒ†‹”‹•‘Œ‡•–ƒ˜‹Žƒ„‹‘‡–”‹Œ——’ƒ”ƒŽ‡Ž— •ƒ Žƒ•‹«‹ ‘—‹ƒ…‹‘‹ ƒƒŽ‹ƒǤ ‡†ƒ ‘† ƒæ‹Š …‹ŽŒ‡˜ƒ Œ‡ „‹‘ †ƒ ’”‘ƒ¯‡‘ ‡˜‹˜ƒŽ‡–‹ ƒƒŽ ‘Œ‹ ‹ƒ œƒŒ‡†‹«‡ ‘•‘„‹‡ •ƒ „‹‘‡–”‹Œ•‹ ‘—‹ƒ…‹‘‹ ƒƒŽ‘Ǥ ”‘ƒŽƒœƒ ‡˜‹˜ƒŽ‡–‘‰ ƒƒŽƒǡ †ƒ˜ƒ‘ „‹ ‰ƒ”ƒ–‘˜ƒ‘†‘„”‡’‡”ˆ‘”ƒ•‡…‡Ž‘—’‘‰•‹•–‡ƒ‘Œ‹Œ‡”ƒŒŒ‹…‹ŽŒǤ ƒ•Ž‹…‹‹•’‘†„‹‘‡–”‹ŒƒŒ‡’‘‹•–‘˜‡©‡ƒ•ƒŽƒ•‹«‹‘—‹ƒ…‹‘‹ƒƒŽ‘ •ƒ ’”‹•—•–˜‘ 族ƒǤ  ‘˜‘ ’”‹‡”— †˜ƒ ‹”‹•ƒ ‹†——Œ— „‹‘‡–”‹Œ•‹ ‘—‹ƒ…‹‘‹ ƒƒŽ ’”‡‘ ‘‰ƒ ‹ƒ‘ …‹ŽŒ †ƒ ’”‡‡•‡‘ ŽŒ—«‫ܭ‬Ǥ ”‡†‘•–‹ ‰”‡æ‡—‘˜‘ƒƒŽ—˜ƒ”‹”ƒŒ——œƒ˜‹•‘•–‹‘†–‘‰ƒ†ƒŽ‹†˜ƒ‹”‹•ƒ’”‹’ƒ†ƒŒ—Œ‡†‘Œ ‘•‘„‹ ‹Ž‹ •— ‘† ”ƒœŽ‹«‹–‹Š ‘•‘„ƒǤ  ‘˜‘ ƒ’•–”ƒ–‘ ‘†‡Ž— „‹‘‡–”‹Œ•‘‰ ƒƒŽƒǡƒæœƒ†ƒ–ƒƒŒ‡†ƒŽŒ—«‫‡”‰œ‡„ƒŽƒƒ‘‡”’‘‡•‡‡”’ܭ‬惍ƒǤƒ«‹Œ‡ǡ …‹ŽŒ Œ‡ ’”‘Œ‡–‘˜ƒ–‹ ‘—‹ƒ…‹‘‹ ƒƒŽ «‹Œ‹ Œ‡ ƒ•‹ƒŽ‹ ƒ’ƒ…‹–‡– †‡ˆ‹‹•ƒ ‹œ”ƒœ‘ǣ ‫ ܥ‬ൌ ƒš ሺ‫ܭ‬Ǣ ‫ ܭ‬ᇱ ሻ ൌ ͳ

220

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

‹‘‡–”‹Œ•‹‘—‹ƒ…‹‘‹ƒƒŽ•ƒ族‘

ƒœŽ‘œ‹œƒƒ•–ƒƒ‘˜ƒ˜‘‰‘–‹˜ƒ‘„”ƒœŽ‘ā‡Œ‡”‘œ•Ž‡†‡©‡«‹Œ‡‹…‡ǣ •‘˜‹ ’”‘„Ž‡ ‘† „‹‘‡–”‹Œ•‹Š ’‘†ƒ–ƒƒ Œ‡ ˜ƒ”‹Œƒ„‹Ž‘•– ‘Œƒ Œ‡ ’”‹•—–ƒ •˜ƒ‹ ’—– — ’‘†ƒ…‹ƒ ƒ‘ ƒ˜‹œ‹…‹Œ‡ „‹‘‡–”‹Œ•‹Š ’‘†ƒ–ƒƒǤ ”—‰‹ ”‡«‹ƒǡ •˜ƒ‹‘˜‹„‹‘‡–”‹Œ•‹’‘†ƒ–ƒ‰‡‡”‹•ƒƒ‹•–‘„‹‘‡–”‹Œ•‘‹œ˜‘”—•‡—˜‡ ”ƒœŽ‹—Œ‡ͳͲΨǦʹͲΨ‘†•˜‹Š’”‡–Š‘†‹Šǡ†‘•‡„‹‘‡–”‹Œ•‹’‘†ƒ…‹‰‡‡”‹•ƒ‹ƒ ”ƒœŽ‹«‹–‹„‹‘‡–”‹Œ•‹‹œ˜‘”‹ƒ”ƒœŽ‹—Œ—‘†ͶͲΨ†‘͸ͲΨǤ ƒ‘ ‘†‰‘˜‘” ƒ ’‘‡—–‹ ’”‘„Ž‡ ˜ƒ”‹Œƒ„‹Ž‘•–‹ — „‹‘‡–”‹Œ‹ ‹”‹•ƒǡ ƒ•–ƒŽƒ Œ‡ ‹†‡Œƒ ‘ ‡˜‹˜ƒŽ‡…‹Œ‹ •ƒ †”—‰‹ ‘—‹ƒ…‹‘‹ ƒƒŽ‹ƒǤ ˜ƒ ‹†‡Œƒ Œ‡ —˜‡Žƒ ’”‹‡— œƒæ–‹–‹Š ‘†‘˜ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ ȋ‡‰ŽǤ ‡rror correcting codeȌǡ ƒ –‡Š‹ƒŒ‡’”‡—œ‡–ƒ‹œ‘„Žƒ•–‹‘—‹ƒ…‹ŒƒǤ ƒ’ƒ…‹–‡– ‘†ƒ œƒ ‹•’”ƒ˜ŽŒƒŒ‡ ‰”‡æƒƒ — ‘˜‘ •Ž—«ƒŒ— ’‡”ˆ‘”ƒ•‡ †‡‘†‡”ƒǡ ‘”ƒŒ— „‹–‹ –ƒ˜‡ †ƒ ‘†˜ƒŒƒŒ— ‘”‹‰‹ƒŽ‘‰ ‘”‹•‹ƒ ‘† Žƒā‘‰Ǥ ƒ ’”‹‡”ǡ „‹‘‡–”‹Œ•‹ƒƒŽ‹†—‘˜ƒ•ƒ†˜ƒ‹”‹•‘†ƒ•ƒ‹•–‘‰„‹‘‡–”‹Œ•‘‰‹œ˜‘”ƒǡ‘‰— „‹–‹ — •–ƒŒ— †ƒ ’”‡‡•— ’‘”—— „‡œ ‰”‡æƒƒ — ƒæ‡ •Ž—«ƒŒ— ŽŒ—«‫ܭ‬ǡ †‘ ƒƒŽ ‹†—‘˜ƒ •ƒ †˜ƒ ‹”‹• ‘† •ƒ ”ƒœŽ‹«‹–‹Š „‹‘‡–”‹Œ•‹Š ‹œ˜‘”ƒǡ ‡ •‡ †ƒ ’”‡‡•‡ ŽŒ—«‫ܭ‬ǡ «ƒ 斃 ˜‹æ‡ ’‘ā‡ŽŒ‘ Œ‡ †ƒ ŽŒ—«‫‹— ‡†—„ܭ‬文ǡ –ƒ‘ †ƒ Œ‡ —œƒŒƒƒ ‹ˆ‘”ƒ…‹Œƒ‫ܫ‬ሺ‫ܭ‬Ǣ ‫ ܭ‬ᇱ ሻ ൌ ͲǤ ‘•–‹œƒŒ‡’‘‡—–‹Š’‡”ˆ‘”ƒ•‹ǡ—•’‡Š„‹’”‡†•–ƒ˜‹Ž‹•ƒ”‡œ—Ž–ƒ–‘‫ ܭ‬ൌൌ ‫ܭ‬Ԣǡ †‘•‡‫ܭ‬Ԣ‘”‹•–‹ƒ‘”‹’–‘Ž‘捋ŽŒ—«Ǥ ”ƒ˜ŽŒ‡Œ‡ ‘’”‘‹•ƒ ‹œ‡¯— ——’‡ ‘Ž‹«‹‡ ‹ˆ‘”ƒ…‹Œ‡‫‹ ƒ†‘ •‹”‹ܪ‬ Œ‹Š‘˜‡ —œƒŒƒ‡ ‹ˆ‘”ƒ…‹Œ‡‫ƒ•‹”‹ ƒ˜‘†‘ Š‹–‹«‹Žœƒ” ‹ Š‹–•‹ —¯‡œ‹ܫ‬ǡ †‘„‹Œƒ‘ ‘˜‹”‡œƒƒ•‹ƒŽ—˜‡Ž‹«‹—ŽŒ—«ƒ‫ܭ‬Ǥ

221

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

–‡”Ž‹˜‡”Œ‡–‡Š‹ƒ‘Œƒ•‡‘”‹•–‹œƒ”ƒ•’”拘ƒŒ‡’ƒ‡–•‹Š‰”‡æƒƒǤƒŽ‹œ‘Œ‡ —–˜”¯‡‘ †ƒ ‹”‹• ‘† •ƒ†”ā‹ ’ƒ‡–•‡ ‰”‡æ‡Ǥ ˜ƒ –‡Š‹ƒ •‡ ‘† Žƒ•‹«‹Š ‘—‹ƒ…‹‘‹Š ƒƒŽƒ ‘”‹•–‹ œƒ ’‘†‹œƒŒ‡ ’‡”ˆ‘”ƒ•‹ œƒæ–‹–‹Š ‘†‘˜ƒ ‹Ž‹ ‘†‘˜ƒœƒ‹•’”ƒ˜ŽŒƒŒ‡‰”‡æƒƒǤ ƒ†ƒ‘ā‡‘†ƒœƒŽŒ—«‹‘†ƒ•˜‡‘˜‡«‹Œ‡‹…‡‡œƒ—•–ƒ˜‘—–‹«—ƒ•–˜ƒ”ƒŒ‡ Œ‡†‡ ‘˜‡ ‘„Žƒ•–‹ǡ ‘Œƒ ‘’”ƒ˜†ƒ‘ ‘•‹ ‹‡ „‹‘‡–”‹Œ•ƒ ”‹’–‘‰”ƒˆ‹Œƒǡ ƒ •˜‡ –‘ œƒŠ˜ƒŽŒ—Œ—©‹’‘•–‘ŒƒŒ—–‡‘”‹Œ‡‹ˆ‘”ƒ…‹Œƒ‹‘†‘˜ƒŒƒǤ

222

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

RENIK POJMOVA

A Algoritam - ‘’‹•œƒ”‡æƒ˜ƒŒ‡‡‘‰’”‘„Ž‡ƒǤ ArnostȂ˜‡Ž‹«‹ƒƒŽˆƒ„‡–ƒǤƒn-ƒ”‘•–ƒ„Ž‘ǣnǡ„”‘Œ†‡…‡—•˜ƒ‘«˜‘”—Ǥ

B BSC – „‹ƒ”‹•‹‡–”‹«‹ƒƒŽǤ BSS –„‹ƒ”‹•‹‡–”‹«‹‹œ˜‘”Ǥ Blok kodȂ‡’”ƒœƒ•—’”‡«‹‘Œ‡•—‹•–‡†—ā‹‡ǡ’”‡†•–ƒ˜ŽŒƒ•–”—–—”—”‡†Ǥ

G Generator matrica Ȃ ƒ–”‹…ƒ ‘Œƒ •‡ ‘”‹•–‹ œƒ ‘†‘˜ƒŒ‡ ’‘”—‡ǡ ‰”ƒ¯‡Œ‡ ‘†‹Š”‡«‹Ǥ

D Dekodovanje – –”ƒ•ˆ‘”ƒ…‹Œƒ‘†‡”‡«‹—•‹„‘Ž‡’‘”—‡Ǥ

E Entropija – ‡”ƒ‘Ž‹«‹‡‡‘†”‡¯‡‘•–‹Ǥ

I Informacioni izvor – ‰‡‡”ƒ–‘”•‡˜‡…‡•‹„‘Žƒ‘Œ‹’”‡†•–ƒ˜ŽŒƒŒ—’‘”—‡Ǥ

223

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

K Kapacitet kanala - ƒ•‹ƒŽƒ ’”‘•‡«ƒ ‘Ž‹«‹ƒ ‹ˆ‘”ƒ…‹Œƒ ƒ ‹œŽƒœ— ƒƒŽƒ‘ŒƒŒ‡Œ‡†ƒƒ‘Ž‹«‹‹‹ˆ‘”ƒ…‹Œ‡ƒ—Žƒœ—Ǥ Kodna re-„‹ƒ”ƒ•‡˜‡…ƒ‘Œ‘Œ‡’”‡†•–ƒ˜ŽŒ‡•‹„‘Ž‹œ˜‘”‡’‘”—‡Ǥ Kriptoanaliza - —‡–‘•–‹ƒ—ƒ‘”ƒœ„‹ŒƒŒ—拈”‘˜ƒ‹Š’‘”—ƒǤ Komunikacioni kanal - ˆ‘”ƒŽ‹œƒ…‹Œƒ 斃 •‡ †‡æƒ˜ƒ — ’”‡‡–‘Œ ’‘”—…‹ ‹œ‡¯— ’”‡†ƒŒ‡‹’”‹Œ‡‡•–”ƒ‡Ǥ Kompletan kod-’”‡ˆ‹•‹‘†«‹Œ‡‘†‘•–ƒ„Ž‘‡•ƒ†”ā‹‡‘”‹æ©‡‡Ž‹•–‘˜‡Ǥ Kodovanje-–”ƒ•ˆ‘”ƒ…‹Œƒ•‹„‘Žƒ’‘”—‡—‘†‡”‡«‹Ǥ Kriptološki klju - „‹ƒ”ƒ •‡˜‡…ƒ ˜‡©‡ †—ā‹‡ǡ ’‘•‡†—Œ‡ ‘•‘„‹‡ •Ž—«ƒŒ‹Š ‹œ‘˜ƒǤ‘”‹•–‹•‡ƒ‘’‘«‡–‘•–ƒŒ‡ƒŽ‰‘”‹–ƒ—ˆƒœ‹拈”‘˜ƒŒƒ‹†‡æ‹ˆ”‘˜ƒŒƒǤ Kriptograf - Ž‹…‡‘Œ‡†‹œƒŒ‹”ƒ拈”‡Ǥ Kriptoanalitiar - Ž‹…‡‘Œ‡†‹œƒŒ‹”ƒ‡–‘†‡œƒ”ƒœ„‹ŒƒŒ‡拈ƒ”ƒǤ Kriptografija - ƒ—ƒ‘’”ƒ˜ŽŒ‡Œ—ƒŽ‰‘”‹–ƒƒœƒ拈”‘˜ƒŒ‡Ǥ Kriptoanaliza - ƒ—ƒ‘”ƒœ„‹ŒƒŒ—ƒŽ‰‘”‹–ƒƒœƒ拈”‘˜ƒŒ‡Ǥ

L Linearni kod – „Ž‘‘˜•‹ ‘† «‹Œƒ Œ‡ •–”—–—”ƒ ’”‡†•–ƒ˜ŽŒ‡ƒ •ƒ ˜‡–‘”•‹ ’”‘•–‘”‘Ǥ

M MAC - ‘†œƒ’”‘˜‡”—ƒ—–‡–‹«‘•–‹’‘”—‡Ǥ Minimalna distanca - ’”‡†•–ƒ˜ŽŒƒ ‹‹ƒŽ— ‡‹‰‘˜— †‹•–ƒ…— ȋ‡ —ŽƒȌ ‹œ‡¯—„‹Ž‘‘Œ‡†˜‡”ƒœŽ‹«‹–‡‘†‡”‡«‹Ǥ 224

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

Minimalna distanca dekodovanja - ‘˜‹” œƒ †‡‘†‘˜ƒŒ‡ — ‘Œ‡ •‡ •˜ƒƒ ’”‹ŽŒ‡ƒ”‡«†‡‘†—Œ‡—ƒŒ„Ž‹ā—‘†—”‡«Ǥ

N Nula kodna re – ‘†ƒ”‡«•ƒ«‹Œ‡ƒ‘†—Žƒ

O One-time pad - ’‡”ˆ‡–ƒ拈”ƒ‘Œƒ’”‹’ƒ†ƒ‰”—’‹拈ƒ”ƒ•ƒ•‹‡–”‹«‹ŽŒ—«‡Ǥ ŽŒ—«Œ‡‰‡‡”‹•ƒƒ•Ž—«ƒŒƒƒ«‹‹‹ƒŒ‡†ƒ—†—ā‹—ƒ‘‹’‘”—ƒǤŽŒ—«‡ •‡‹ƒ††ƒ•‡’‘ƒ˜ŽŒƒǤ Oekivana dužina koda-‘«‡‹˜ƒƒ˜”‡†‘•–œƒ†—ā‹—‘†‹Š”‡«‹Ǥ Jednosmerna funkcija - ˆ—…‹Œƒ ‘Œƒ •‡ Žƒ‘ ‹œ”ƒ«—ƒ˜ƒ — Œ‡†‘ •‡”— ƒŽ‹ ”ƒ«—ƒŒ‡—ƒœƒ†Œ‡–‡æ‘‹‡‘‰—©‡Ǥ

P Poruka - ’‘†ƒ–ƒ ‘Œ‹ •‡ ”ƒœ‡Œ—Œ‡ ’”‡‘ ‘—‹ƒ•‹‘‘‰ ƒƒŽƒ ‹œ‡¯— ’”‡†ƒŒ‡‹’”‹Œ‡‡•–”ƒ‡Ǥ‘ā‡†ƒ„—†‡‘†‘˜ƒƒ‹—拈”‘˜ƒ‘Œˆ‘”‹Ǥ Perfektna tajnostȂ–‡‘”‹Œ•‹†‘ƒœƒ”‹’–‘‰”ƒˆ•‹‡Šƒ‹œƒ‘Œ‹‡œƒ˜‹•‹‘† ”ƒ«—ƒ”•‡•ƒ‰‡Ǥ PKI - ‹ˆ”ƒ•–”—–—”ƒ•ƒŒƒ˜‹ŽŒ—«‡˜‹ƒǤƒ†”ā‹„ƒœ—Œƒ˜‹ŠŽŒ—«‡˜ƒ’”‡‘‘Œ‹Š ‘„‡œ„‡¯—Œ‡ƒ—–‡–‹ˆ‹ƒ…‹Œ——•”‡†Œ‹‹˜‡Ž‹‹”‡āƒƒǤ PRNG - ‰‡‡”ƒ–‘” œƒ ‰‡‡”‹•ƒŒ‡ ’•‡—†‘•Ž—«ƒŒ‹Š „”‘Œ‡˜ƒ ƒ ‘•‘˜— ‹‹…‹ŒƒŽ‘‰ •–ƒŒƒ‘Œ‡Œ‡‘†”‡¯‡‘ƒ•Ž—«ƒŒƒƒ«‹Ǥ

225

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

R RSA - ”‹’–‘‰”ƒˆ•‹ •‹•–‡ •ƒ Œƒ˜‹ ŽŒ—«‡ǡ ’ƒ–‡–‹”ƒ ‘† •–”ƒ‡ ‹˜‡•–ƒǡ eƒ‹”ƒ ‹ †Ž‡ƒƒ ͳͻ͹͸Ǥ ‹‰—”‘•–  œƒ•‹˜ƒ •‡ ƒ •Ž‘ā‡‘•–‹ ˆƒ–‘”‹œƒ…‹Œ‡ ˜‡Ž‹‹Š„”‘Œ‡˜ƒǤ ƒ拔‘—’”‹‡—ǡ‹’Ž‡‡–‹”ƒŒ‡— ‹Ǧ—Ǥ

S Stacionarni izvorȂ‹ˆ‘”ƒ…‹‘‹‹œ˜‘”«‹Œƒ•–ƒ–‹•–‹ƒ‡œƒ˜‹•‹‘†˜”‡‡ƒǤ SindromȂ’”‘‹œ˜‘†’”‹ŽŒ‡‡”‡«‹‹˜‡”‹ˆ‹ƒ…‹‘‡ƒ–”‹…‡Ǥ

T TRNG - ‰‡‡”ƒ–‘”•Ž—«ƒŒ‹Š„”‘Œ‡˜ƒǤ˜ƒ˜‡‰‡‡”ƒ–‘”‡Œ‡‘‰—©‡‘•–”—‹•ƒ–‹— ’”‹”‘†‹‹ˆ‘”ƒ…‹‘‹‹œ˜‘”‹ƒǤ Težina reiȂ„”‘ŒŒ‡†‹‹…ƒ—„‹ƒ”‘Œ•‡˜‡…‹Ǥ

F Faktorizacija  - ”ƒ•–ƒ˜ŽŒƒŒ‡ ˜‡Ž‹‹Š ’”‘•–‹Š „”‘Œ‡˜ƒ ƒ «‹‹‘…‡ ‹œ •—’ƒ ’”‘•–‹Š „”‘Œ‡˜ƒǤ

H Hemingovo rastojanje - ‘”‹•–‹ •‡ œƒ ‘†”‡¯‹˜ƒŒ‡ ”ƒœŽ‹‡ ‹œ‡¯— †˜ƒ ‹œƒ Œ‡†ƒ‡†—ā‹‡Ǥ Hafmanov kodȂ‡ˆ‹ƒ•ƒƒ«‹‘†‘˜ƒŒƒ‹ˆ‘”ƒ…‹‘‘‰•ƒ†”āƒŒƒ—’‘”—ƒƒǡ ƒ‘•‘˜—’‘œƒ–‹Š˜‡”‘˜ƒ–‘©ƒ•‹„‘Žƒ’‘”—‡Ǥ

226

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

C CRC – ȋ‡‰ŽǤ Cyclic Redudancy CheckȌǤ ‘† 拔‘‡ ’”‹‡‡ǡ ‘”‹•–‹ •‡ œƒ †‡–‡–‘˜ƒŒ‡‰”‡æƒƒǤ„‹«‘’”‡†‡æ‹ˆ”‘˜ƒŒƒǡ•‡’”‘˜‡”ƒ˜ƒǤ Ciklini kod-Ž‹‡”ƒ‹‘†ǡ—‘‡•˜ƒ‹’‘‡”ƒŒ‘†‡”‡«‹’”‡†•–ƒ˜ŽŒƒ–ƒ‘¯‡ ‘†—”‡«Ǥ 

Š Šifra - ƒŽ‰‘”‹–ƒ œƒ 拈”‘˜ƒŒ‡Ǥ ‘‰— †ƒ ’‘•–‘Œ‡ ”ƒœŽ‹«‹–‹ –‹’‘˜‹ 拈ƒ”ƒǤ •‘˜‡ ’‘†‡Ž‡•—ƒŽƒ•‹«‡‹‘†‡”‡ǡ•‹‡–”‹«‡‹ƒ•‹‡–”‹«‡ǡƒ’•‘Ž—–‘‹’”ƒ–‹«‘ –ƒŒ‡Ǥ Šifrat - ”‡œ—Ž–ƒ–ˆ—…‹Œ‡ œƒ拈”‘˜ƒŒ‡‹Ž‹–”ƒ•ˆ‘”ƒ…‹Œƒ‘–˜‘”‡‡’‘”—‡ ‘ŒƒŒ‡ ‹˜‡”œƒ—œ’‘•‡†‘˜ƒŒ‡’”ƒ˜‘‰ŽŒ—«ƒǤ Šifrovanje - ’”‘…‡•–”ƒ•ˆ‘”ƒ…‹Œ‡‘–˜‘”‡‘‰–‡•–ƒ—拈”ƒ–Ǥ 



227

Osnovi teorije informacija i kodovanja ______________________________________________________________________________________

228

Na osnovu člana 23. stav 2. tačka 7. Zakona o porezu na dodatu vrednost („Službeni glasnik RS”, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Senata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga je odobrena kao osnovni udžbenik na Univerzitetu.

CIP - Каталогизација у публикацији Народна библиотека Србије, Београд 519.72(075.8) 004.22(075.8)

МИЛОСАВЉЕВИЋ, Милан, 1952Osnovi teorije informisanja i kodovanja / Milan Milosavljević, Saša Adamović. - 1. izd. - Beograd : #Univerzitet #Singidunum, 2013 (Loznica : Mladost grup). - 228 str. : ilustr. ; 24 cm

Tiraž 300. - Rečnik pojmova: str. 223-227. Bibliografija: str. 201. ISBN 978-86-7912-506-4 1. Адамовић, Саша, 1985- [аутор] a) Теорија информација b) Кодирање COBISS.SR-ID 200845580

© 2013. Sva prava zadržana. Nijedan deo ove publikacije ne može biti reprodukovan u bilo kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglasnosti izdavača.