UNIVERSITATEA
TITU MAIORESCU
Profesor univ. dr. ing.
Lector univ. dr.ing.
GRECU DAN
2010 1
UNIVERSITATE
TEORIA TRANSMITERII
Teori a tran tr ans smi ter ter i i Teori - a codurilor, teoria semnalelor aleatoare i teoria deciziilor statistice urile de evaluare. Modul de ajute oferindu- Disciplina Teori Teori a tran tr ans smi ter ter i i obiective specifice: Teoriei transmiterii codific . .
disciplinele ; tehnico- O comp tem
2
CUPRINS
pag.4 MODULUL 1- MODULUL 1- CAPITOLUL 1- ELEMENTE DE ............................... ............................................ ........................... ............................. ................................ ............................... ................................ ..........................pag.5 ........pag.5 1.1.
Informatia ............................. ....................................... ......................... .......................pag.5 ........pag.5
1.2.
Sistemul de transmitere a informatiei. ........................ ....................................... ...............pag.6 pag.6
1.3.
1.3. Modele de surse informationale. ......................... ........................................ ................pag.7 .pag.7
1.4.
1.4. Modelul probabilistic al semnalelor.......................... semnalelor..................................... ...........pag.8 pag.8
MODULUL 1- CAPITOLUL 2 - 2.1. Modele de surse informationale........................ informationale..................................... ........................... ................pag.9 ..pag.9 2.2. Informatia proprie conditionata.................... conditionata..................................... ........................... ..............pag.10 ....pag.10 TESTE DE AUTOEVALUAR .......................pag.21 BIBLIOGRAFIE BIBLIOGRAFIE RECOMAN R ECOMAN ....................... ....................... pag.21 MODULUL 2 - CODAREA SURSELOR .................... .........pag.22 .........pag.22 MODULUL 2- CAPITOLUL 1- .....pag.23 1.1 Codificarea surselor discrete....................... discrete..................................... ............................ ..................pag.23 ....pag.23 1.2 Codificarea neuniforma.............................................. neuniforma.............................................................. .................. .. pag.23 1.3. Codarea si decodarea pe canale fara perturbatii ... pag.25
1.5 Fano. .........................pa .........................pag.34 g.34 TESTE DE AUTOEVALUAR ................ ................ pag.39 BIBLIOGRAFIE BIBLIOGRAFIE RECOMAN ..................pag.40 MODULUL 3- ................pag.41 MODULUL 3 - CAPITOLUL 1 - CODUR ERORI......................... ERORI....................................... ........................... ....................... ........................ ........................................ ......................................... ...............pag.42 pag.42 1.1. Codarea si decodarea pe canale perturbate ............................. ..............................pag.42 .pag.42
..pag.44 1.3. Exemple de coduri liniare ..................................... ....................................................... ......................pag.46 ....pag.46 TESTE DE AUTOEVALUAR .................pag.62 BIBLIOGRAFIE BIBLIOGRAFIE RECOMAN ...................pag.63
3
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
INFORMAIEI
informaiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare. Stabilirea notiunii generalizate de informatie pentru caracterizarea proceselor de conducere dintr-un punct de vedere unitar,a fost un moment important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea dintr-un punct de vedere comun a celor mai diferite procese de comanda din natura. Se numeste informatie orice stire care poarta in sine urma unui fapt, eveniment sau proces oarecare. Informatia este comunicarea (mesajul) ce aduce stiri despre fapte, evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
elor specifice teoriei este estimat la aproximativ 6-8 ore pentru fiecare modul -un ritm de 2-3 ore pe zi.
4
MODULUL 1 CAPITOLUL 1 ELEMENTE DE TEORIA TRANSMITERII INFORMAIEI 1.5.
I nformatia i.
sele energetice care insotesc transmiterea informatiei joaca un ro l secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere, care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati reduse de energie.
evidentiindu-se in mod deo sebit latura informafionala a sistemului. Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului, auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre evenimentele din lumea ce il inconjoara. Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului, telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme, transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar greseli de imprimare. Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem f izic informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii. Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului. Problema principala a teoriei informatiei este studierea transformarii, pastrarii si transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio, imagine, video, semnale .
5
1.2. Sistemul de tr ansmitere a informatiei. Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui sistem de transmisiuni este data in fig.1.1
Fig.1.1 Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date sau introducerea unei redundante pentru lupta cu perturbatiile. Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat al adversarului etc. Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce la partea de receptie o copie acceptabila iesirii sursei. Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de canal. Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse date. Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca. Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
6
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de scopul transmisiuni. si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile sursei, ci caracterizeaza proprietatile cup -destinatar". Vom numi acest obiect
1.3. M odele de surse informationale. Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte mesajul respectiv. Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat, a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ..., p(ak). ca sa fie posibila decodificarea lor. Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea, aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu care sunt generate aceste mesaje admisibile. Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod. Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei. Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursadestinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat. Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda, care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de precizie adoptat.
7
1.4. M odelul probabilistic al semnalelor. Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide universalitatea cantitatii de informatie obtinuta pe baza unui model pro babilistic. Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in cadrul unui experiment se considera ca un eveniment. discrete, totdeauna se poate realiza o corespondenta biunivoca intre semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa corespunda un numar natural x X- si astfel multimea semnalelor discrete se poate inlocui cu o multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie numarul natural care corespunde semnalului respectiv. Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei aleatoare: X
x P x X
x 2
1
1
...
P x 2 X
...
P x X M x M
(1,1)
P x
Prin notatia X k se intelege probabilitatea de aparitie a evenimentului x=xk , adica probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X considerata. Evident: M
P x 1 X
K
(1.2)
K 1
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor elemente.
8
MODULUL 1 CAPITOLUL 2
2.1. M odele de surse informationale Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din multinea X se numeste entropia lui X si se calculeaza cu formula: K 1 H X P X x K log P X x K K 1 (1,3) sau mai simplu se scrie sub forma: 1 H X P x log P x K 1 (1.4)
Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de repartitia de probabilitati este data in fig 1.2:
Fig.1.2 Entropia semnalului Fie
9
x 1
X
x 2
p p 1
(1.5)
atunci:
H X p log
1
p
1 p log
1 1 p
H p (1.6)
2.2. Informatia proprie conditionata. Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:
x k 1 log y x Y i P x k y y i
I X
(1.7)
sau mai simplu se scrie:
x 1 I x log x y P k y i
(1.8) Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului x=xk . dtupa ce a avut loc evenimentul y =yi. Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o diferenta intre informatia proprie si informatia propr ie conditionata.
I x ; y log
x P y P x
log
1
P x
log
1
x P y
(1.9)
de unde
x I x ; y I x I y Din relatia anterioara se obtine pe baza reciprocitatii relatia: y I x ; y I y I x
10
(1.10)
(1.11)
In mod analog I(x;y) se poate scrie sub forma: x x P P y P y log y log P x , y log 1 log 1 log 1 I x ; y log P x P y P x P y P x P x P y P x , y (1.12) deci:
I x ; y I x I y I x , y
(1.13)
unde :
I x , y log
1
P x , y
(1.14)
reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de evenimente xy. Tinand seama ca: x y P x , y P x P P y P x y (1.15) rezulta ca, cantitatea de informatie proprie a unui even iment (x,y) se poate scrie sub forma: y I x , y I x I x
x I x , y I y I y
(1.16)
Luand mediile expresiilor din relatiile anterioare se obtine: x I x ; y H x H y
y I x ; y H y H x I x ; y H x H y H x , y
y H x , y H x H x x H x , y H y H y
(1.17)
Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X) este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y, adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt transinformatia.
11
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca entropia Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor. Proprietatea 1. H(X)>0 In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau egali cu zero pentru 0
x 1 ... x k ... x K 0 ... 1 ... 0
X
(1.18)
si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0. Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a fost pusa in evidenta de Jensen. Fie x,y,Psi Q numere positive si P+Q=1,atu nci avem:
logPx Qy P log x Q log y
(1.19)
in care avem egalitate daca si numai daca x=y. Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o proprietate care de asemenea joaca un rol important in teoria informatiei.
Fig.1.3. Proprietatea 2. Fie X multimea formata din K semnale ,atunci:
H x log K unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:
12
(1.20)
x 1 x 2 ... x k X 1 1 1 ... k k k
(1.21)
Proprietetea 3. Pentru doua multimi de semnale X si Y ,avem:
H x , y H x H y
(1.22)
in care avem egalitate daca si numai daca X si Y sunt statistic independente.
ate. Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui eveniment. Fie o sursa discreta care emite unul dintre cele q mesaje m1 , m2 ,, m q cu probabilitatile de aparitie p1 , p2 ,, p q . Este evident ca probabilitatile satisfac relatia p1
p2 p q 1 .
Continutul informational al mesajului k este notat cu I (m k ) . Pentru ca acest continut sa fie o masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :
p j I (mk ) I (mj ) (ii) daca pk 1 I (m k ) 0 (iii) daca 0 pk 1 I (m k ) 0 (i) daca pk
(iv) (aditivitatea) I (mk si mj ) I (mk ) I (mj )
daca
m k
si
m j
sunt
mesaje
independente
O functie continua de variabila p k care satisface proprietatile (i)-(iv) este functia logaritmica.
I (m k ) log
1
p k
log p k
Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali). Pentru cazul simplu al unei transmiteri seriale asincrone
13
T
se definesc -1 (a) rata de biti=(durata unui bit) =1/T 2 exprimata in biti/secunda (abreviat bps). (b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/ T 1 exprimata in bauds.
Problema 1 6 Se considera o trasmisie fax : 2,25 10 pixeli cu 12 tonuri de gri, echiprobabile. Care este cantitatea de informatie transmisa ?
Solutie I=nr.elemente informatie per element= 1 2,25106 log 2 2,25 106 log2 2 2 3 2 ,25 106 2 log2 3 12
biti
Problema 2 Un display monocolor cu
24 linii 80 caractere/linie 128 puncte/caracter 3 tonuri de gri/punct (a) Care este cantitatea de informatie pe pixel, caracter, ecran ? (b) Care este debitul de informatie stiind ca frecventa cadre lor este de 24 cadre/secunda ? Solutie (a)
I 24 80 128 log2 3 [ biti ]
(b)
R
1
f c I
I f c [ bps]
Problema 3 Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4 impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms. (a) Care este debitul de informatie ?
14
(b) Care este rata de bauds ? Solutie
R
I
4 log2 4
1,6 [kbps] 5 103 1 r bauds 3 103 [baud] 1 [kbaud] 10
(a)
(b)
Problema 4 Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate. Solutie
cantitatea de informatie necesara determinarii monedei false este I 1 log2
12 cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara 1 este I 2 log2 log2 2 1
2 cantitatea de informatie totala necesara a fi determinata I
cantitatea
I 3 log2
1 log2 12 1
de
informatie
1 log2 3 1
furnizata
de
o
I 1 I 2 log2 24
cantarire
numarul minim de cantariri I
(exista
3
stari
ale
balantei)
kI 3 24 3k k 3 .
3 sa se propuna un algoritm de depistare. Problema 5
Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt nivel 0: 1/2 nivel 1:1/4 nivel 2:1/8 nivel 3:1/8 Solutie
R r H
1 1 1 1 1 1 log log 2 log 5 10 2 2 4 4 8 8 1
3
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca entropia este maxima pentru o sursa care genereaza simboluri echiprobabile Hmax log2 n . Problema 6
15
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat matricei de tranzitie din figura de mai jos
BE
B
B
B B
B
B BE
B
Solutie Acest model descrie un canal care perturba simbolurile unei surse binare in masura in care la receptie sa poata fi interpretate ca fiind incerte. Metoda scalara
C max H (Y) H Y X p( x i )
3
H (Y)
p( y ) logp( y ) i
i
i 1
p ( y 1 ) p y 1 x 1 p ( x 1 ) p y 1 x 2 p ( x 2 ) p y 1 x 1 p ( x 1 ) (1 q ) p ( x 1 ) S-a utilizat formula probabilitatii totale, evenimentele x 1, x 2 fiind mutual exclusive. Analog se poate scrie
p( y2 ) (1 q) p( x2 ) p( y3 ) p y3 x1 p( x1 ) p y3 x2 p( x2 ) q p( x1 ) p( x2 ) q 1 q H (Y)
(1
q) p( x1 ) log(1 q) p( x1 ) q log q (1 q) p( x2 ) log(1 q) p( x2 )
(1 q) p( x1 ) log p( x1 ) p( x2 )log p( x2 ) (1 q) log(1 q) q log q
(1 q) H ( X ) (1 q) log(1 q) q log q
H Y X
2
3
p( x , y ) log p y x i
j
i 1 j 1
j
i
Conform regulii de inlantuire
p( xi , yj ) p yj xi p( xi )
Din graf se deduce ca
p y1 x1 1 q
p y1 x 2 0
16
p y2 x 1 0
p y2 x2 q
p y3 x1 q
p y3 x2 1 q
Se obtine H Y X (1 q) log(1 q) q log q
C (1 q) max H ( X ) (1 q) 1 1 q p( x i )
pentru setul optim de probabilitate la intrare p0 ( x1 )
p0 ( x2 ) 1 .
Metoda matriciala Se considera sursa care genereaza un alfabet de simboluri xi , i se receptioneaza un alfabet de simboluri y j , j 1, , m .
1,, n si la destinatie
Se pot scrie urmatoarele relatii:
P(Y) P( X ) PY X unde
P( X ) este matricea linie a sursei (1 n ) ; P(Y ) este matricea linie a destinatiei (1 m ) ; PY X este matricea dreptunghiulara de zgomot (n m ) .
Observatie In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate iesirilor. Matricea campurilor reunite (joint) este 0 p( x 1 ) 0 p( x 2 ) P( X , Y ) 0
0 0
PY X p( x n )
Matricea de zgomot PY X se poate obtine prin impartirea fiecarei linii i prin p(x ) i . Matricea de echivocatie P X Y se poate obtine prin impartirea fiecarei coloane j prin p(y ) . j Problema 7
2 / 3 1 / 3 Fie matricea de tranzitie PY X 1/4. si p(x 1 )=3/4 si p(x 2 )= 1 / 3 2 / 3 Se cere sa se calculeze (a) entropia campului de intrare 17
(b) entropia campului de iesire (c) entropia campurilor reunite (d) eroarea medie (e) echivocatia (f) transinformatia (g) capacitatea canalului si setul optim la intrare (h)eficienta si redundanta relativa a canalului
Solutie 2
(a)
H( X )
i 1
(b)
H (Y)
3 3 3 1 1 p( xi ) log p(xi ) log log 2 log 3 0 ,81 bit / simbol 4 4 4 4 4
2
p( y ) log p( y ) j
j
j 1
2 / 3 1 / 3 P(Y ) 3 / 4 1 / 4 7 / 12 5 / 12 1 / 3 2 / 3
7 log 7 5 log 5 0,98 bit / simbol 12 12 12 12
H (Y )
(c)
H X Y
2
2
p( x , y ) log p x y i
j
i
i 1 j 1
j
3 / 4 0 2 / 3 1 / 3 1 / 2 1 / 4 P( X ,Y ) 0 1 / 4 1 / 3 2 / 3 1 / 12 1 / 6 1 1 1 1 1 1 1 1 H ( X ,Y ) log log log log 1,73 bit / simbol 2 2 4 4 12 12 6 6 (d)
sau (e)
H Y X
2
2
p( x , y ) log p y x 0,92 bit / simbol i
j
j
i 1 j 1
i
H Y X H ( X ,Y) H ( X ) H X Y
2
2
p( x , y ) log p x y i
i 1 j 1
j
i
j
unde
18
1 2 7 12 P X Y 1 12 7 12
1 4 5
6 3 12 7 5 1 1 2 6 7 5 5 12
si
1 1 2 1 6 1 3 1 H X Y log log log log 0,75 bit / simbol 2 7 4 5 12 7 6 5
sau
H X Y H ( X ,Y) H (Y)
(f)
I ( X , Y) H( X) H( Y) H( X, Y) 0, 06 bit / simbol
(g) canalul fiind dublu uniform
1 1 1 1 C log 2 1 log1 (2 1) log 0,082 bit / simbol 3 3 3 3 Setul optim p0 ( x1) , p0 ( x2 ) se obtine din
C max H (Y) H Y X p0 ( x i )
p( y1 )
2
p( y2 )
1
3
3
p0 ( x1 )
1
p0 ( x1 )
2
HY X
2
3
3
p0 ( x2 )
p0 ( x2 )
2
2
2
p( x , y ) log p y x p y x p ( x ) log p y x i
i 1 j 1
j
j
j
i
i
0
i
i 1 j 1
2 2 1 1 2 2 1 1 log log p0 ( x1 ) p0 ( x2 ) log log 3 3 3 3 3 3 3 3
2 2 1 1 deci H Y X nu depinde de P( X ) C max H (Y ) log log p0 ( x i ) 3 3 3 3
19
j
i
dar
max H (Y) log 2 1 p( y1 ) p( y2 ) p0 ( x i )
1 2
p( y1 ) p y1 x1 p0 ( x1 ) p y1 x2 p0 (x2 ) p( y2 ) p y2 x1 p0 ( x1 ) p y2 x 2 p0 ( x2 )
p0 ( x1 ) p0 ( x2 )
1 2
.
Observatie Se mai poate utiliza si relatia p0 ( x1 ) p0 ( x2 ) (h)
( C )
1
I ( X , Y ) 0,73 C
R(C) C I ( X , Y) 0,022 bit / simbol
Problema 8
0,4 Fie un canal binar simetric avand matricea campurilor reunite P( X , Y ) ?
?
0,4
si
pentru care sursa genereaza simboluri echiprobabile. (a) Calculati matricea P( X , Y ) . (b) Calculati matricea de zgomot. (c) Calculati transinformatia. Solutie (a) canalul fiind simetric p( x2 , y1 ) p( x1 , y2 ) si folosind proprietatea (iii) a evenimentelor mutual exclusive se obtine p( x1 , y1 ) 2 p( x1 , y2 ) p( x2 , y2 ) 1 p( x1, y2 ) 0, 1 si
0,4 0,1 P( X , Y ) . 0 , 1 0 , 4
(b)
0,4 0,1 1 / 2 1 / 2 0,8 0,2 P Y X 0,1 0,4 0,2 0,8 1 / 2 1 / 2
20
TESTE DE AUTOEVALUARE Testul nr. 1 a. b. cantitatea de informaie con
Testul nr. 2 uleze cantitatea de informaiei unei figuri pe tabla de ah.
ilor reunite intrare-ie forma:
1 / 4 1 / 4 P Y X 1 / 4 1 / 4 uleze: a. b. ire; c. d. eroarea medie i echivocaia; e. transinformaia i capacitatea canalului.
BIBLIOGRAFIE RECOMAN i Informa- cureti, 1983.
Transmisiunii Informa iei - ti, 1983 [3] I. Angheloiu, ti, 1972. [4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
21
MODULUL 2 CODAREA SURSELOR IONALE
Compresia datelor este un proces de re prin car e edundaei mesajului genera entru a reduce resursele necesare memor cestui mesaj. Deoarece, de re pentru memorarea sau transmiterea unui mesaj se folose -o ermedia eprezentarea prin simboluri bina cele mai multe metode de compresie folosesc metode de codare binar - binar, ectivul compresiei cerea num de simboluri binare necesar pentru reprezentarea mesajului. c e pentru codare ea, cons au va cuvintelor de cod, codurile de compresie se clasif bloc- bloc, bloc variabil, variabil ariabil variabil, bloc bloc cuvinte de cod de lungime fiar variabil variabil corespun cuvintelor de cod. Din punct de vedere a c cut prin decompresie se asea -a ac at prin procesul de compresie, distinge algoritmi de compresie pierde ersibili, prin decompresie ndu-se mesajul originatocmai. Algoritmii de compresie cu pierderi au ca rezultat difer elativ mic tre mesajul rezultat prin decompre cel origina a compre esaje
-Fano.
22
MODULUL 2 CAPITOLUL 1 CODAREA SURSELOR 1.1 Codificarea surselor discrete. In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la cele initiale, adica decodificarea sa fie unica. Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui simbol nu depinde de celelalte sinboluri anter ioare. Alfabetul sursei discrete se noteaza cu succesiuni de litere
u 1 , u 2 ,...., u n
A a 1 , a 2 ...., a L ,deci sursa produce
formate cu ajutorul literelor din alfabetul sursei, deci
u i A
pentru Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a n 1 , 2 ,..., n semnalelor,adica probabilitatea unei succesiuni date de n litere de sursa este egala cu produsul probabilitatilor literelor de sursa ,deci:
P 1 , 2 ,...., n
n
P i
i 1
(2.1)
1.2 Codificarea neuniforma. Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
a , a ,...., a
M care apar cu probabilitatile P a 1 , P a 2 ,.., P a M . Fiecare sau litere notate cu 1 2 litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din alfabetul codului care contine D semnale X x 1 , x 2 ,.., x D .Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare a 1 , a 2 ,.., a M se noteaza cu c 1 ,c 2 ,.., c M ,iar totalitatea lor formeaza un cod, C c 1 , c 2 ,.., c M .Numarul semnalelor secundare c a n din cuvantul de cod k care,dupa cum s-a vazut,corespunde lui k ,se noteaza cu k .
23
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere economic,acel cod care conduce la un n -numarul mediu de litere de cod pe litere de sursa-cat mai mic posibil,unde n se mai numeste si lungimea mediea combinatiilor de co d:
n
M
P a n k
k
K 1
(2.2)
Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod atribuite semnalelor primare sunt distincte se numeste cod nesingular. C c 1 , c 2 ,.., c k Codul se numeste unic decodabile daca succesiunile cuvintelor de cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte. Fie un cuvant de cod
c i x i 1 , x i 2 ,..., x im
c
.Sirul de litere
x i 1 , x i 2 ,..., x im
,unde k m se
numeste prefixul lui i . Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care prezinta un interes deosebit din punct de vedere practice. Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se numesc si coduri ireductibile. Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d. Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea teorema:orice cod cu conditia de prefix este un cod unic deco dabil. Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum simplu,sau nodul final de la extremitatea drumului simplu corespunzator Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o combinatie de cod. De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod internediar. Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este asemanatoare, tinand cont ca din fiecare nod pomesc D arce.
24
1.3. Codarea si decodarea pe canale fara perturbatii. In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor tie numita
Definirea unui cod.
S s1, s2 ,......, sN
(2.3)
P p1 , p2 ,......, pN
(2.4)
cu probabilitatea de aparitie p si p i
Fie alfabetul canalului
X x1 , x2 ,......, xq
(2.5)
constituit dintr-un numar finit de semne (litere, caractere) Se considera reuniunea secventelor finite de litere din alfabetul canalului:
X*
X n
(2.6)
n *
Orice aplicatie S X se numeste codarea alfabetului S prin alfabetul X *
Un element si
X *
si care corespunde lui s i
n si * n i este numarul de litere cale Il formeaza. Totalitatea *
cuvintelor de cod constitue codul lui S cu mentiunea ca X poate contine si combinatii care nu apartin codului, numite cuvinte fara sens. Astfel, un text constituit din secvente de mesaje:
m j si 1, si 2 ,......, sik
(2.7)
este codat prin secventele de cuvinte de cod (cu sens) * m j si 1* , si*2 , ......, sik
25
(2.8)
Decodarea implica posibilitate n mod unic (aplicatia
S X * sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular). Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s1* , s 2* 10 si s 3 01. Codul 010 poate fi interpretat fie s1* , s 2* fie s3* , s 1* . Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i n
corespunda o succesiune unica de litere, adica aplicatia
Sk X * sa fie si ea injectiva. k 1
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta proprietate sunt: (a) utilizarea cuvintelor de cod de aceiasi lungime (bloc) (b) utilizarea unui semn distinct Intre cuvintel (separator) Exista nsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura proprietate de unic decodabil. Aceste coduri se numesc separabile.
Alcatuirea unui cod. Teorema Kraft Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de lungime n1 , n2 ,......, n N este ca N
q n i 1
(2.9)
i 1
Observatii 1. Se reaminteste ca q card X este numarul de litere din alfabetul canalului. 2. Daca numarul cuvintelor de lungime k este r k atunci conditia (1.9) devine n
r q k
k
1
(2.10)
k 1 n
cu N
r
k
k 1
Teorema Mac Millan Un cod este ireductibil daca si numai daca
n1 n2 ...... n N 26
(2.11)
Criterii de apreciere a unui cod. Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
n
n
p n i
(2.12)
i
i 1
unde p i sunt definite prin (1.4) si n i i . Este evident ca se cauta ca n limitat inferior de entropia informationala pe simbol a alfabetului de co d
n
H log 2 q
(2.13)
unde H este entropia sursei. In aceste conditii, eficienta unui cod este
H n log 2 q
1
(2.14)
iar redundanta codului este
1
(2.15)
Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se numesc coduri absolut optimale
Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil pentru care lungimea medie a cuvintelor e . Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima
pe un canal neperturbat de capacitate data. Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau compacte.
27
1.4. . S = { s 1, s 2 ,..., sN }
.
respectiv
,
S un alt procedeu de codare.
astfel:
-
={
}, cu p(
)
p(
) ... p(
), cu
-un nou mesaj, notat cu
-
={
cu p(
)
p(
) ... p(
) ...
-un nou mesaj
, de
.
ordine -
mesaje,
analog, din
, cu p( )
. De fapt,
invers.
28
va fi
i
va fi
sau
mea S a mesajelor poate fi
) i
sunt cele
- ii
-
- -
n singur mesaj
, k=
.
S cuvintelor de co luate individual.
S poate furniza N N-
ine N-
N n mesaje, care sunt
N-n=2 => n=N-2
(2.16) simbolul "1", celor N- 2
-li-
, va avea
simbolul "0",
realiza cuvintelor de cod.
tantanee 29
Exemplul 3.1.
S:
ate realiza astfel:
Fig. 3.2. Schema de codare pentru exemplul 3.1 Graful i cuvintele de cod corespunztoare codrii efectuate sunt date n Fig. 3.3.
Fig.3
30
minime, ceea ce va c
S:
31
Fig. 3.7.
32
Pentru acest cod, lungimea medie este, evide
ursei -un buffer.
mai multe
de capacitat
, cu primul cod se
rimul.
33
1.5 Fano. p(
=
,
(
) k=
(2.17)
S = {s 1, s 2
unde
,..., sN }
p(
)
p(
). Sursa S
(2.18)
(2.19)
, atunci se poate
scrie:
S - relaia (1.21): 34
(2.21)
ia (1.22):
(2.22)
Kraft egalitate. e, atunci, astfel:
, (sau invers),
, vor
vor
dar toate absolut optimale.
- rela
35
Exemplul 3.2.
S:
-
Graful arborescent ataat codului astfel ob
36
Simularea cu ajutorul programului M ATLAB a algoritmului de compresie Shannon-Fano care -
Exerci Exemplu
, mesaj
s 0
A 00
B 0
C 0
D 0
s 1
01
10
01
10
s 2
10
110
011
110
s 3
11
1110
0111
111
37
Folosind codul B, succesiunile s3 ss 1 0s 2 se codifica 1110100110. Dupa receptinarea primelor sase biti se poate determina ca s-a receptionat s3s 1 . Daca Insa se folosec codul C, succesiunea s3 ss 1 0s 2 se codifica 011010011. Dupa receptionarea primelor sase biti conduce la decodarea s 3 dar secventa 01 poate fi interpretata la acel moment fie care s 1 fie ca, s 2 fie ca s 3 , ambiguitatea -se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod instantaneu.
Se considera sursa care genereaza simbolurile : - s0 cu probabilitatea p1 = 0,5 - s1 cu probabilitatea p2 = 0,25 - s2 cu probabilitatea p3 = 0,125 - s3 cu probabilitatea p4 = 0,125 Se cere sa se determine eficienta codurilor A, B, C si D Solutie Entropia sursei este 4
H
p i log 2 p i
i 1
1 2
log 2
1 2
1
1
4
4
log 2
1
1
7
8
8
4
2 log
biti
7 Pentru codul A lungimea medie a codului este n A
2
si A
7 1 4 iar 2 log 2 2 8 2
Codurile B si C cu aceiasi lungime medie
nB n C 0,5 1 0,25 2 0,125 3 0 ,125 4 1,875 B
C
B
C
Codul D are n D D
1, 75 1875 ,
14 15
1 15
0,5 1 0,25 2 0,125 3 1,75
1,75 1,75 log 2 2
1
D
0
38
si
TESTE DE AUTOEVALUAR Testul nr. 1 1.
a 1
a 9 0.48 0.14 0.14 0.07 0.07 0.04 0.02 0.02 0.02
A
a 2
a 3
a 4
a 5
a 6
a 7
a 8
lungimea medie a cuvintelor de cod.
Testul nr. 2 2.
a 1
a 9 0.48 0.14 0.14 0.07 0.07 0.04 0.02 0.02 0.02
A
a 2
a 3
a 4
a 5
a 6
a 7
a 8
- lungimea medie a cuvintelor de cod.
S s 1 , s 2 , s 3 , s 4 , s 5 , s 6 ile
P 0.05,0.1,0.3,0.25,0.1,0.2 : a. alfabetul codului este X 0,1 X 0,1,2 ; b. i eficiena codului.
39
BIBLIOGRAFIE RECOMAN unii Informa- cureti, 1983.
Transmisiunii Informa iei - ti, 1983 [3] I. Angheloiti, 1972. [4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
40
MODULUL 3 CODURI DETECTOARE
DE ERORI
- un caracter aditiv.
0
1
0
0
1
1
1
0
1 = 1. probleme:
1 codarea trebuie astfel efec ceea ce s- -au introdus erori. 2 tea - , coduri bloc ngime coduri nonbloc (sau recurente) 1. 2.
41
MODULUL 3 CAPITOLUL 1
DE ERORI 3.1. Codarea si decodarea pe canale perturbate S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este probablitatea de eroare.
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise. Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si decodorul canalului. transmis. Acesti biti aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor. Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare. Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura 5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei b k cu un debit r b pe un canal zgomotos. Datorita zgomotului fluxului de date receptionate
b difera
k
uneori de secventa
transmisa b k .
Se impune ca probabilitatea de eroare P bk
b k
valoare. Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de eroare.
k n n k este uneori k biti ai mesajului. Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa eroare.
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea receptiona .1 este prezentata schema bloc pentru un sistem de codare/decodare.
42
r b
rc r b
Codor canal
mesaj k
mesaj k
n k
Modulator
control n-k Canal
n
mesaj k
Decodor canal
Demodulator
Fig. 3.1
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza n biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile anterioare. tre doua cuvinte binare de lungime
n u x1, x 2, ......, x n ; v y 1, y 2 ,......, y n $ x i , y i 0,1 este numarul pozitiilor n
d u , v
x i y i
(3.1)
i 1
Observatie Numarul natural d u,v verifica axiomele distantei
(a) d u ,v d v , u 0 (b ) d u,v 0 u v (c ) d u,v d u,w d w ,v
43
(3.2)
O reprezentare geometrica a lui u poate fi un punct de coordonate x 1 ,...... x n In n
n
R 3 . R . Cele 2
combinatii de n
x 3
001
Distanta Hamming
011
mai mic numar de laturi care le unesc
101
111 010
000
x 2
110
100 x 1
Fig 3.2
n k cod si nu poat 2 cuvinte de cod, numai 2 atunci n k este posibil sa se depisteze unele erori singulare deoarece 2 toate cuvintele sunt la distante mutuale de cel putin egale cu d 0 . Cazul 1 Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este ca d 0 2r 1 Cazul 2 Daca d 0
2r se pot corecta cel mult r 1 erori.
3.2. Coduri bloc liniar e
-un bloc de
k biti mesaj este codat
n k biti prin adaugarea de n k biti de control. Bitii de control sunt obtinuti pe baza celor k biti mesaj, a.3.
44
mesa
cod bloc
Codor canal
mesaj
k
mesaj
biti
biti de control
k
Fig. 3.3
Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod
2 k cuvinte de cod poate fi exprimat ca o combinatie lineara de k vectori independenti, atunci codul este si linear.
k biti. (2) codorul transforma fie -un bloc mai mare de n conformitate cu anumite reguli. Acesti n k biti aditionali sunt generati printr-o combinatie lineara de biti mesaj si operatiile pot fi descrise folosind matrice. Blocul mesaj este reprezentat printr- k componente D
d1
...... d k
d2
cu
d i
0,1 ; i
1, k
-c de lungime C
c1
c2
......
n
cn
Se observa ca eficienta acestui cod este k n . Pentru un cod linear, sistematic primii k adica ci
(3.3)
d i
i
1,2,......, k
(3.4)
Ultimii n k k
45
c k 1 p11d1 p 21d 2 p k ,1d k
(3.5)
c n p1, n k d1 p2, n k d 2 p k , n k d k Coeficientii p i , j din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2. Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala
c1
...
c n d1
1000...0 0100...0 0010...0 000...01
... d k
p11 p12 ... p 1, n k
p21 p22 ... p 2, n k
p31 p 32 ... p 3, n k (3.6) p k ,1 p k 2 ... p k , n k k n
sau
C D G unde G este o matrice de tip k
(3.7)
n numita matricea generatoare a codului si are
forma
G I k P
(3.8)
k n
Matricea I k este matricea unitate de ordinul k iar P este o matrice arbritara
k n k . Sa remarcam ca specificarea lui P defineste complet codul bloc n, k . Proiectarea unui cod bloc
n, k
prin selectarea unei matrici P tr
vedere urmatoarele proprieteti - comoditatea implementarii - capacitatea de a corecta erorile singulare si pachetele de erori (burst errors) - eficienta codului da fie ridicata Prin eficienta codului se Intelege raportul
k n
pentru o anumita capacitate de
detectie/corectie. Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca toate proprietatile de mai sus.
3.3. Exemple de coduri liniare Codul Hamming Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu m
ajutorul matricei de control H, care este formata din m linii si 2 - 1 coloane, lar coloanele sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici: 46
- lungimea combinatiilor de cod este n = 2m -1; - numarul simbolurilor de control este r=n - k ; -numarul simbolurilor informationale este k Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri simetrice pe k pozitii) . La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan, rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul de cod receptionat. Lungimea n a codulu m r
k
i C m i 0
(3.8)
m 1 n k 1 Cm ... Cmr 1
(3.9)
m-r
La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din codul receptionat. Fie Vn un spatiu vectorial peste GF(2), n dimensionali avand componentele 0 sau 1. u * V
u * V GF (2) .
a b si i
i
Se pot observa urmatoarele : produsul scalar este nul daca ponderea produsului vecto rial este un numar par ; fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra liniara, asociativa si comutativa.
Codul Reed-Muller se poate defini cu urmatorii parametrii : n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
r
k
k
n
k 0
, unde k este numarul de simboluri informationale din cod ; d=2m-r, unde d este distanta minima a codurilor ; 1 2 n r 1 n k 1 C m C m ... C m , pentru care se defineste codul RM(m,r) ; d 1 t
C
2 unde t este numarul de erori pe care il poate corecta codul RM(m,r).
Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu vectorial, generat de urmatorii vectori liniari independenti care constituie matricea generatoare : 47
Vm-
Vm x Vm-
(3.10)
Vr x Vr- Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x Gkxn. Codul Reed-Muller (5,2) Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori : m=5 ; r=2 ; n=32 n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3 erori pe cuvant. Matricea V pentru RM(5,2) este : (1111 (0000 (0000 (0000 (0011 (0101 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0001
1111 0000 0000 1111 0011 0101 0000 0000 0000 0000 0000 0000 0000 0011 0101 0001
1111 0000 1111 0000 0011 0101 0000 0000 0000 0000 0000 0011 0101 0000 0000 0001
1111 0000 1111 1111 0011 0101 0000 0000 0000 0000 1111 0011 0101 0011 0101 0001
1111 1111 0000 0000 0011 0101 0000 0000 0011 0101 0000 0000 0000 0000 0000 0001
1111 1111 0000 1111 0011 0101 0000 1111 0011 0101 0000 0000 0000 0011 0111 0001
1111 1111 1111 0000 0011 0101 1111 0000 0011 0101 0000 0011 0101 0000 0000 0001
1111){V0} 1111){V5} 1111){V4} 1111){V3} 0011){V2} 0101){V1} 1111){V54} 1111){V53} 0011){V52} 0101){V51} 1111){V43} 0011){V42} 0101){V41} 0011){V32} 0101){V31} 0001);{V21}
(3.11)
Se defineste X m x G unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21). Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom scrie cate un set de relatii de control corespunzator componentei informationale din mesajul transmis care are acelasi indice cu vectorul analizat. Mesajul informational este : a 1 x k = ( a 0 a 5 a 4 a 3 a 2 a 1 a 5 4 a 5 3 a 5 2 a 5 1 a 4 3 a 4 2 a 4 1 a 3 2 a 3 1 a 2 1 ) . Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara. Sumele din sistem sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea majoritara din sistem :
a 21
y 0 y 1 y 2 y 3
a 21
y 4 y 5 y 6 y 7 48
a 21 y 8 y 9 y 10 y 11 a 21 y 12 y 13 y 14 y 15 a 21 y 16 y 17 y 18 y 19 a 21 y 20 y 21 y 22 y 23 a 21 y 24 y 25 y 26 y 27 a 21 y 28 y 29 y 30 y 31
Iar a21 este valoarea majoritara a sistemului. a 31 y 0 y 1 y 4 y 5 a 31 y 2 y 3 y 6 y 7 a 31 y 8 y 9 y 12 y 13 a 31 y 10 y 11 y 14 y 15 a 31 y 16 y 17 y 20 y 21 a 31 y 18 y 19 y 22 y 23 a 31 y 24 y 25 y 28 y 29 a 31 y 26 y 27 y 30 y 31
Iar a31 este valoarea majoritara a sistemului. a 32 y 0 y 2 y 4 y 6 a 32 y 1 y 3 y 5 y 7 a 32 y 8 y 10 y 12 y 14 a 32 y 9 y 11 y 13 y 15 a 32 y 16 y 18 y 20 y 22 a 32 y 17 y 19 y 21 y 23 a 32 y 24 y 26 y 28 y 30 a 32 y 25 y 27 y 29 y 31
Iar a32 este valoarea majoritara a sistemului. a 41 y 0 y 1 y 8 y 9 a 41 y 2 y 3 y 10 y 11 a 41 y 4 y 5 y 12 y 13 a 41 y 6 y 7 y 14 y 15
49
a 41 y 16 y 17 y 24 y 25 a 41 y 18 y 19 y 26 y 27 a 41 y 20 y 21 y 28 y 29 a 41 y 22 y 23 y 30 y 31
Iar a41 este valoarea majoritara a sistemului. a 42 y 0 y 2 y 8 y 10 a 42 y 1 y 3 y 9 y 11 a 42 y 4 y 6 y 12 y 14 a 42 y 5 y 7 y 13 y 15 a 42 y 16 y 18 y 24 y 26 a 42 y 17 y 19 y 25 y 27 a 42 y 20 y 22 y 28 y 30 a 42 y 21 y 23 y 29 y 31
Iar a42 este valoarea majoritara a sistemului. a 43 y 0 y 4 y 8 y 12 a 43 y 1 y 5 y 9 y 13 a 43 y 2 y 6 y 10 y 14 a 43 y 3 y 7 y 11 y 15 a 43 y 16 y 20 y 24 y 28 a 43 y 17 y 21 y 25 y 29 a 43 y 18 y 22 y 26 y 30 a 43 y 19 y 23 y 27 y 31
Iar a43 este valoarea majoritara a sistemului. a 51 y 0 y 1 y 16 y 17 a 51 y 2 y 3 y 18 y 19 a 51 y 4 y 5 y 20 y 21 a 51 y 6 y 7 y 22 y 23 a 51 y 8 y 9 y 24 y 25 a 51 y 10 y 11 y 26 y 27 a 51 y 10 y 11 y 28 y 29
50
a 51 y 14 y 15 y 30 y 31
Iar a51 este valoarea majoritara a sistemului. a 52 y 0 y 2 y 16 y 18 a 52 y 1 y 3 y 17 y 19 a 52 y 4 y 6 y 20 y 22 a 52 y 5 y 7 y 21 y 23 a 52 y 8 y 10 y 24 y 26 a 52 y 9 y 11 y 25 y 27 a 52 y 12 y 14 y 28 y 30 a 52 y 13 y 15 y 29 y 31
Iar a52 este valoarea majoritara a sistemului. a 53 y 0 y 4 y 16 y 20 a 53 y 1 y 5 y 17 y 21 a 53 y 2 y 6 y 18 y 22 a 53 y 3 y 7 y 19 y 23 a 53 y 8 y 12 y 24 y 28 a 53 y 9 y 13 y 25 y 29 a 53 y 10 y 14 y 26 y 30 a 53 y 11 y 15 y 27 y 31
Iar a53 este valoarea majoritara a sistemului. a 54 y 0 y 8 y 16 y 24 a 54 y 1 y 9 y 17 y 25 a 54 y 2 y 10 y 18 y 26 a 54 y 3 y 11 y 19 y 27 a 54 y 4 y 12 y 20 y 28 a 54 y 5 y 13 y 21 y 29 a 54 y 6 y 14 y 22 y 30 a 54 y 7 y 15 y 23 y 31
Iar a54 este valoarea majoritara a sistemului.
51
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se procedeaza in felul urmator: se elimina influenta din relatiile de control a componentelor corespunzatoare vectorilor compusi ; se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).
: y = y-(a 54 * V 54 +a 53 * V 53 +a 52 * V 52 +a 51* V 51+a 43 * V 43 +a 42 * V 42 +a 41* V 41+a 32 * V 32 +a 31* V 31 +a 21* V 21 );
Pentru a vedea valoarea componentei mesajului informational : (a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) se procedeaza pe baza logicii majoritare. a 1 y 0 y 1 a 1 y 2 y 3 a 1 y 4 y 5 a 1 y 6 y 7 a 1 y 8 y 9 a 1 y 12 y 13 a 1 y 14 y 15 a 1 y 16 y 17 a 1 y 18 y 19 a 1 y 20 y 21 a 1 y 22 y 23 a 1 y 24 y 25 a 1 y 26 y 27 a 1 y 28 y 29 a 1 y 30 y 31
Iar a1 este valoarea majoritara a sistemului. a 2 y 0 y 2 a 2 y 1 y 3 a 2 y 4 y 6 a 2 y 5 y 7 a 2 y 8 y 10
52
a 2 y 9 y 11 a 2 y 12 y 14 a 2 y 13 y 15 a 2 y 16 y 18 a 2 y 17 y 19 a 2 y 20 y 22 a 2 y 21 y 23 a 2 y 24 y 26 a 2 y 25 y 27 a 2 y 28 y 30 a 2 y 29 y 31
Iar a2 este valoarea majoritara a sistemului. a 3
y 0
y 4
a 3
y 1
y 5
a 3
y 2
y 6
a 3
y 3
y 7
a 3
y 8
y 12
a 3
y 9
y 13
a 3
y 10
y 14
a 3
y 11
y 15
a 3
y 16
y 20
a 3
y 17
y 21
a 3
y 18
y 22
a 3
y 19
y 23
a 3
y 24
y 28
a 3
y 25
y 29
a 3
y 26
y 30
a 3
y 27
y 31
Iar a3 este valoarea majoritara a sistemului.
53
a 4
y 0
y 8
a 4
y 1
y 9
a 4
y 2
y 10
a 4
y 3
y 11
a 4
y 4
y 12
a 4
y 5
y 13
a 4
y 6
y 14
a 4
y 7
y 15
a 4
y 16
y 24
a 4
y 17
y 25
a 4
y 18
y 26
a 4
y 19
y 27
a 4
y 20
y 28
a 4
y 21
y 29
a 4
y 22
y 30
a 4
y 23
y 31
Iar a4 este valoarea majoritara a sistemului. a 5
y 0
y 16
a 5
y 1
y 17
a 5
y 2
y 18
a 5
y 3
y 19
a 5
y 4
y 20
a 5
y 5
y 21
a 5
y 6
y 22
a 5
y 7
y 23
a 5
y 8
y 24
a 5
y 9
y 25
a 5
y 10
y 26
a 5
y 11
y 27
a 5
y 12
y 28
a 5
y 11
y 29
a 5
y 14
y 30
a 5
y 15
y 31
Iar a5 este valoarea majoritara a sistemului. Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor : y -(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5) 54
Pentru a evalua pe a0, observam numarul majoritar de componente din y celor mai multe componente va fi valoarea lui a0. Mesajul corectat este : m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clas de coduri ciclice cu o deosebit capacitate de corecie a erorilor, care generalizeaz codurile Hamming pentru corecia erorilor multiple. Un cod ciclic binar, corector de t
Lungimea blocului n=
, cu m
-k Distana d
mt, t
,
,
se nume GF(
). Prin urmare g( Fie
)=0, i=
polinomul minimal al lui
multiplu comun (c.m.m.m.c) al polinoamelor i anume: g(x)= (c.m.m.m.c){
,
,
}.
i poate fi exprimat sub forma i=k* este conjugatul elementului
,k
=
. D
i conjugatele acestora. Prin urmare, minimal i deci
, impar. Atunci
i
au acelai polinom
. Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){
,
}.
(3.12)
m , polinomul g(x) va fi de grad cel mult egal cu mt : n-k
mt.
mt -k
, va fi cel mult egal cu
n-k
55
mt.
Codul BCH de lungime
, cu m
(sau primitive). Aceste coduri sunt generate de elemente p din GF(
).
Un cod BCH de lungime polinomul g(x)=
.
Polinoamele minimale ale elementelor din GF(
Exemplu.
) generate de g(x)=1+x+
=1+
(3.13)
=1+
(3.14)
Deoarece
Conform tabelului 3.3
(3.15)
Deci = 1+x+
56
(3.16)
Deoarece din 2t- i de lungime
n=
=
}=
15
este
generat
(x)=1+
de
g(x)=
(c.m.m.m.c){
,
.
Fie v(x) un polinom de cod cu coeficien v(x)=
din GF(
).
, atunci
+
(3.17)
Se introduce matricea
(3.18)
=0.
v n spaiul nul al matricei H i deci H este matrice de control a codului.
Aplica ii Simularea cu ajutorul programului M ATLAB a codului BCH Codurile BCH fac parte din categoria codurilor ciclice Se vor utiliza urmtoarele blocuri: - Random-I nteger Generator: genereaz numere ntregi distribuite n intervalul [0, M-1]. Parametrii blocului sunt: - -ary number este 2^7 deoarece codul BCH utilizat este BCH(15,7) numerele generate sunt reprezentate n binar pe 7 bi i. - nitial seed este [1458]. Modificnd acest parametru se modifica secven a de numere generate. - Sample time este 1. Genereaz cte un num la fiecare secun - I nteger to Bit Converter: transform un vector de ntregi ntr-un vector de bi i. Parametrul blocului este: - umber of bits per integer este 7. Se lucreaz pe 7 bi i. - BCH Encoder: creaz un cod BCH din datele vectorului binar. Parametrii blocului 57
sunt: - Codeword length N este 15. - Message length K este 7 deoarece se utilizeaz codul BCH(15,7). - Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt: - Error probability este 0.1, pentru a nu introduce erori. - Input vector length este 15 deoarece cuvntul de cod cu care se adun este reprezentat pe 15 bi i. - Initial see este 12345. - Sample time este 1 pentru a se genera un eantion la fiecare sec- BCH Decoder: decodeaz un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului sunt: - Codeword length N este 15 . - Message length K este 7 deoarece se utilizeaz codul BCH(15,7). - Bit to I nteger Converter: transform un vector de bi i ntr-un vector de ntregi. Parametrul blocului este: - umber of bits per integer este 7. - Err or M eter: compar semnalele de la intrare, le afieaz i evalueaz rata de eroare. Parametrii blocului sunt: - Bit per symbol este 7 deoarece utilizeaz 7 bi i pentru fiecare simbol transmis. - umber of digits on display este 20 deoarece afieaz 20 de simboluri. st nd - elay between input (1 port) and output (2 port) este 0. - Sample time este 1 deoarece se consider un eantion la fiecare secund. - Sum: afieaz suma elementelor de la intrare. Parametrii blocului sunt: - Icon shape este rectangular. - List of signs este +. - Graph Scope: afieaz numrul de erori. Parametrii blocului sunt: - Time range este 10. - y-mi este -1. - y-ma este 5. - Line typeeste 'ro/b*' - M ux: multiplexeaz semnalele de la intrare. - Display: afieaz valoarea de la intrare. Se va realiza schema bloc arat se va rula pentru diferite valori ale probabilitatii de eroare si se vor analiza rezultatele.
58
Simularea cu ajutorul programului M ATLAB a codului H amming
care -
59
eroare i detector de erori duble. Se cere: a. ie k, al celor de control m, i cod n; b. c. c 2 ; d. c 2 i c 1 ; e. f. v 1 1 0 0 1 1 0
Soluie ie
k
i
ul
simbolurilor
de
control:
La aceste simboluri de control, care permit corec simbolul de verificare la paritate, a =m+1=3+1=4
Unde
ii, iar
- simbolurile de control
pebtru codul corector de o eroare. b). Matricea H a codului corector de o eroare este de forma: H=[
]
respectiv:
H=
Cu relaia (2.33) se obine pentru matricea
60
expresia:
=
Cu rela
Din expresi 2-a (z=
pe poziia a
).
:
=
).
ie cu relaia
61
Cuvintele Simboluri Cuvinte
0
0
0
0
0
0
0
1
0
1
0
1
0
1
1
1
0
0
1
1
0
0
1
1
0
0
1
1
1
1
1
1
0
0
0
0
1
0
1
1
0
1
0
0
1
1
1
1
0
1
0
0
1
0
1
1
astfel:
=
Deoarece
=
de constatat i prin inspectarea tabelului anterior
TESTE DE AUTOEVALUAR Testul nr. 1
ontrol de forma:
1 H 0 0
0
0
1
1
1
0
0
1
0
1
1
0
a. ile de corecie ale codului. Codul este perfect? b. 62
.
