Vestacka inteligencija

Predrag Janiˇcić

Mladen Nikolić

Veˇstaˇ cka inteligencija c

Juni 2010

2 Autori: dr Predrag Janiˇcić, vanredni profesor Matematiˇckog fakulteta u Beogradu email: [email protected] url: www.matf.bg.ac.rs/~janicic Mladen Nikolić, asistent na Matematiˇckom fakultetu u Beogradu email: [email protected] url: www.matf.bg.ac.rs/~nikolic

ˇ CKA ˇ VESTA INTELIGENCIJA

Sva prava zadrˇzana. Nijedan deo ovog materijala ne moˇze biti reprodukovan niti smeˇsten u sistem za pretraˇzivanje ili transmitovanje u bilo kom obliku, elektronski, mehaniˇcki, fotokopiranjem, smanjenjem ili na drugi naˇcin, bez prethodne pismene dozvole autora.

Sadrˇzaj 1

Uvod 1.1 Uska i opˇsta veˇstaˇcka inteligencija . . . . . . . . . . . . . . . . .

9 11

I

Logika i logiˇcko programiranje

15

2

Iskazna logika 2.1 Sintaksa iskazne logike . . . . . . . . . . . . . . . . . . . . . . 2.2 Semantika iskazne logike . . . . . . . . . . . . . . . . . . . . . 2.2.1 Valuacija, interpretacija, model; zadovoljive, valjane, porecive i kontradiktorne formule . . . . . . . . . . . 2.2.2 Istinitosne tablice . . . . . . . . . . . . . . . . . . . . . 2.2.3 Logiˇcke posledice, logiˇcki ekvivalentne formule, supstitucija . . . . . . . . . . . . . . . . . . . . . . . . 2.2.4 Potpuni skupovi veznika . . . . . . . . . . . . . . . . 2.2.5 Normalne forme . . . . . . . . . . . . . . . . . . . . . 2.2.6 Dejvis–Patnam–Logman–Lovelandova procedura . . 2.2.7 Primer modelovanja problema u iskaznoj logici . . .

3

4

Logika prvog reda 3.1 Sintaksa logike prvog reda . . . . . . . . . . . . . . . . . . . . 3.2 Semantika logike prvog reda . . . . . . . . . . . . . . . . . . 3.2.1 Valuacija, interpretacija, model; zadovoljive, valjane, porecive i kontradiktorne formule . . . . . . . . . . . 3.2.2 Logiˇcke posledice, logiˇcki ekvivalentne formule, supstitucija . . . . . . . . . . . . . . . . . . . . . . . . 3.2.3 Normalne forme . . . . . . . . . . . . . . . . . . . . . 3.2.4 Unifikacija . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.5 Metod rezolucije . . . . . . . . . . . . . . . . . . . . . 3.3 Prirodna dedukcija . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Saˇzetak . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PROLOG 4.1 Interpretatori i kompilatori . . . . 4.2 Sintaksa i semantika u PROLOG-U 4.3 Poˇcetni primeri . . . . . . . . . . . 4.4 PROLOG i metod rezolucije . . . . 4.5 Stablo izvodjenja . . . . . . . . . . 3

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . .

17 17 19

. . . .

19 21

. . . . .

. . . . .

23 26 28 30 31

. . . .

35 36 39

. .

39

. . . . . .

. . . . . .

43 48 52 57 67 72

. . . . .

73 73 74 75 77 78

. . . . .

ˇ SADRZAJ

4 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13

II

Operator seˇcenja . . . . . . . . . . . . . . . Negacija kao neuspeh . . . . . . . . . . . . Liste . . . . . . . . . . . . . . . . . . . . . . Ugradjeni predikati . . . . . . . . . . . . . Implementacija KNF algoritma . . . . . . Implementacija DPLL algoritma . . . . . Pretraga grafa . . . . . . . . . . . . . . . . Primer reˇsavanje jednostavnog problema

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

Pretraga

79 83 85 89 92 94 97 97

101

5

Reˇsavanje problema kao pretraga 103 5.1 Kvalitet algoritama pretrage . . . . . . . . . . . . . . . . . . . . . 105 5.2 Neinformisana i informisana pretraga . . . . . . . . . . . . . . . 106

6

Pohlepna pretraga 6.1 Penjanje uzbrdo u sluˇcaju diferencijabilne funkcije cilja . . . . .

109 110

7

Odredivanje puteva u grafu ¯ 7.1 Obilazak grafa u dubinu i sˇ irinu . . . . . . . . . . . . . . . 7.2 Dejkstrin algoritam . . . . . . . . . . . . . . . . . . . . . . . 7.3 A* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.1 Primer upotrebe algoritma A* . . . . . . . . . . . . . 7.3.2 Specijalni sluˇcajevi . . . . . . . . . . . . . . . . . . . 7.3.3 Primer upotrebe algoritma A* na uniformnoj mreˇzi 7.3.4 Svojstva algoritma A* . . . . . . . . . . . . . . . . . 7.3.5 Implementaciona pitanja . . . . . . . . . . . . . . .

. . . . . . . .

113 113 114 115 117 119 120 124 124

. . . . . . . . . . . . . . . . .

127 127 129 131 132 132 133 133 134 137 138 139 139 140 141 142 142 143

8

. . . . . . . .

. . . . . . . .

Programiranje logiˇckih igara 8.1 Razvoj automatskog igranja logiˇckih igara i osnovni koncepti 8.2 Legalni potezi i stablo igre . . . . . . . . . . . . . . . . . . . . . 8.3 Otvaranje i biblioteka partija . . . . . . . . . . . . . . . . . . . . 8.4 Srediˇsnjica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.4.1 Statiˇcka ocena pozicije i funkcija evaluacije . . . . . . . 8.4.2 Pretraˇzivanje stabla igre . . . . . . . . . . . . . . . . . . 8.4.3 Algoritam minimaks . . . . . . . . . . . . . . . . . . . . 8.4.4 Algoritam alfa-beta . . . . . . . . . . . . . . . . . . . . . 8.4.5 Heuristika killer . . . . . . . . . . . . . . . . . . . . . . . 8.4.6 Iterativni alfa-beta/killer algoritam . . . . . . . . . . . 8.4.7 Stabilno pretraˇzivanje . . . . . . . . . . . . . . . . . . . 8.4.8 Prekidi i vremenska ograniˇcenja . . . . . . . . . . . . . 8.4.9 Sloˇzenost algoritama za pretraˇzivanje stabla igre . . . . 8.5 Zavrˇsnica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.5.1 Skupovi pozicija kao klase ekvivalencija . . . . . . . . . 8.5.2 Tekstovi saveta . . . . . . . . . . . . . . . . . . . . . . . 8.6 Implementaciona pitanja . . . . . . . . . . . . . . . . . . . . . .

ˇ SADRZAJ 9

III

5

Genetski algoritmi 9.1 Motivacija za genetske algoritme . . . . . . . . . . . . . . 9.2 Osnovni genetski algoritam . . . . . . . . . . . . . . . . . 9.3 Reprezentacija jedinki . . . . . . . . . . . . . . . . . . . . 9.3.1 Binarna reprezentacija . . . . . . . . . . . . . . . . ¯ 9.4 Funkcija prilagodenosti . . . . . . . . . . . . . . . . . . . 9.5 Inicijalizacija i zaustavljanje . . . . . . . . . . . . . . . . . 9.6 Selekcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.6.1 Ruletska selekcija . . . . . . . . . . . . . . . . . . . 9.6.2 Turnirska selekcija . . . . . . . . . . . . . . . . . . 9.7 Reprodukcija i genetski operatori . . . . . . . . . . . . . . 9.7.1 Ukrˇstanje . . . . . . . . . . . . . . . . . . . . . . . 9.7.2 Mutacija . . . . . . . . . . . . . . . . . . . . . . . . 9.8 Zaustavljanje . . . . . . . . . . . . . . . . . . . . . . . . . . 9.9 Parametri algoritma . . . . . . . . . . . . . . . . . . . . . . 9.10 Svojstva genetskih algoritama . . . . . . . . . . . . . . . . 9.11 Primer primene genetskih algoritama — evolucija agenta 9.11.1 Implementaciona pitanja . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

Maˇsinsko uˇcenje

10 Uvod 10.1 Generalizacija i apstrakcija . . . . . . . . . . . . 10.2 Primer problema uˇcenja . . . . . . . . . . . . . 10.3 Nadgledano i nenadgledano uˇcenje . . . . . . . 10.4 Ciljna funkcija i modeli podataka . . . . . . . . 10.5 Podaci . . . . . . . . . . . . . . . . . . . . . . . 10.5.1 Reprezentacija podataka . . . . . . . . . 10.5.2 Podaci za trening i podaci za testiranje 10.6 Dizajn sistema koji uˇci . . . . . . . . . . . . . .

147 147 148 149 149 150 151 151 152 153 153 153 154 154 155 155 156 157

159 . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

161 162 163 166 166 167 167 168 168 171 171 172 173 177 183 186

11 Klasifikacija 11.1 Metode klasifikacije zasnovane na instancama . . . . . 11.1.1 Metoda n-najbliˇzih suseda . . . . . . . . . . . . . 11.1.2 N-grami . . . . . . . . . . . . . . . . . . . . . . . 11.2 Uˇcenje stabala odluˇcivanja . . . . . . . . . . . . . . . . . 11.3 Mere kvaliteta i tehnike evaluacije klasifikacije . . . . . ¯ 11.4 Preterano prilagodavanje modela podacima za trening

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

12 Regresija 12.1 Linearna regresija . . . . . . . . . . . . . . . . . . . . . . 12.2 Pretpostavke linearne regresije . . . . . . . . . . . . . . 12.3 Ispitivanje kvaliteta linearne regresije . . . . . . . . . . ¯ 12.4 Preterano prilagodavanje modela podacima za trening

. . . .

. . . .

. . . .

. . . .

189 . 189 . 192 . 192 . 196

13 Klasterovanje

199

ˇ SADRZAJ

6

IV

Reˇsenja zadataka

14 Reˇsenja zadataka

201 203

Predgovor Ovo su beleˇske koji prate predavanja i veˇzbe iz predmeta Veˇstaˇca inteligencija koje smo drˇzali akademskih godina 2007/08, 2008/09, 2009/10. Funkcija beleˇski je da olakˇsaju praćenje predavanja i da sluˇze kao podsetnik tokom ¯ pripremanja ispita. Oni ne mogu da zamene pohadanje nastave i koriˇsc´ enje druge literature.

Predrag Janiˇcić i Mladen Nikolić Beograd, juni 2010.

7

8

ˇ SADRZAJ

Glava 1

Uvod Smatra se da je veˇstaˇcka inteligencija kao informatiˇcka disciplina ustanovljena na znamenitoj konferenciji The Dartmouth Summer Research Conference on Artificial Intelligence u Darmutu (Sjedinjene Ameriˇcke Drˇzave), 1956. godine. Tom prilikom predloˇzeno je, od strane Dˇzona Makartija, i sâmo ime discipline, ne sasvim srećno, jer je to ime cˇ esto izazivalo nedumice i podozrenje. Konferencija je trajala mesec dana i bila je pre svega usmerena ka profilisanju nove oblasti koja je nastajala. Konferenciju su organizovali Dˇzona Makartija, Marvin Minˇ ski, Natanijel Roˇcester i Klod Senon. Veˇstaˇcka inteligencija je jedna od oblasti raˇcunarstva koja se poslednjih decenija najbrˇze razvija. Paralelno sa tim burnim razvojem rastu i oˇcekivanja od ove discipline. Dok se za neke oblasti raˇcunarstva već smatra da su zaokruˇzene i da se u njima ne oˇcekuju novi znaˇcajni prodori, od veˇstaˇcke inteligencije se rezultati tek oˇcekuju, uprkos tome sˇ to su već razvijeni mnogi ”inteligentni” sistemi koji funkcioniˇsu izuzetno dobro. Ovo moˇzda moˇzemo da objasnimo time sˇ to ti ”inteligentni” sistemi, i pored varljivih spoljnih manifestacija, funkcioniˇsu na principima koje, najˇceˇsc´ e ne moˇzemo smatrati zaista inteligentnim. Time, naravno, veˇstaˇcka inteligencija samo dovbija na atraktivnosti, a novi eksperimenti i teorijska istraˇzivanja predstavljaju put ka novim primenama u najrazliˇcitijim oblastima. Kako je razvoj veˇstaˇcke inteligencije oduvek bio zasnovan na komplementarnom povezivanju teorije i eksperimenata, tako i budući razvoj zahteva proˇsirivanje i uˇcvrˇsc´ ivanje teorijskih znanja, pre svega matematiˇckih, ali i znanja o specifiˇcnim oblastima primene, kao i njihovu adekvatnu formalizaciju. U uvodnom delu pokuˇsajmo da odgovorimo i na osnovna pitanja sˇ ta je to inteligencija i sˇ ta je to veˇstaˇcka inteligencija. Uobiˇcajeno pod inteligencijom podrazumevamo sposobnost usvajanja, pamćenja i obrade odredjenjih znanja. Ipak, nijedna definicija veˇstaˇcke inteligencije nije opˇste prihvaćena (bar ne neka koja bi odgovarala uobiˇcajenom, svakodnevnom smislu i istovremeno precizno i formalno opisivala pojam). U svakom sluˇcaju moˇzemo smatrati da inteligencija podrazumeva bar dve sposobnosti: sposobnost pamćenja, skladiˇstenja znanja i mogućnost njegove obrade. Osoba (ili maˇsina) bez ikakvog znanja ne moˇze biti smatrana inteligentnom. Takodje, inteligentnom ne moˇze biti smatrana ni osoba (ili maˇsina) sa ogromnom koliˇcinom ”statiˇckog” znanja odnosno podataka, ali bez sposobnosti da to znanje obradjuje i da reˇsava probleme u vezi sa njim. Postoje i drugi aspekti inteligencije. Jedan od njih je brzina obrade

10

1 Uvod

znanja, koja je, kada su u pitanju raˇcunari, zavisna ne samo od procedura za zakljuˇcivanje, već, naravno, i od tehniˇckih karakteristika pojedinog raˇcunara. Sposobnost uˇcenja - usvajanja novih znanja takodje je jedan od aspekata inteligencije, iako je moˇzemo uvrstiti u sposobnost reˇsavanja problema. Aspektom inteligencije moˇzemo smatrati i sposobnost komunikacije sa drugim inteligentnim bićima (maˇsinama), koju takodje moˇzemo uvrstiti u reˇsavanje problema. Smatraćemo, dakle, da biće ili maˇsina imaju atribute intelignetnog, ako imaju navedena svojstva. Ako se radi o maˇsini odnosno uredjaju bilo koje vrste sa navedenim svojstvima, govorićemo o veˇstaˇckoj inteligenciji. Podsetimo se i jedne ”klasiˇcne” definicije veˇstaˇcke inteligencije: ako su u odvojene dve prostorije smeˇstene jedna ljudska osoba i neka naprava i ako na identiˇcne probleme one pruˇzaju odgovore na osnovu kojih se ne moˇze pogoditi u kojoj sobi je cˇ ovek, a u kojoj naprava, onda moˇzemo smatrati da ta naprava ima atribute veˇstaˇcke inteligencije. Bez obzira na sve manjkavosti ovih opisa, nećemo pokuˇsavati da pronadjemo bolje opise pojmova o kojima je reˇc. Nakon svega, dobro je navesti i jednu rigorozniju i moˇzda suvoparniju, ali verovatno najbolju definiciju veˇstaˇcke inteligencije — to je disciplina koja se bavi problemima u kojima se javlja kombinatorna eksplozija. Za pojam inteligencije suˇstinska su dva pitanja: pitanje znanja i pitanje zakljuˇcivanja, koja, kada govorimo o raˇcunarima, odgovaraju pojmovima baze znanja i komponente zakljuˇcivanja. Komponenta zakljuˇcivanja (izvodjenja) predstavlja takodje neku vrstu znanja - to je znanje o procesu izvodjenja novih informacija iz iz date baze znanja i o pravilima po kojima se to izvodjenje vrˇsi. Znanje ovog tipa zvaćemo meta-znanjem. Sam pojam znanja, takodje ima viˇse aspekata. Po mnogim filozofskim koncepcijama znanje predstavlja tvrdjenja za koje je utvrdjeno ili moˇze biti utvrdjeno da su taˇcna. Ipak, mi c´ emo cˇ esto imati potrebu da radimo i sa informacijama koje ne moraju da budu taˇcne, pa c´ emo prihvatiti sˇ iri pojam znanja i pod njim podrazumevati i istinite, potvrdjene cˇ injenice, ali i hipoteze, nepotpune informacije i informacije date sa odredjenim verovatnoćama. Izbor reprezentacije znanja je jedan od kljuˇcnih problema i on je u direktnoj vezi i sa prirodom odredjenog znanja, ali i sa prirodom mehanizama za zakljuˇcivanje. Mehanizmi za zakljuˇcivanje moraju biti prilagodjeni reprezentaciji znanja i njegovoj prirodi, pa c´ e u jednom sluˇcaju biti zasnovani na klasiˇcnoj logici, a u drugom na modalnoj logici, teoriji verovatnoće, fazi logici itd. Zakljuˇcivanjem moˇcemo smatrati proces po kojem se na osnovu baze znanja moˇze izvesti informacija koja u njoj nije eksplicitno sadrˇzana. Tako, na primer, ako u bazi znanja imamo cˇ injenice: I1 : ... I2 : ... na osnovu njih moguće je izvesti cˇ injenicu: I3 : ... koja zaista nije bila eksplicitno sadrˇzana u polaznoj bazi znanja. Navedeni primer odgovara uobiˇcajenom zakljuˇcivanju koje odgovara ljudskom iskustvu. ˇ Cesto c´ emo se, medjutim, susretati sa problemima kod kojih je teˇsko precizno zasnovati proces zakljuˇcivanja koji odgovara cˇ ovekovom i biti prinudjeni da tragamo za sofisticiranijim tehnikama koje odgovaraju tim zahtevima. U vezi

1.1 Uska i opˇsta veˇstaˇcka inteligencija

11

sa formalizacijom prirodnog toka zakljuˇcivanja su i problemi monotonog i nemonotonog zakljuˇcivanja. Na kraju uvodnog dela jednostavnim primerom ilustrovaćemo nekoliko razliˇcitih oblika zakljuˇcivanja. Razmotrimo odnos veze (i)∀x(P (x) ⇒ Q(x)) i cˇ injenica (ii)P (a) (iii)Q(a). Izvodjenje cˇ injenice Q(a) na osnovu (i) i (ii) je potpuno opravdano i odgovara matematiˇckim principima deduktivnog zakljuˇcivanja. Izvodjenje veze (i) na osnovu niza parova (ii), (iii) za razliˇcite instance argumenta, odgovara nepotpunoj indukciji, nema matematiˇcku egzaktnost, a u praktiˇcnim primenama pouzdanost mu se povećava sa brojem instanci koje potvrdjuju hipotezu. Izvodjenje cˇ injenice (ii) na osnovu (i) i (ii) zovemo abdukcijom. Ono takodje nije egzaktno, a opravdanje ima u odnosu uzroka i posledice. Tako, ako raspolaˇzemo nizom veza oblika (i) za razliˇcita svojstva Qi (i = 1, ..., n) i nizom cˇ injenica Qi (a)(i = 1, ..., n), moˇzemo da zakljuˇcimo (sa izvesnom pouzdanoˇsc´ u), da kao uzrok posledicama Qi (a)(i = 1, ..., n) vaˇzi svojstvo P (a). Ovaj princip zakljuˇcivanja cˇ esto se primenjuje u medicinskim ekspertnim sistemima za utvrdjivanje (potencijalnog) uzroka na osnovu poznatih simptoma.

1.1

Uska i opˇsta veˇstaˇcka inteligencija

The advent of a human-level artificial intelligencea machine capable of the richness of expression and nuance of thought that we associate with humanity promises to generate tremendous wealth for the inventors and companies that develop it. According to the Business Communications Company, the market for AI software and products reached 21 billion in 2007, an impressive figure that doesnt touch on the wealth that a human-level artificial intelligence could generate across industries. At present, the worlds programmers have succeeded in auto mating the delivery of electricity to our homes, the trading of stocks on exchanges, and much of the flow of goods and services to stores and offices across the globe, but, after more than half a century of research, they have yet to reach the holy grail of computer sciencean artificial general intelligence (AGI). Is the tide turning? At the second annual Singularity Summit in San Francisco last September, I discovered that the thinkers and researchers at the forefront of the field are pitched in an intellectual battle over how soon AGI might arrive and what it might mean for the rest of us. The NotSo-Rapid Progress Of AI Research The scientific study of artificial intelligence has many roots, from IBMs development of the first number-crunching computers of the 1940s to the U.S. militarys work in war-game theory in the 1950s. The proud papas of computer science Marvin Minsky, Charles Babbage, Alan Turing, and John Von Neumann were also the founding fathers of the study of artificial intelligence. During the late 1960s and early 1970s, money for AI work was as easy as expectations were unrealistic, fueled by Hollywood images of cocktail -serving robots and a Hal 9000 (a non- homicidal one, presumably) for every home. In an ebullient moment in 1967, Marvin Minsky, proclaimed.

12

1 Uvod

Within a generation . . . the problem of creating artificial intelligence will substantially be solved, by which he meant a humanistic AI. Public interest dried up when the robot army failed to materialize by the early 1980s, a period that researchers refer to as the AI winter. But research, though seemingly dormant, continued. The field has experienced a revival of late. Primitive-level AI is no longer just a Hollywood staple. Its directing traffic in Seattle through a program called SmartPhlow, guiding the actions of hedge-fund managers in New York, executing Internet searches in Stockholm, and routing factory orders in Beijing over integrated networks like Ciscos. More and more, the worlds banks, governments, militaries, and businesses rely on a variety of extremely sophisticated computer programswhat are sometimes called narrow AIs to run our ever-mechanized civilization. We look to AI to perform tasks we can easily do ourselves but havent the patience for any longer. There are 1.5 million robot vacuum cleaners already in use across the globe. Engineers from Stanford University have developed a fully autonomous self-driving car named Stanley, which they first showcased in 2005 at the Defense Advanced Research Projects Agencys (DARPA) Grand Challenge motor cross. Stanley represents an extraordinary improvement over the self-driving machines that the Stanford team was showing off in 1979. The original self-driving robot needed six hours to travel one meter. Stanley drove 200 meters in the same time. The next big leap will be an autonomous vehicle that can navigate and operate in traffic, a far more complex challenge for a robotic driver, according to DARPA director Tony Tether. In other words, robot taxis are coming to a city near you. The decreasing price and increasing power of computer processing suggest that, in the decades ahead, narrow AIs like these will become more effective, numerous, and cheap. But these trends dont necessarily herald the sort of radical intellectual breakthrough necessary to construct an artificial general intelligence. Many of the technical (hardware) obstacles to creating an AGI have fallen away. The raw computing power may finally existand be cheap enoughto run an AGI program. But the core semantic and philosophical problems that science has faced for decades are as palpable as ever today. How exactly do you write a computer program that can think like a human? The War between the Neats and the Scruffies There are two paths to achieving an AGI, says Peter Voss, a software developer and founder of the firm Adaptive A.I. Inc. One way, he says, is to continue developing narrow AI, and the systems will become generally competent. It will become obvious how to do that. When that will happen or how it will come about, whether through simbots or some DARPA challenge or something, I dont know. It would be a combination of those kinds of things. The other approach is to specifically engineer a system that can learn and think. Thats the approach that [my firm] is taking. Absolutely I think thats possible, and I think its closer than most people thinkfive to 10 years, tops. The two approaches outlined by Vosseither tinkering with mundane programs to make them more capable and effective or designing a single comprehensive AGI system speak to the long-standing philosophical feud that lies at the heart of AI research: the war between the neats and the scruffies. J. Storrs Hall, author of Beyond AI: Creating the Conscience of the Machine (Prometheus Books, 2007), reduces this dichotomy to a scientific approach vs. an engineering mind-set. The neats are after a single, elegant solution to the answer of human intelligence, Hall says. Theyre trying to explain the human mind by turning it into

1.1 Uska i opˇsta veˇstaˇcka inteligencija

13

a math problem. The scruffies just want to build something, write narrow AI codes, make little machines, little advancements, use whatever is available, and hammer away until something happens. The neat approach descends from computer science in its purest form, particularly the war game studies of Von Neumann and his colleagues in the 1930s and 1940s. The 1997 defeat of world chess champion Garry Kasparov by IBMs Deep Blue computer is considered by many the seminal neat success. Up until that moment, the mainstream scientific community generally accepted the premise that AIs could be written to perform specific tasks reasonably well, but largely resisted the notion of superhuman computing ability. Deep Blue proved that an AI entity could outperform a human at a supposedly human task, perceiving a chess board (Deep Blue could see 200 million board positions per second) and plotting a strategy (74 moves ahead as opposed to 10, the human record). But the success of Deep Blue was limited. While the machine demonstrated technical expertise at chess, it didnt show any real comprehension of the game it was playing, or of itself. As Paris Review editor George Plimpton observed after the match, The machine isnt going to walk out of the hotel there and start doing extraordinary things. It cant manage a baseball team, cant tell you what to do with a bad marriage. The validity of this observation isnt lost on todays AI community. What we thought was easy turned out to be hard, and what we thought was hard turned out to be easy, says Stephen Omohundro, founder of the firm Self-Aware Systems. Back in the early Sixties, people thought that something like machine vision would be a summer project for a masters student. Todays machine vision systems are certainly better than they were, but no vision system today can reliably tell the difference between a dog and a cat, something that small children have no problem doing. Meanwhile, beating a world chess champion turned out to be a snap.

14

1 Uvod

Deo I

Logika i logiˇcko programiranje

Glava 2

Iskazna logika U iskaznoj logici promenljive reprezentuju iskaze. Iskazi mogu biti kombinovani u sloˇzenije iskaze logiˇckim veznicima. Iskazna logika dovoljno je izraˇzajna za opisivanje i reprezentovanje mnogih problema, ukljuˇcujući mnoge praktiˇcne probleme, kao sˇ to je, na primer, dizajn integrisanih kola. Iskazna logika ima tri aspekta: svoju sintaksu (ili jezik), svoju semantiku (ili znaˇcenje iskaza) i svoje deduktivne sisteme. I semantika i deduktivni sistemi grade se nad isto definisanom sintaksom, tj. nad istim skupom formula. Centralni problemi u iskaznoj logici su ispitivanje da li je data iskazna formula valjana (tautologija) i da li je data iskazna formula zadovoljiva. Ovaj drugi problem poznat je kao problem SAT i on je tipiˇcan predstavnik skupa NP -kompletnih problema. Postoji viˇse metoda i pristupa za ispitivanje valjanosti i zadovoljivosti. Neki od njih su semantiˇcke, a neki deduktivne (tj. sintaksno-deduktivne) prirode. ¯ ova dva koncepta je tvrdenje ¯ Kljuˇcna veza izmedu da je iskazna formula valjana (ˇsto je semantiˇcka kategorija) ako i samo ako je ona teorema (ˇsto je deduktivna kategorija). Zahvaljujući ovoj vezi, sintaksa iskazne logike (jezik iskazne logike), njena semantika (konvencije o znaˇcenju formula) i njena deduktivna svojstva cˇ ine kompaktnu celinu.

2.1

Sintaksa iskazne logike

Sintaksni aspekt iskazne logike govori o njenom jeziku, a o formulama iskljuˇcivo kao o nizovima simbola i ne uzima u obzir bilo kakvo njihovo (moguće) znaˇcenje. Definicija 2.1 Skup iskaznih formula (ili jezik iskazne logike) nad prebrojivim skupom iskaznih slova P je skup za koji vaˇzi: • iskazna slova (iz skupa P ) i logiˇcke konstante (> i ⊥) su iskazne formule; • ako su A i B iskazne formule, onda su i (¬A), (A ∧ B), (A ∨ B), (A ⇒ B) i (A ⇔ B) iskazne formule. • iskazne formule mogu se dobiti samo konaˇcnom primenom prethodna dva pravila.

18

2 Iskazna logika

Umesto termina iskazna formula cˇ esto c´ emo pisati kraće formula ili iskaz. U daljem tekstu smatraćemo (ako nije drugaˇcije naglaˇseno) da je skup P fiksiran. Elemente skupa P obiˇcno oznaˇcavamo malim latiniˇcnim slovima (eventualno sa indeksima). Iskazne formule obiˇcno oznaˇcavamo velikim latiniˇcnim slovima (eventualno sa indeksima). Skupove iskaznih formula obiˇcno oznaˇcavamo velikim slovima grˇckog alfabeta (eventualno sa indeksima). Logiˇcke veznike zovemo i bulovskim veznicima ili, kraće, veznicima. Zapis (¬A) cˇ itamo negacija A ili ne A. Zapis (A ∧ B) cˇ itamo A konjunkcija B ili A i B. Zapis (A ∨ B) cˇ itamo A disjunkcija B ili A ili B. Zapis (A ⇒ B) cˇ itamo A implikacija B ili iz A sledi B. Zapis (A ⇔ B) cˇ itamo A ekvivalencija B ili A ekvivalentno B. Iskazna slova zovemo i iskazne promenljive ili iskazne varijable. Elemente skupova P i {>, ⊥} zovemo atomiˇckim iskaznim formulama. Simbol > cˇ itamo te, a simbol ⊥ cˇ itamo nete. Literal je iskazna formula koja je ili atomiˇcka iskazna formula ili negacija atomiˇcke iskazne formule. Klauza je disjunkcija literala. Ako su dve iskazne formule A i B sintaksno identiˇcne (tj. ako su jednake kao nizovi simbola), onda to oznaˇcavamo A = B. Ako dve iskazne formule A i B nisu sintaksno identiˇcne, onda to oznaˇcavamo A 6= B. Zagrade se koriste kako bi se izbegla viˇsesmislenost. Naime, bez zagrada, iskazna formula a ⇔ b ∧ c ima dva moguća tumaˇcenja: ((a ⇔ b) ∧ c) i (a ⇔ (b ∧ c)). Viˇsesmislenost se moˇze izbeći i koriˇsc´ enjem prefiksne poljske notacije. U toj notaciji, iskazna formula ((a ⇔ b) ∧ c) se zapisuje ∧ ⇔ a b c, a iskazna formula (a ⇔ (b ∧ c)) se zapisuje ⇔ a ∧ b c. Ipak, zbog cˇ itljivosti, koristićemo infiksni zapis, zapis iskaznih formula koji odgovara prethodnoj definiciji. Da bismo izbegli koriˇsc´ enje velikog broja zagrada obiˇcno izostavljamo spoljne zagrade i usvajamo konvenciju uz koju u nekim iskaznim formulama neke zagrade mogu biti izostavljene bez straha od viˇsesmislenosti. Ta konvencija za¯ snovana je na prioritetu veznika i to na sledeći naˇcin (veznici su poredani po prioritetima — od većeg ka manjem): ¬ ∧ ∨ ⇒ ⇔. Definicija 2.2 Skup potformula formule A je najmanji skup formula koje zadovoljavaju sledeće uslove: • svaka iskazna formula A je potformula sama sebi; • Ako je A jednako ¬B, onda je svaka potformula formule B istovremeno i potformula formule A. Ako je A jednako B ∧ C, B ∨ C, B ⇒ C ili B ⇔ C, onda je svaka potformula formule B i svaka potformula formule C istovremeno i potformula formule A. Primer 2.1 Skup potformula formule (p ⇒ q) ∨ r je {p, q, r, p ⇒ q, (p ⇒ q) ∨ r}. Definicija 2.3 Funkcija c iz skupa iskaznih formula u skup N (skup prirodnih brojeva) svakoj iskaznoj formuli pridruˇzuje sloˇzenost na sledeći naˇcin: 1. ako je A atomiˇcka iskazna formula, onda je c(A) = 0; 2. c(¬A) = c(A) + 1; 3. c(A ∧ B) = c(A) + c(B) + 1; 4. c(A ∨ B) = c(A) + c(B) + 1;

2.2 Semantika iskazne logike

19

5. c(A ⇒ B) = c(A) + c(B) + 1; 6. c(A ⇔ B) = c(A) + c(B) + 1. Funkcijom c svakoj iskaznoj formuli pridruˇzuje se (jedinstvena) sloˇzenost.

2.2

Semantika iskazne logike

Semantiˇcki aspekt iskazne logike govori o znaˇcenju formula. U nastavku c´ e biti uvedena semantika iskazne logike u stilu Tarskog (koji je prvi precizno uveo pojam semantike 1933. godine) [?]. Tako uvedenu semantiku zovemo i semantika Tarskog.

2.2.1

Valuacija, interpretacija, model; zadovoljive, valjane, porecive i kontradiktorne formule

Funkcije v iz P u {0, 1} zovemo valuacijama. Skup {0, 1} zovemo domenom ili ¯ univerzumom valuacije. Svaka valuacija v odreduje funkciju Iv koju zovemo interpretacijom za valuaciju v i koja preslikava skup iskaznih formula u skup {0, 1}. Interpretaciju Iv definiˇsemo na sledeći naˇcin: • Iv (p) = v(p), za svaki element p skupa P ; • Iv (>) = 1 i Iv (⊥) = 0; • Iv (¬A) = 1 ako je Iv (A) = 0 i Iv (¬A) = 0 ako je Iv (A) = 1; • Iv (A ∧ B) = 1 ako je Iv (A) = 1 i Iv (B) = 1; Iv (A ∧ B) = 0 inaˇce; • Iv (A ∨ B) = 0 ako je Iv (A) = 0 i Iv (B) = 0 ; Iv (A ∨ B) = 1 inaˇce; • Iv (A ⇒ B) = 0 ako je Iv (A) = 1 i Iv (B) = 0 ; Iv (A ⇒ B) = 1 inaˇce; • Iv (A ⇔ B) = 1 ako je Iv (A) = Iv (B); Iv (A ⇔ B) = 0 inaˇce. Vrednost Iv (A) zovemo vrednoˇsc´ u iskazne formule A u interpretaciji Iv . Ako za valuaciju v vaˇzi Iv (A) = 1, onda kaˇzemo da je iskazna formula A taˇcna u interpretaciji Iv i da je iskazna formula A taˇcna u valuaciji v. Ako za valuaciju v vaˇzi Iv (A) = 0, onda kaˇzemo da je iskazna formula A netaˇcna u interpretaciji Iv . ¯ Moˇze se dokazati da se, za odredenu valuaciju v, funkcijom Iv definisanom na navedeni naˇcin, svakoj formuli pridruˇzuje (jedinstvena) vrednost (u toj interpretaciji). Definicija 2.4 Valuacija v je zadovoljavajuća za formulu A ako je Iv (A) = 1. Kaˇzemo i da je zadovoljavajuća valuacija v model za A i piˇsemo v |= A. Definicija 2.5 Iskazna formula A je zadovoljiva ako postoji valuacija koja je za nju zadovoljavajuća. Formula A je valjana ili tautologija1 ako je svaka valuacija za nju 1 Reˇ c tautologija grˇckog je porekla i saˇcinjena je od reˇci tauto (grˇcki isto) i logos (grˇcki reˇc, reći). U bukvalnom prevodu, ,,tautologija“ znaˇci ,,reći isto“. U lingivstiˇckom smislu, kao i u svakodnevnom jeziku, oznaˇcava ponavljanje istog, reći istu stvar drugim reˇcima, redudantnost (sliˇcno, ali ne isto sˇ to i pleonazam — pleonazam oznaˇcava koriˇsc´ enje suviˇsnih reˇci prilikom ukazivanja na neki pojam). Opisani pojam tautologije razlikuje se od pojma tautologije u logici. U savremenim evropskim jezicima reˇc tautologija prvi put se javlja u sˇ esnaestom veku.

20

2 Iskazna logika

zadovoljavajuća, tj. ako za svaku valuaciju v vaˇzi v |= A i to zapisujemo |= A. Iskazna formula je nezadovoljiva ili kontradikcija ako ne postoji valuacija koja je za nju zadovoljavajuća. Formula je poreciva ako postoji valuacija koja za nju nije zadovoljavajuća. Drugim reˇcima, iskazna formula je zadovoljiva ako postoji valuacija u kojoj je ta formula taˇcna. Iskazna formula je valjana ako je taˇcna u svakoj valuaciji. Iskazna formula je nezadovoljiva ako je netaˇcna u svakoj valuaciji. Iskazna formula je poreciva ako postoji valuacija u kojoj je ta formula netaˇcna. Primer 2.2 Iskazne formule p ⇒ p i p ∨ ¬p su tautologije; iskazna formula p ⇒ q je zadovoljiva i poreciva, a iskazna formula p ∧ ¬p je kontradikcija. Problem ispitivanja da li je data iskazna formula zadovoljiva oznaˇcava se sa (od engleskog satisfiability problem — problem zadovoljivosti). SAT problem je NP-kompletan [?]. S obzirom na to da se joˇs uvek ne zna da li su klase P i NP problema jednake, to znaˇci da se joˇs uvek ne zna da li postoji algoritam za ispitivanje zadovoljivosti koji je polinomijalne sloˇzenosti. Kako je opˇste uverenje da su klase P i NP problema razliˇcite, veruje se i da ne postoji polinomijalni algoritam za reˇsavanje SAT problema. I najefikasniji danas poznati algoritmi za reˇsavanje ovog problema su eksponencijalne sloˇzenosti. SAT

Definicija 2.6 Skup iskaznih formula Γ je zadovoljiv ako postoji valuacija u kojoj je svaka formula iz Γ taˇcna. Za valuaciju v koja je zadovoljavajuća za sve formule iz Γ kaˇzemo da je model za Γ. Skup iskaznih formula Γ je nezadovoljiv ili kontradiktoran ako ne postoji valuacija u kojoj je svaka formula iz Γ taˇcna. Primer 2.3 Skup iskaznih formula {p ⇒ q, p, ¬q} je kontradiktoran (ali nijedan njegov pravi podskup nije kontradiktoran). Teorema 2.1 Ako su iskazne formule A i A ⇒ B tautologije, onda je i B tautologija.

Dokaz: Pretpostavimo da su A i A ⇒ B tautologije. Pretpostavimo da postoji valuacija v u kojoj formula B nije taˇcna. Formula A je tautologija, pa je taˇcna i u valuaciji v. U toj valuaciji, dakle, formula A ⇒ B nije taˇcna, sˇ to protivreˇci pretpostavci da je A ⇒ B tautologija. Dakle, formula B je taˇcna u svakoj valuaciji, pa je ona tautologija, sˇ to je i trebalo dokazati. 2

Zadaci √ Zadatak 1 Neka su A, B, C, D iskazne formule takve da su formule A ⇒ (B ⇒ C) i (A ∧ C) ⇒ ¬D tautologije. Dokazati da je i formula (D ∧ A) ⇒ ¬B tautologija. ¯ Zadatak 2 Dokazati sledeća tvrdenja: (a) Ako su formule A ∨ B i ¬A ∨ C tautologije, onda je i B ∨ C tautologija. (b) Ako su formule A∨B, A ⇒ C, B ⇒ D tautologije, onda je i C ∨D tautologija. (c) Ako su formule ¬A ∨ B i ¬C ∨ ¬B tautologije, onda je i A ⇒ ¬C tautologija.


21

¯ Zadatak 3 Dokazati sledeća tvrdenja: (a) Ako je iskazna formula valjana, onda je ona zadovoljiva. (b) Ako je iskazna formula kontradikcija, onda je ona poreciva. (c) Ako iskazna formula nije zadovoljiva, onda je ona kontradikcija i obratno. (d) Ako iskazna formula nije tautologija, onda je ona poreciva i obratno. ¯ Zadatak 4 Dokazati sledeća tvrdenja: (a) Iskazna formula A je valjana ako i samo ako je ¬A kontradikcija. (b) Iskazna formula A je zadovoljiva ako i samo ako je ¬A poreciva. Zadatak 5 Navesti primer iskazne formule koja je: (a) zadovoljiva (b) valjana (c) poreciva (d) kontradikcija (e) zadovoljiva i valjana (f) zadovoljiva i nije valjana (g) zadovoljiva i poreciva (h) zadovoljiva i nije poreciva (i) zadovoljiva i nije kontradikcija (j) valjana i nije poreciva (k) valjana i nije kontradikcija (l) poreciva i nije zadovoljiva (m) poreciva i nije valjana (n) poreciva i kontradikcija (o) poreciva i nije kontradikcija (p) kontradikcija i nije zadovoljiva (q) kontradikcija i nije valjana. ¯ Zadatak 6 Dokazati sledeća tvrdenja (Γ i ∆ su skupovi iskaznih formula, A je iskazna formula): (a) Ako je Γ zadovoljiv i ∆ ⊂ Γ, onda je ∆ zadovoljiv. (b) Ako je Γ zadovoljiv i A valjana, onda je Γ ∪ {A} zadovoljiv. (c) Ako je Γ kontradiktoran i Γ ⊂ ∆, onda je ∆ kontradiktoran. (d) Ako je Γ kontradiktoran i A valjana, onda je Γ \ {A} kontradiktoran. Zadatak 7 Odrediti (ako postoji) formulu A takvu da je formula ((p ⇒ (¬q ∧ r)) ⇒ A) ⇒ (A ∧ ((r ⇒ q) ∧ p)) tautologija.

2.2.2

Istinitosne tablice

¯ Pravila za odredivanje vrednosti iskazne formule u zadatoj valuaciji (navedena u prethodnom poglavlju) mogu biti reprezentovana osnovnim istinitosnim tablicama: A 0 1

¬A 1 0

22

2 Iskazna logika A 0 0 1 1

A∧B 0 0 0 1

B 0 1 0 1

A∨B 0 1 1 1

A⇒B 1 1 0 1

A⇔B 1 0 0 1

¯ Na osnovu navedenih tablica (tj. na osnovu pravila za odredivanje vrednosti formule), moˇze se kontruisati istinitosna tablica za proizvoljnu iskaznu formulu. U istinitosnoj tablici za neku formulu svakoj vrsti odgovara jedna valuacija iskaznih slova koje se pojavljuju u toj formuli. Svakoj koloni odgovara jedna potformula te formule. Istinitosne tablice su pogodne i za ispitivanje valjanosti, zadovoljivosti, nezadovoljivosti i porecivosti. Ukoliko iskazna formula A sadrˇzi iskazne varijable p1 , p2 , . . ., pn , istinitosna tablica treba da sadrˇzi sve moguće valuacije za ovaj skup varijabli (valuacije za druge varijable nisu relevantne). U zavisnosti od vrednosti iskaznih varijabli, izraˇcunavaju se vrednosti sloˇzenijih iskaznih formula, sve do sâme iskazne formule koja se ispituje. Ako su u koloni koja odgovara sâmoj iskaznoj formuli sve vrednosti jednake 1, formula je tautologija; ako je bar jedna vrednost jednaka 1, formula je zadovoljiva; ako je bar jedna vrednost jednaka 0, formula je poreciva; ako su sve vrednosti jednake 0, formula je kontradikcija. Ovo pokazuje da su problemi ispitivanja valjanosti, zadovoljivosti, nezadovoljivosti i porecivosti odluˇcivi problemi, tj. postoje algoritmi koji ih mogu reˇsiti. Primer 2.4 Iskaznoj formuli (¬q ⇒ ¬p) ⇒ (p ⇒ q) odgovara sledeća istinitosna tablica: p 0 0 1 1

q 0 1 0 1

¬q 1 0 1 0

¬p 1 1 0 0

¬q ⇒ ¬p 1 1 0 1

p⇒q 1 1 0 1

(¬q ⇒ ¬p) ⇒ (p ⇒ q) 1 1 1 1

Dakle, data formula je zadovoljiva i valjana. Ona nije poreciva i nije kontradikcija. Primer 2.5 Istinitosna tablica moˇze biti zapisana u skraćenom obliku — zapisivanjem samo zadate iskazne formule i odgovarajućih vrednosti ispod pojedinaˇcnih iskaznih slova i veznika. Iskaznoj formuli iz prethodnog primera odgovara sledeća skraćena istinitosna tablica (popunjena u nekoliko koraka): (¬

q 0 1 0 1

⇒

¬

p) 0 0 1 1

⇒

(p 0 0 1 1

⇒

q) 0 1 0 1

(¬ 1 0 1 0

q 0 1 0 1

⇒

¬ 1 1 0 0

p) 0 0 1 1

⇒

(p 0 0 1 1

⇒ 1 1 0 1

q) 0 1 0 1


23

(¬ 1 0 1 0

q 0 1 0 1

⇒ 1 1 0 1

¬ 1 1 0 0

p) 0 0 1 1

⇒

(p 0 0 1 1

⇒ 1 1 0 1

q) 0 1 0 1

(¬ 1 0 1 0

q 0 1 0 1

⇒ 1 1 0 1

¬ 1 1 0 0

p) 0 0 1 1

⇒ 1 1 1 1

(p 0 0 1 1

⇒ 1 1 0 1

q) 0 1 0 1

Zadaci Zadatak 8 Ispitati metodom istinitosnih tablica da li je iskazna formula ¬((q ⇒ p) ⇒ p) ⇒ ¬p zadovoljiva. Zadatak 9 Ispitati metodom tablica da li je iskazna formula (p ⇒ (q ⇒ r)) ⇒ ((p ⇒ q) ⇒ (p ⇒ r)) tautologija. √ Zadatak 10 Neka su A, B, C, D iskazne formule takve da su formule A ⇒ (B ⇒ C) i (A ∧ C) ⇒ ¬D tautologije. Dokazati, koriˇsc´ enjem istinitosnih tablica, da je i formula (D ∧ A) ⇒ ¬B tautologija. √ Zadatak 11 Odrediti formulu A takvu da je formula ((A ∧ q) ⇒ ¬p) ⇒ ((p ⇒ ¬q) ⇒ A) tautologija. Zadatak 12 Odrediti, koriˇsc´ enjem istinitosnih tablica, (ako postoji) formulu A takvu da je formula ((p ⇒ (¬q ∧ r)) ⇒ A) ⇒ (A ∧ ((r ⇒ q) ∧ p)) tautologija.

2.2.3

Logiˇcke posledice, logiˇcki ekvivalentne formule, supstitucija

Definicija 2.7 Kaˇzemo da je iskazna formula A logiˇcka posledica skupa iskaznih formula Γ i piˇsemo Γ |= A ako je svaki model za skup Γ istovremeno i model za formulu A. Kada je skup Γ konaˇcan, tada {A1 , ..., An } |= B (tj. Γ |= B) piˇsemo kraće A1 , ..., An |= B. Ako je formula A logiˇcka posledica praznog skupa formula, onda to zapisujemo |= A. Ako ne vaˇzi Γ |= A, onda to zapisujemo Γ 6|= A. Teorema 2.2 (a) Formula je valjana ako i samo ako je logiˇcka posledica praznog skupa formula. (b) Ako je skup Γ kontradiktoran, onda je svaka formula njegova logiˇcka posledica. Specijalno, svaka formula je logiˇcka posledica skupa {⊥}. (c) Ako je Γ ⊂ ∆ i Γ |= A, onda je ∆ |= A.

Dokaz:

24

2 Iskazna logika (a) Ako je formula valjana, onda je ona taˇcna u svakoj valuaciji pa i u svakom modelu praznog skupa formula, te je ona logiˇcka posledica praznog skupa formula. Svaka valuacija je model za prazan skup formula, pa ako je formula logiˇcka posledica praznog skupa formula, onda je ona taˇcna u svakoj valuaciji, te je valjana. (b) Ako je skup Γ kontradiktoran, onda on nema nijedan model. Vaˇzi da je svaki model iz tog (praznog!) skupa modela model za proizvoljnu formulu, pa je proizvoljna formula logiˇcka posledica skupa Γ. (c) Pretpostavimo da vaˇzi Γ ⊂ ∆ i Γ |= A. Iz Γ |= A sledi da je proizvoljan model za Γ model i za A. Kako je Γ ⊂ ∆, proizvoljan model za ∆ je model za Γ, pa i za A. Dakle, vaˇzi ∆ |= A. 2

Primetimo da se simbol |= koristi i za zapisivanje da je valuacija v model formule A i za oznaˇcavanje relacije logiˇcke posledice. Primetimo i da u oba okvira zapis |= A ima isto znaˇcenje — da je formula A valjana.

Definicija 2.8 Kaˇzemo da su dve iskazne formule A i B logiˇcki ekvivalentne i piˇsemo A ≡ B ako je svaki model formule A model i za B i obratno (tj. ako vaˇzi A |= B i B |= A).

Ako je svaki model za A istovremeno i model za B i obratno, onda u bilo ¯ kojoj valuaciji formule A i B imaju jednake vrednosti. Tvrdenja oblika A ≡ B zovemo logiˇckim ekvivalencijama (ili kraće ekvivalencijama). Relacija ≡ je, oˇcigledno, relacija ekvivalencije nad skupom iskaznih formula. Teorema 2.3 Vaˇzi A ≡ B ako i samo ako je iskazna formula A ⇔ B tautologija.

Dokaz: Pretpostavimo da vaˇzi A ≡ B. U proizvoljnoj valuaciji v formule A i B imaju istu vrednost, pa je formula A ⇔ B taˇcna u v. Odatle sledi da je A ⇔ B tautologija. Pretpostavimo da je A ⇔ B tautologija. Ako je u proizvoljnoj valuaciji v formula A taˇcna, onda mora da je i B taˇcna u v (jer je formula A ⇔ B taˇcna u v). Dakle, svaki model za A je model i za B. Analogno vaˇzi obratno — svaki model za B je model i za A, te sledi A ≡ B, sˇ to je i trebalo dokazati. 2

Primer 2.6 Neke od logiˇckih ekvivalencija (ili, preciznije, neke od shema logiˇckih ekvi-


25

valencija) su: ¬¬A A ∨ ¬A A∧A A∨A A∧B A∨B A⇔B A ∧ (B ∧ C) A ∨ (B ∨ C) A ⇔ (B ⇔ C) A ∧ (A ∨ B) A ∨ (A ∧ B) A ∧ (B ∨ C) (B ∨ C) ∧ A A ∨ (B ∧ C) (B ∧ C) ∨ A ¬(A ∧ B) ¬(A ∨ B) A∧> A∨> A∧⊥ A∨⊥

≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡ ≡

A > A A B∧A B∨A B⇔A (A ∧ B) ∧ C (A ∨ B) ∨ C (A ⇔ B) ⇔ C A A (A ∧ B) ∨ (A ∧ C) (B ∧ A) ∨ (C ∧ A) (A ∨ B) ∧ (A ∨ C) (B ∨ A) ∧ (C ∨ A) ¬A ∨ ¬B ¬A ∧ ¬B A > ⊥ A

zakon dvojne negacije zakon iskljuˇcenja trećeg zakon idempotencije za ∧ zakon idempotencije za ∨ zakon komutativnosti za ∧ zakon komutativnosti za ∨ zakon komutativnosti za ⇔ zakon asocijativnosti za ∧ zakon asocijativnosti za ∨ zakon asocijativnosti za ⇔ zakon apsorpcije zakon apsorpcije zakon distributivnosti ∧ u odnosu na ∨ zakon distributivnosti ∧ u odnosu na ∨ zakon distributivnosti ∨ u odnosu na ∧ zakon distributivnosti ∨ u odnosu na ∧ De Morganov zakon De Morganov zakon zakon konjunkcije sa tautologijom zakon disjunkcije sa tautologijom zakon konjunkcije sa kontradikcijom zakon disjunkcije sa kontradikcijom

¯ ostalog, pokazuju Logiˇcke ekvivalencije navedene u primeru 2.6, izmedu da su konjunkcija i disjunkcija komutativni i asocijativni veznici. Zato moˇzemo (uslovno) smatrati da konjunkcija (i disjunkcija) mogu da povezuju viˇse od dve formule, pri cˇ emu ne moramo da vodimo raˇcuna o njihovom poretku. Svaki cˇ lan uopˇstene konjunkcije zovemo konjunkt, a svaki cˇ lan uopˇstene disjunkcije zovemo disjunkt. Disjunkciju viˇse literala (pri cˇ emu njihov poredak nije bitan) zovemo klauza. Klauza je jediniˇcna ako sadrˇzi samo jedan literal. Definicija 2.9 Rezultat zamene (supstitucije) svih pojavljivanja iskazne formule C u iskaznoj formuli A iskaznom formulom D oznaˇcavamo sa A[C 7→ D]. Ta zamena (supstitucija) definiˇse se na sledeći naˇcin: • ako za iskazne formule A i C vaˇzi A = C, onda je A[C 7→ D] jednako D; • ako za iskazne formule A i C vaˇzi A 6= C i A je atomiˇcka iskazna formula, onda je A[C 7→ D] jednako A; • ako za iskazne formule A, B i C vaˇzi A 6= C i A = (¬B), onda je A[C 7→ D] = ¬(B[C 7→ D]); • ako za iskazne formule A, B1 , B2 i C vaˇzi A 6= C i A = (B1 ∧ B2 ) (A = (B1 ∨ B2 ), A = (B1 ⇒ B2 ), A = (B1 ⇔ B2 )), onda je A[C 7→ D] = (B1 [C 7→ D]) ∧ (B2 [C 7→ D]) ((B1 [C 7→ D]) ∨ (B2 [C 7→ D]), (B1 [C 7→ D]) ⇒ (B2 [C 7→ D]), (B1 [C 7→ D]) ⇔ (B2 [C 7→ D])). Definicija 2.10 Uopˇstena zamena (supstitucija) je skup zamena [C1 7→ D1 ], [C2 7→ D2 ], . . ., [Cn 7→ Dn ] gde su Ci i Di proizvoljne iskazne formule. Takvu zamenu zapisujemo [C1 7→ D1 , C2 7→ D2 , . . . , Cn 7→ Dn ].

26

2 Iskazna logika

Uopˇstena zamena primenjuje se simultano na sva pojavljivanja formula C1 , C2 , . . ., Cn u polaznoj formuli i samo na njih (tj. ne primenjuje se na potformule dobijene zamenama). U daljem tekstu c´ emo umesto termina uopˇstena zamena (uopˇstena supstitucija) koristiti termin zamena (supstitucija). Formulu koja je rezultat primene zamene [C1 7→ D1 , C2 7→ D2 , . . . , Cn 7→ Dn ] nad formulom A, oznaˇcavamo sa A[C1 7→ D1 , C2 7→ D2 , . . . , Cn 7→ Dn ]. Primer 2.7 ((p ⇒ q) ⇒ r)[p ⇒ q 7→ ¬p ∨ q] = (¬p ∨ q) ⇒ r ((p ⇒ q) ⇒ (p ⇒ r))[p ⇒ q 7→ ¬p ∨ q, p ⇒ r 7→ ¬p ∨ r] = (¬p ∨ q) ⇒ (¬p ∨ r) ((p ⇒ q) ⇒ r)[p ⇒ q 7→ ¬p ∨ q, ¬p ∨ q 7→ q ∨ ¬p] = (¬p ∨ q) ⇒ r Teorema 2.4 (Teorema o zameni) Ako je C ≡ D, onda je A[C 7→ D] ≡ A.

Zadaci Zadatak 13 Zadatak 14 Zadatak 15

√ √ √

A1 , A2 , . . . , An |= B ako i samo ako |= (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B. Γ, A |= B ako i samo ako Γ |= A ⇒ B. Ako je A1 ≡ A2 i B1 ≡ B2 , onda je:

(a) ¬A1 ≡ ¬A2 (b) A1 ∧ B1 ≡ A2 ∧ B2 (c) A1 ∨ B1 ≡ A2 ∨ B2 (d) A1 ⇒ B1 ≡ A2 ⇒ B2 (e) A1 ⇔ B1 ≡ A2 ⇔ B2 . √ Zadatak 16 Ako je iskazna formula A tautologija koja sadrˇzi iskazna slova p1 , p2 , . . . , pn i ako su A1 , A2 , . . . , An proizvoljne iskazne formule, onda je iskazna formula ¯ tautologija. B = A[p1 7→ A1 , p2 7→ A2 , . . . , pn 7→ An ] takode Zadatak 17 Ako C nije potformula iskazne formule A, onda je A[C 7→ D] = A. Zadatak 18 Dokazati da iz A ≡ A[C 7→ D] ne sledi C ≡ D.

2.2.4

Potpuni skupovi veznika

Istinitosna funkcija nad n argumenata je funkcija koja preslikava skup {0, 1}n n u skup {0, 1}. Nad n argumenata ima 22 razliˇcitih istinitosnih funkcija (jer skup {0, 1}n ima 2n elemenata i svaki od njih se moˇze preslikati u 0 ili u 1). Svaka iskazna formula koja ima n iskaznih slova generiˇse neku istinitosnu funkciju nad n argumenata. Logiˇcki ekvivalentne iskazne formule (sa istim brojem iskaznih slova) generiˇsu identiˇcne istinitosne funkcije. Svaka istinitosna funkcija je generisana nekom iskaznom formulom koja sadrˇzi samo veznike ∧, ∨ i ¬.


27

Primer 2.8 x1 1 0 1 0

x2 1 1 0 0

f (x1 , x2 ) 0 1 1 1

Iskazna formula A koja generiˇse istinitosnu funkciju f je (¬p1 ∧ p2 ) ∨ (p1 ∧ ¬p2 ) ∨ (¬p1 ∧ ¬p2 ). U bilo kojoj iskaznoj formuli, mogu se, koriˇsc´ enjem ekvivalencija A ⇔ B ≡ (A ⇒ B) ∧ (B ⇒ A) A ⇒ B ≡ ¬A ∨ B A ∨ B ≡ ¬(¬A ∧ ¬B) eliminisati sva pojavljivanja veznika ⇔, ⇒ i ∨. Dobijena formula sadrˇzaće, dakle, samo veznike ¬ i ∧. Kaˇzemo da je skup veznika {¬, ∧} potpun, jer je svaka iskazna formula logiˇcki ekvivalentna nekoj iskaznoj formuli samo nad ova dva veznika i bez logiˇckih konstanti > i ⊥. Kako je skup {¬, ∧} potpun, sledi da je svaka istinitosna funkcija generisana nekom iskaznom formulom ¯ potpun. koja sadrˇzi samo veznike ∧ i ¬. Skup {¬, ∨} je, takode, Veznici ↓ i ↑ definiˇsu se na sledeći naˇcin: A ↓ B je jednako ¬(A ∨ B), a A ↑ B je jednako ¬(A ∧ B). Naglasimo da su ove definicije cˇ isto sintaksne prirode i da zapis A ↓ B moˇzemo smatrati samo kraćim zapisom formule ¬(A ∨ B). Veznik ˇ ↓ zovemo nili ili Lukaˇsijeviˇceva funkcija, a veznik ↑ zovemo ni ili Seferova funkcija. Na osnovu datih definicija mogu se izvesti istinitosne tablice za ↓ i ↑. A 0 0 1 1

B 0 1 0 1

A↓B 1 0 0 0

A↑B 1 1 1 0

Lako se pokazuje da je ¬A ≡ (A ↓ A) i A∧B ≡ ((A ↓ A) ↓ (B ↓ B)). Kako je skup veznika {¬, ∧} potpun, sledi da je potpun i skup {↓}. Isto vaˇzi i za skup {↑}. Teorema 2.5 Veznici ↓ i ↑ su jedina dva binarna veznika koja sama (pojedinaˇcno) cˇ ine potpun sistem. ¯ Teorema 2.5 je specijalni sluˇcaj tvrdenja za veznike proizvoljne arnosti [?].

Zadaci Zadatak 19 Dokazati da {⇒, ∨} i {¬, ⇔} nisu potpuni skupovi veznika. √ Zadatak 20 Svaki stanovnik jedne drˇzave ili uvek laˇze ili uvek govori istinu i na svako pitanje odgovara uvek samo sa da ili ne. Neki turista dolazi na raskrsnicu u toj drˇzavi i zna da samo jedan od dva puta vodi do glavnog grada. Ne postoji znak koji pokazuje koji je to put, ali postoji meˇstanin R koji stoji na raskrsnici. Koje da-ili-ne pitanje treba turista da postavi da bi odredio kojim putem da krene?

28

2 Iskazna logika

Zadatak 21 U raˇcunarstvu se cˇ esto koristi logiˇcki veznik ∨ (iskljuˇcivo ili, iskljuˇciva disjunkcija, eksluzivno ili, ekskluzivna disjunkcija) koji moˇze biti definisan na sledeći naˇcin: A∨B je jednako (tj. to je kraći zapis za) ¬(A ⇔ B) ili (A∧¬B)∨(¬A∧ B). Ispitati da li je skup {∧, ∨} potpun skup veznika.

2.2.5

Normalne forme

Definicija 2.11 Iskazna formula je u konjunktivnoj normalnoj formi (KNF) ako je oblika A1 ∧ A2 ∧ . . . ∧ An pri cˇ emu je svaka od formula Ai (1 ≤ i ≤ n) klauza (tj. disjunkcija literala). Definicija 2.12 Iskazna formula je u disjunktivnoj normalnoj formi (DNF) ako je oblika A1 ∨ A2 ∨ . . . ∨ An pri cˇ emu je svaka od formula Ai (1 ≤ i ≤ n) konjunkcija literala. Ako je iskazna formula A logiˇcki ekvivalentna iskaznoj formuli B i iskazna formula B je u konjunktivnoj (disjunktivnoj) normalnoj formi, onda kaˇzemo da je formula B konjunktivna (disjunktivna) normalna forma formule A. Koriˇsc´ enjem pogodnih ekvivalencija, svaka iskazna formula moˇze biti transformisana u svoju konjunktivnu (disjunktivnu) normalnu formu. Naglasimo da jedna iskazna formula moˇze da ima viˇse konjunktivnih (disjunktivnih) normalnih formi (na primer, i formula (p ∨ r) ∧ (q ∨ r) ∧ (p ∨ s) ∧ (q ∨ s) i formula (s ∨ q) ∧ (p ∨ r) ∧ (q ∨ r) ∧ (p ∨ s) ∧ (p ∨ ¬p) su konjunktivne normalne forme formule (p ∧ q) ∨ (r ∧ s)). Sliˇcno, jedna formula koja je u konjunktivnoj normalnoj formi moˇze biti konjunktivna normalna forma za viˇse iskaznih formula. Transformisanje iskazne formule u konjunktivnu normalnu formu moˇze biti opisano algoritmom prikazanim na slici 2.1. Kada govorimo o ,,primeni neke logiˇcke ekvivalencije“ mislimo na koriˇsc´ enje logiˇcke ekvivalencije na osnovu teoreme o zameni (teorema 2.4). Teorema 2.6 (Korektnost algoritma KNF) Algoritam KNF se zaustavlja i zadovoljava sledeće svojstvo: ako je F ulazna formula, onda je izlazna formula F 0 u konjunktivnoj normalnoj formi i logiˇcki je ekvivalentna sa F . Zaustavljanje algoritma KNF moˇze se dokazati koriˇsc´ enjem pogodno odabrane ¯ mere formula.2 Tvrdenje F ≡ F 0 sledi na osnovu teoreme 2.4 i cˇ injenice da se u algoritmu koriste logiˇcke ekvivalencije. 2 U cilju dokazivanja zaustavljanja postupka transformisanja formule u konjunktivnu normalnu formu definiˇse se preslikavanje τ iz skupa iskaznih formula u skup prirodnih brojeva [?]:

τ (A)

=

2 (gde je A atomiˇcka formula)

τ (¬A)

=

2τ (A)

τ (A ∧ B)

=

τ (A) · τ (B)

τ (A ∨ B)

=

τ (A) + τ (B) + 1

Moˇze se jednostavno dokazati da je vrednost τ (A0 ) uvek manja od τ (A) ako je formula A0 dobijena primenom nekog pravila prezapisivanja na formulu A (jer, na primer, vaˇzi da je τ (¬A ∧ ¬B) = 2τ (A)+τ (B) manje od τ (¬(A ∨ B)) = 2τ (A)+τ (B)+1 ). Odatle sledi da se postupak transformisanja proizvoljne formule u konjuktivnu normalnu formu zaustavlja za proizvoljnu ulaznu formulu A (jer ne postoji beskonaˇcan strogo opadajući niz prirodnih brojeva cˇ iji je prvi element τ (A)).


29

Algoritam: KNF Ulaz: Iskazna formula F Izlaz: Konjunktivna normalna forma formule F 1. Eliminisati veznik ⇔ koristeći logiˇcku ekvivalenciju A ⇔ B ≡ (A ⇒ B) ∧ (B ⇒ A). 2. Eliminisati veznik ⇒ koristeći logiˇcku ekvivalenciju A ⇒ B ≡ ¬A ∨ B. 3. Dok god je to moguće, primenjivati logiˇcke ekvivalencije ¬(A ∧ B) ≡ ¬A ∨ ¬B i ¬(A ∨ B) ≡ ¬A ∧ ¬B. 4. Eliminisati viˇsestruke veznike ¬ koristeći logiˇcku ekvivalenciju ¬¬A ≡ A. 5. Dok god je to moguće, primenjivati logiˇcke ekvivalencije (A ∨ (B ∧ C)) ≡ ((A ∨ B) ∧ (A ∨ C)) i ((B ∧ C) ∨ A) ≡ ((B ∨ A) ∧ (C ∨ A)). Figure 2.1: Algoritam KNF Naglasimo da transformisanje formule u njenu konjunktivnu normalnu formu moˇze da dâ formulu cˇ ija je duˇzina eksponencijalna u funkciji duˇzine polazne formule. Na primer, transformisanjem formule (A1 ∧ B1 ) ∨ (A2 ∧ B2 ) ∨ . . . ∨ (An ∧ Bn ) (koja ima n disjunkata) u njenu konjunktivnu normalnu formu, dobija se formula koja ima 2n konjunkta. Transformisanje formule u disjunktivnu normalnu formu opisuje se algoritmom analognim algoritmu KNF.

Zadaci Zadatak 22 Odrediti konjunktivnu normalnu formu i disjunktivnu normalnu formu za formule: (a) (A ⇒ B) ∨ (¬A ∧ C) (b) A ⇔ (B ∧ ¬A) (c) ((A ⇒ B) ⇒ (C ⇒ ¬A)) ⇒ (¬B ⇒ ¬C) (d) ((((A ⇒ B) ⇒ ¬A) ⇒ ¬B) ⇒ ¬C) ⇒ C (e) (A ⇒ (B ⇒ C)) ⇒ ((A ⇒ ¬C) ⇒ (A ⇒ ¬B)) Zadatak 23 Odrediti kanonsku disjunktivnu normalnu formu formule (¬A ⇒ ¬B) ⇒ ((B ∧ C) ⇒ (A ∧ C)). Zadatak 24 Odrediti kanonsku konjunktivnu normalnu formu formule (C ⇒ A) ⇒ (¬(B ∨ C) ⇒ A).

30

2 Iskazna logika

√ Zadatak 25 (Teorema o interpolaciji) Neka su A i B iskazne formule takve da A nije kontradikcija i B nije tautologija i neka je A ⇒ B tautologija. (a) Dokazati da A i B imaju bar jedno zajedniˇcko iskazno slovo. (b) Dokazati da postoji iskazna formula C takva da C ima samo iskazna slova koja su zajedniˇcka za A i B i za koju vaˇzi da su A ⇒ C i C ⇒ B tautologije.

2.2.6

Dejvis–Patnam–Logman–Lovelandova procedura

Dejvis–Patnam–Logman–Lovelandova procedura3 (DPLL procedura) vrˇsi ispitivanje zadovoljivosti iskaznih formula [?]. Ona se primenjuje na iskazne formule u konjunktivnoj normalnoj formi (a za svaku iskaznu formulu postoji njena konjunktivna normalna forma). Ulazna formula je konjunkcija klauza. Pri tome (kako su konjunkcija i disjunkcija komutativne i asocijativne) nije bitan poredak tih klauza niti je u bilo kojoj od tih klauza bitan poredak literala; zato se ulazna formula moˇze smatrati skupom (ili, preciznije, multiskupom4 ) klauza, od kojih se svaka moˇze smatrati skupom (ili, preciznije, multiskupom) ¯ literala. Ipak, radi odredenosti rada algoritma, smatraćemo da je skup (odnosno ¯ multiskup) klauza ureden. U proceduri se podrazumevaju sledeće konvencije: • prazan skup klauza (zvaćemo ga praznom formulom) je zadovoljiv; • klauza koja ne sadrˇzi nijedan literal (zvaćemo je prazna klauza) je nezadovoljiva; formula koja sadrˇzi praznu klauzu je nezadovoljiva. Dejvis–Patnam–Logman–Lovelandova procedura data je na slici 2.2. Teorema 2.7 (Korektnost DPLL procedure) Za svaku iskaznu formulu DPLL procedura se zaustavlja i vraća odgovor DA ako i samo ako je polazna formula zadovoljiva. Dejvis–Patnam–Logman–Lovelandova procedura je u najgorem sluˇcaju eksponencijalne sloˇzenosti O(2N ), gde je N broj iskaznih slova u formuli, usled rekurzivne primene split pravila (viˇse o sloˇzenosti izraˇcunavanja videti u dodatku ??). Iste (eksponencijalne) sloˇzenosti su i svi drugi do sada poznati algoritmi za ispitivanje zadovoljivosti. Ipak, svi ti algoritmi su znatno efikasniji od metode istinitosnih tablica. Izbor iskaznog slova u pravilu split je veoma vaˇzan. Neke varijante ovog pravila su da se bira iskazno slovo sa najviˇse pojavljivanja u tekućoj formuli, da se bira neko od iskaznih slova iz najkraće klauze itd. Formula je tautologija ako i samo ako njena negacija nije zadovoljiva, formula je kontradikcija ako i samo ako ona nije zadovoljiva i formula je poreciva ako i samo ako je njena negacija zadovoljiva. Primetimo da odatle sledi da DPLL proceduru moˇzemo iskoristiti i za ispitavanje da li je data formula tautologija, poreciva ili kontradikcija. 3 Na ovu proceduru se, zbog dve njene verzije, ponekad ukazuje kao na Dejvis–Patnamovu (DP) proceduru ili kao na Dejvis–Logman–Lovelandovu (DLL) proceduru. 4 Multiskup je, neformalno, skup u kojem se elementi mogu pojavljivati viˇ se puta.


31

Algoritam: DPLL Ulaz: Multiskup klauza D (D = {C1 , C2 , . . . , Cn }) Izlaz: DA, ako je multiskup D zadovoljiv; NE, ako multiskup D nije zadovoljiv 1. Ako je D prazan, vrati DA. 2. Zameni sve literale ¬⊥ sa > i zameni sve literale ¬> sa ⊥. 3. Obriˇsi sve literale jednake ⊥. 4. Ako D sadrˇzi praznu klauzu, vrati NE. 5. Ako neka klauza Ci sadrˇzi literal > ili sadrˇzi i neki literal i njegovu negaciju, vrati vrednost koju vraća DPLL(D \ Ci ) (tautology). 6. Ako je neka klauza jediniˇcna i jednaka nekom iskaznom slovu p, onda vrati vrednost koju vraća DPLL(D[p 7→ >]); ako je neka klauza jediniˇcna i jednaka ¬p, gde je p neko iskazno slovo, onda vrati vrednost koju vraća DPLL(D[p 7→ ⊥]) (unit propagation). 7. Ako D sadrˇzi literal p (gde je p neko iskazno slovo), a ne i literal ¬p, onda vrati vrednost koju vraća DPLL(D[p 7→ >]); ako D sadrˇzi literal ¬p (gde je p neko iskazno slovo), a ne i literal p, onda vrati vrednost koju vraća DPLL(D[¬p 7→ >]) (pure literal). 8. Ako DPLL(D[p 7→ >]) vraća DA, onda vrati DA; inaˇce vrati vrednost koju vraća DPLL(D[p 7→ ⊥]) (gde je p jedno od iskaznih slova koje se javljaju u D) (split). Figure 2.2: DPLL procedura

Zadaci Zadatak 26 Primenom DPLL algoritma ispitati da li su sledeće formule zadovoljive: (a) (p ⇒ r) ⇒ ((q ⇒ r) ⇒ (p ∨ q ⇒ r)) (b) ¬((p ⇒ r) ⇒ ((q ⇒ r) ⇒ (p ∨ q ⇒ r))) Zadatak 27 Primenom DPLL algoritma ispitati da li je formula (p ∨ ¬q ∨ ¬r) ∧ (¬p ∨ q ∨ ¬r) ∧ (p ∨ ¬q ∨ r) zadovoljiva, tautologija, poreciva, kontradikcija.

2.2.7

Primer modelovanja problema u iskaznoj logici

Modeliranja jednog problema biće prikazano na primeru jednostavne igre Vumpus. U pećini u kojoj zˇ ivi cˇ udoviˇste Vumpus nalazi se zlato. Igraˇc ulazi u pećinu i traˇzi ga. Igra se igra na tabli od 4x4 polja. Vumpus se nalazi na jednom od njih. Na nekima od njih se mogu nalaziti provalije, a na jednom je zlato. Poˇsto je u pećini mrak igraˇc ne vidi sˇ ta se nalazi na susednim poljima. Na poljima oko provalija se oseća povetarac. Kako se Vumpus ne kupa, na poljima oko njega, oseća se smrad. Ako igraˇc stane na polje na kome se nalazi provalija ili

32

2 Iskazna logika

Figure 2.3: Tabla za igru Vumpus Vumpus, on strada i igra je zavrˇsena. Igraˇc ima jednu strelu koju moˇze odapeti na susedno polje kako bi ubio Vumpusa. Primer table je prikazan na slici 2.2.7. Znanje o okolini u kojoj se igraˇc nalazi, moˇze se modelirati pravilima oblika Pravila za sluˇcaj kada nema smrada: R1 : ¬S11 ⇒ ¬V11 ∧ ¬V12 ∧ ¬V21 R2 : ¬S21 ⇒ ¬V11 ∧ ¬V21 ∧ ¬V31 ∧ ¬V22 R3 : ¬S12 ⇒ ¬V11 ∧ ¬V12 ∧ ¬V13 ∧ ¬V22 ... Pravila za sluˇcaj kada ima smrada: R4 : S12 ⇒ V11 ∨ V12 ∨ V13 ∨ V22 ...


33

Na poˇcetnom polju igraˇc ne oseća ni smrad ni povetarac, pa zna da su polja (2,1) i (1,2) bezbedna. Recimo da prvo ode na polje (2,1). Tu oseća povetarac i zna da se na polju (3,1) ili (2,2) nalazi provalija, pa se vraća na polje (1,1). Poˇsto je na polju (2,1) upravo bio, istraˇzuje polje (1,2). Tu se oseća smrad. Dosadaˇsnja igraˇceva znanja se mogu se opisati na sledeći naˇcin: ¬S11 , ¬S21 , S12 ¬P11 , P21 , ¬P12 Nalaˇzenje Vumpusa je sada lako. 1. Na osnovu R4 i S12 , dobija se V11 ∨ V12 ∨ V13 ∨ V22 2. Na osnovu R1 i ¬S11 , dobija se ¬V11 ∧ ¬V12 ∧ ¬V21 3. Odatle ¬V11 ¬V12 ¬V21 4. Na osnovu V11 ∨ V12 ∨ V13 ∨ V22 i ¬V11 , dobija se V12 ∨ V13 ∨ V22 5. Na osnovu V12 ∨ V13 ∨ V22 i ¬V12 , dobija se V13 ∨ V22 6. Na osnovu R2 i ¬S21 , dobija se ¬V11 ∧ ¬V21 ∧ ¬V31 ∧ ¬V22 7. Odatle ¬V11 ¬V21 ¬V31 ¬V22 8. Na osnovu V13 ∨ V22 i ¬V22 , dobija se V13 Znaˇci Vumpus se nalazi na polju (1,3). Da bismo dali primer zapisivanja akcije koju igraˇc moˇze da preduzme uveˇsc´ emo i orijentaciju igraˇca. Neka 4 promenljive Oi oznaˇcavaju orijentaciju igraˇca ka 4 strane sveta. Npr. O1 znaˇci da je igraˇc orijentisan prema istoku, O2 prema zapadu, O3 prema severu i O4 prema jugu. Kako bi opis orijentacije bio konzistentan, potrebno je zadovoljiti uslov da igraˇc ne bude orijentisan na viˇse strana odjednom ¬(O1 ∧ O2 ) ∧ ¬(O1 ∧ O3 ) ∧ ¬(O1 ∧ O4 ) ∧ ¬(O2 ∧ O3 )¬(O2 ∧ O4 )¬(O3 ∧ O4 ).

34

2 Iskazna logika

S druge strane potrebno je da igraˇc bude orijentisan na neku stranu sˇ to se izraˇzava uslovom O1 ∨ O2 ∨ O3 ∨ O4 . Sada se akcija odapinjanja strele na susedno polje na kome se nalazi Vumpus moˇze zapisati kao: A11 ∧ O1 ∧ V21 ⇒ P ucaj Oˇcigledan problem je sˇ to za 16 polja za jednu orijentaciju postoji 16 pravila ovog tipa. Pomoću predikatskog raˇcuna bi svih 16 moglo biti zapisana jednim pravilom: ∀i∀j(Aij ∧ O1 ∧ Vi+1,j ⇒ P ucaj).

Glava 3

Logika prvog reda Logika prvog reda, predikatska logika, znatno je izraˇzajnija od iskazne logike. ¯ Osnovna novina u odnosu na iskaznu logiku je uvodenje kvantifikovanja, univerzalnog i egzistencijalnog. Zahvaljujući kvantifikatorima, u logici prvog reda ¯ mogu se formulisati tvrdenja koja nije moguće formulisati na jeziku iskazne ¯ logike kao, na primer, tvrdenje ,,za svaku valuaciju postoji klauza iz S koja nije taˇcna ako i samo ako ne postoji valuacija takva da je svaka klauza iz S taˇcna“. U logici prvog reda dozvoljeno je samo kvantifikovanje promenljivih.1 U okviru logike prvog reda mogu se opisati mnoge matematiˇcke teorije. Kao i iskazna logika, logika prvog reda ima tri aspekta: svoju sintaksu (ili jezik), svoju semantiku (ili znaˇcenje iskaza) i svoje deduktivne sisteme. I semantika i deduktivni sistemi grade se nad isto definisanom sintaksom, tj. nad istim skupom formula. Kao i u iskaznoj logici, centralni problemi u predikatskoj logici su ispitivanje da li je data formula valjana i da li je data formula zadovoljiva. Za razliku od iskazne logike, ovi problemi nisu odluˇcivi, te ne postoje efektivni algoritmi za njihovo reˇsavanje. No, problem ispitivanja valjanosti za predikatsku logiku je poluodluˇciv, pa postoje metode koje za svaku valjanu formulu mogu da dokaˇzu da je ona valjana (a ne mogu za bilo koju formulu koja nije valjana da utvrde da nije valjana). Postoji viˇse metoda i pristupa za ispitivanje i dokazivanje valjanosti i zadovoljivosti. Neki od njih su semantiˇcke, a neki deduktivne (tj. sintaksno-deduk¯ ova dva koncepta tivne) prirode. Kao i u iskaznoj logici, kljuˇcna veza izmedu ¯ je tvrdenje da je formula valjana (ˇsto je semantiˇcka kategorija) ako i samo ako je ona teorema (ˇsto je deduktivna kategorija). Zahvaljujući ovoj vezi, sintaksa predikatske logike (jezik predikatske logike), njena semantika (konvencije o znaˇcenju formula) i njena deduktivna svojstva cˇ ine kompaktnu celinu.

1 U logici viˇ seg reda predikati i funkcije kao argumente mogu imati druge predikate i funkcije i dozvoljeno je njihovo kvantifikovanje. Na primer, u logici drugog reda predikati i funkcije mogu za argumente imati predikate i funkcije prvog reda i mogu biti kvantifikovani. Predikati i funkcije reda n mogu za argumente imati predikate i funkcije n − 1 reda i mogu biti kvantifikovani.

36

3 Logika prvog reda

3.1

Sintaksa logike prvog reda

Sintaksni aspekt logike prvog reda govori o njenom jeziku, a o formulama iskljuˇcivo kao o nizovima simbola i ne uzima u obzir njihovo moguće znaˇcenje. Definicija 3.1 Logiˇcki deo jezika prvog reda cˇ ine skupovi: 1. prebrojiv skup promenljivih V ; 2. skup logiˇckih veznika {¬, ∧, ∨, ⇒, ⇔}, pri cˇ emu je ¬ unarni veznik, a ∧, ∨, ⇒ i ⇔ su binarni veznici; 3. skup kvantifikatora {∀, ∃}, pri cˇ emu je ∀ univerzalni kvantifikator, a ∃ egzistencijalni kvantifikator; 4. skup logiˇckih konstanti {>, ⊥}; 5. skup pomoćnih simbola {(, ), ,}. Elemente nabrojanih skupova zovemo logiˇcki simboli. Reˇcnik ili signatura L sastoji se od najviˇse prebrojivih skupova Σ i Π, koje redom nazivamo skupom funkcijskih simbola i skupom predikatskih (relacijskih) simbola, kao i od funkcije ar koja preslikava skup Σ∪Π u skup nenegativnih celih brojeva. Za k ∈ Σ∪Π, vrednost ar(k) zovemo stepen ili arnost simbola k. Presek svaka dva od skupova Σ, Π, skupa promenljivih, skupa logiˇckih veznika, skupa kvantifikatora, skupa logiˇckih konstanti i skupa pomoćnih simbola je prazan. Funkcijske simbole arnosti 0 zovemo simbolima konstanti. Skupovi Σ i Π cˇ ine nelogiˇcki deo jezika prvog reda, a sve njihove elemente zovemo nelogiˇckim simbolima. Za datu signaturu L = (Σ, Π, ar) reˇc nad L je bilo koji niz simbola iz skupova Σ, Π ili logiˇckog dela jezika. Uz indeks ili bez indeksa, obiˇcno oznaˇcavamo sa: • a, b, c, . . . simbole konstanti; • f, g, h, . . . funkcijske simbole arnosti veće od 0; • p, q, r, . . . predikatske simbole; • x, y, z, . . . promenljive. Definicija 3.2 Skup termova nad signaturom L = (Σ, Π, ar) i skupom promenljivih V je skup za koji vaˇzi: • svaki simbol konstante (tj. svaki funkcijski simbol arnosti 0) je term; • svaki simbol promenljive je term; • ako je f funkcijski simbol za koji je ar(f ) = n i t1 , t2 , . . ., tn su termovi, onda je i f (t1 , t2 , . . . , tn ) term. • termovi se mogu dobiti samo konaˇcnom primenom prethodna dva pravila. Definicija 3.3 Skup atomiˇckih formula nad signaturom L = (Σ, Π, ar) i skupom promenljivih V je skup za koji vaˇzi:

3.1 Sintaksa logike prvog reda

37

• logiˇcke konstante > i ⊥ su atomiˇcke formule; • ako je p predikatski simbol za koji je ar(p) = n i t1 , t2 , . . ., tn su termovi, onda je p(t1 , t2 , . . . , tn ) atomiˇcka formula. • atomiˇcke formule se mogu dobiti samo konaˇcnom primenom prethodna dva pravila. Definicija 3.4 Skup dobro zasnovanih formula nad signaturom L = (Σ, Π, ar) i skupom promenljivih V (ili jezik prvog reda nad L i V ) je skup za koji vaˇzi: • svaka atomiˇcka formula je dobro zasnovana formula; • ako je A dobro zasnovana formula, onda je i (¬A) dobro zasnovana formula; • ako su A i B dobro zasnovane formule, onda su i (A ∧ B), (A ∨ B), (A ⇒ B) i (A ⇔ B) dobro zasnovane formule; • ako je A dobro zasnovana formula i x je promenljiva, onda su ((∀x)A) i ((∃x)A) dobro zasnovane formule. • dobro zasnovane formule se mogu dobiti samo konaˇcnom primenom prethodnih pravila. Umesto termina dobro zasnovana formula, cˇ esto c´ emo pisati kraće formula. Dobro zasnovane formule obiˇcno oznaˇcavamo velikim pisanim latiniˇcnim slovima (eventualno sa indeksima). Skupove dobro zasnovanih formula obiˇcno oznaˇcavamo velikim slovima grˇckog alfabeta (eventualno sa indeksima). Logiˇcke veznike zovemo i bulovskim veznicima ili, kraće, veznicima. Veznik ¬ zovemo negacija, veznik ∧ konjunkcija, ∨ disjunkcija, veznik ⇒ implikacija i ⇔ ekvivalencija. Zapis (¬A) cˇ itamo negacija A ili ne A. Zapis (A ∧ B) cˇ itamo A konjunkcija B ili A i B. Zapis (A ∨ B) cˇ itamo A disjunkcija B ili A ili B. Zapis (A ⇒ B) cˇ itamo A implikacija B ili iz A sledi B. Zapis (A ⇔ B) cˇ itamo A ekvivalencija B ili A ekvivalentno B. Zapis ((∀x)A) cˇ itamo za svako x A. Zapis ((∃x)A) cˇ itamo postoji x takvo da je A. Ako su dve dobro zasnovane formule A i B sintaksno identiˇcne (tj. ako su jednake kao nizovi simbola), onda to oznaˇcavamo A = B. Ako dve dobro zasnovane formule A i B nisu sintaksno identiˇcne, onda to oznaˇcavamo A = 6 B. Termove, atomiˇcke formule i dobro zasnovane formule nad signaturom L ponekad c´ emo kraće zvati i L-termovi, L-atomiˇcke formule i L-formule. Bazni term je term koji ne sadrˇzi nijednu promenljivu. Bazna formula je formula koja ne sadrˇzi nijednu promenljivu. Literal je atomiˇcka formula ili negacija atomiˇcke formule. Klauza je disjunkcija literala. Da bismo izbegli koriˇsc´ enje velikog broja zagrada obiˇcno izostavljamo spoljne zagrade i usvajamo konvenciju uz koju u nekim dobro zasnovanim formulama neke zagrade mogu biti izostavljene i to na isti naˇcin kao i za iskazne formule, pri cˇ emu kvantifikatori imaju veći prioritet od svih logiˇckih veznika. ¯ Kaˇzemo da formula A odreduje ili indukuje signaturu L, ako je L signatura koja sadrˇzi sve funkcijske i predikatske simbole iz A i nijedan viˇse. Definicija 3.5 Funkcija c iz skupa dobro zasnovanih formula u N svakoj dobro zasnovanoj formuli pridruˇzuje sloˇzenost na sledeći naˇcin:

38

3 Logika prvog reda 1. ako je A atomiˇcka dobro zasnovana formula, onda je c(A) = 0; 2. c(¬A) = c(A) + 1; 3. c(A ∧ B) = c(A) + c(B) + 1; 4. c(A ∨ B) = c(A) + c(B) + 1; 5. c(A ⇒ B) = c(A) + c(B) + 1; 6. c(A ⇔ B) = c(A) + c(B) + 1; 7. c(∀xA) = c(A) + 1; 8. c(∃xA) = c(A) + 1.

Definicija 3.6 Slobodno pojavljivanje i vezano pojavljivanje promenljive u formuli definiˇse se na sledeći naˇcin: • svako pojavljivanje promenljive u atomiˇckoj formuli je slobodno u toj formuli; • svako pojavljivanje promenljive koje je slobodno u A je slobodno i u ¬A; svako pojavljivanje promenljive koje je vezano u A je vezano i u ¬A; • svako pojavljivanje promenljive koje je slobodno u A ili u B je slobodno i u A∧B, A ∨ B, A ⇒ B, A ⇔ B; svako pojavljivanje promenljive koje je vezano u A ili u B je vezano i u A ∧ B, A ∨ B, A ⇒ B, A ⇔ B; ¯ • svako slobodno pojavljivanje promenljive razliˇcite od x u formuli A je takode slobodno u formuli (∀x)A; svako slobodno pojavljivanje promenljive x u A je vezano (vodećim kvantifikatorom) u (∀x)A (tada kaˇzemo da je x u dosegu vodećeg kvantifikatora); pojavljivanje promenljive x u (∀x) u formuli (∀x)A je vezano; analogno za egzistencijalni kvantifikator. Definicija 3.7 Promenljiva je vezana (slobodna) u formuli ako i samo ako ima vezano (slobodno) pojavljivanje u toj formuli. Primetimo da promenljiva moˇze biti i slobodna i vezana u jednoj formuli. Primer 3.1 U formuli p(x, y), pojavljivanje promenljive x je slobodno i ona je slobodna u ovoj formuli. U formuli p(x, y) ⇒ (∀x)q(x) prvo pojavljivanje promenljive x je slobodno, a drugo i treće pojavljivanje je vezano. U ovoj formuli, promenljiva x je i slobodna i vezana. U formuli (∀x)p(x, y) ⇒ (∀x)q(x), sva pojavljivanja promenljive x su vezana i promenljiva je vezana u ovoj formuli. U sva tri primera, pojavljivanja promenljive y su slobodna. Primer 3.2 U formuli (∃x)(p(x) ∧ (∀x)q(x)) cˇ etvrto pojavljivanje promenljive x je vezano i ono je u dosegu kvantifikatora ∀x, a ne i kvantifikatora ∃x.

3.2 Semantika logike prvog reda

39

ˇ Cesto c´ emo pokazivati da formula A ima slobodne promenljive x1 , x2 , . . ., ¯ xn zapisom A(x1 , x2 , . . . , xn ). Ovaj zapis, medutim, ne znaˇci da formula A ne sadrˇzi joˇs neke slobodne promenljive, niti znaˇci da promenljive x1 , x2 , . . ., xn nemaju i neka vezana pojavljivanja u formuli A. Zapis A(x1 , x2 , . . . , xn ) je pogodan, jer moˇzemo da usvojimo konvenciju da kao A(t1 , t2 , . . . , tn ) zapisujemo formulu dobijenu zamenjivanjem svih slobodnih pojavljivanja promenljivih x1 , x2 , . . . , xn redom termovima t1 , t2 , . . . , tn . L-formulu bez slobodnih promenljivih zovemo zatvorena L-formula ili Lreˇcenica. Za formulu A kaˇzemo da je univerzalno zatvorena ako je oblika (∀x1 )(∀x2 ) . . . (∀xk )A0 , gde je xi ∈ V (i = 1, 2, . . . , k) i A0 ne sadrˇzi kvantifikatore kao ni slobodne promenljive osim (eventualno) promenljivih x1 , x2 , . . . , xk . Formula A je egzistencijalno zatvorena ako je oblika (∃x1 )(∃x2 ) . . . (∃xk )A0 gde je xi ∈ V (i = 1, 2, . . . , k) i A0 ne sadrˇzi kvantifikatore kao ni slobodne promenljive osim (eventualno) promenljivih x1 , x2 , . . . , xk . Ako formula A ima kao slobodne samo promenljive x1 , x2 , . . . , xk onda formulu (∀x1 )(∀x2 ) . . . (∀xk )A nazivamo univerzalnim zatvorenjem formule A i kraće je oznaˇcavamo sa ∀∗ A. Ako formula A ima kao slobodne samo promenljive x1 , x2 , . . . , xk , onda formulu (∃x1 )(∃x2 ) . . . (∃xk )A nazivamo egzistencijalnim zatvorenjem formule A i kraće je oznaˇcavamo sa ∃∗ A.

Zadaci Zadatak 28 Zapisati narednu reˇcenicu u vidu dobro zasnovane formule logike prvog reda: (a) Svako voli nekoga i niko ne voli svakoga ili neko voli svakoga i neko ne voli nikoga. (b) Moˇzete lagati neke ljude sve vreme i moˇzete lagati sve ljude neko vreme, ali ne moˇzete lagati sve ljude sve vreme.

3.2

Semantika logike prvog reda

Semantiˇcki aspekt logike prvog reda govori o znaˇcenju formula. U nastavku c´ e biti uvedena semantika logike prvog reda u stilu Tarskog (koji je prvi precizno uveo pojam semantike 1933. godine) [?]. Tako uvedenu semantiku zovemo i semantika Tarskog.

3.2.1

Valuacija, interpretacija, model; zadovoljive, valjane, porecive i kontradiktorne formule

U nastavku c´ emo smatrati da se podrazumeva (i kada to nije eksplicitno reˇceno) da se, kada se govori o formulama, govori o L-formulama za neku fiksnu signaturu L i fiksan skup promenljivih V . Definicija 3.8 Za datu signaturu L, L-struktura D je par (D, I L ), gde je D skup, a I L funkcija pri cˇ emu vaˇzi sledeće: • D je neprazan skup i zovemo ga domen, nosaˇc ili univerzum; • svakom simbolu konstante c iz L (tj. svakom funkcijskom simbolu arnosti 0), funkcija I L pridruˇzuje jedan element cI iz D;

40

3 Logika prvog reda • svakom funkcijskom simbolu f iz L za koji je ar(f ) = n i n > 0, funkcija I L pridruˇzuje jednu totalnu funkciju fI iz Dn u D; • svakom predikatskom simbolu p iz L za koji je ar(p) = n (i n > 0) funkcija I L pridruˇzuje jednu totalnu funkciju pI iz Dn u {0, 1} .

Valuacija v za skup promenljivih V u odnosu na domen D je preslikavanje koje svakom elementu iz V dodeljuje jedan element iz D. Ako je v(xi ) = dj , onda kaˇzemo da je dj vrednost promenljive xi u valuaciji v. Ako su v i w valuacije za isti skup promenljivih i u odnosu na isti domen, onda sa v ∼x w oznaˇcavamo da je v(y) = w(y) za svaku promenljivu y razliˇcitu od x. Ako je D = (D, I L ) L-struktura za neku signaturu L i v valuacija za skup ¯ promenljivih V i za domen D, onda par (D, v) odreduje interpretaciju, tj. funkciju Iv koja preslikava skup L-termova nad skupom promenljivih V u skup D, a skup L-formula nad skupom promenljivih V u skup {0, 1}. Funkcija Iv uvodi se narednim dvema definicijama. ¯ Definicija 3.9 Vrednost (ili znaˇcenje) terma t u interpretaciji Iv , odredenoj L-strukturom D i valuacijom v, oznaˇcavamo sa Iv (t) i definiˇsemo na sledeći naˇcin: • ako je t simbol promenljive x, onda je Iv (t) = v(x); • ako je t simbol konstante c, onda je Iv (t) = cI ; • ako je t jednako f (t1 , t2 , . . . , tn ) (pri cˇ emu je ar(f ) = n) i ako je Iv (ti ) = di za i = 1, 2, . . . , n (pri cˇ emu je di ∈ D), onda je Iv (t) = fI (d1 , d2 , . . . , dn ). ¯ Definicija 3.10 Vrednost (ili znaˇcenje) formule A u interpretaciji Iv , odredenoj Lstrukturom D i valuacijom v, oznaˇcavamo sa Iv (A) i definiˇsemo na sledeći naˇcin: • ako je A atomiˇcka formula > onda je Iv (A) = 1; • ako je A atomiˇcka formula ⊥ onda je Iv (A) = 0; • ako je A atomiˇcka formula p(t1 , t2 , . . . , tn ) (pri cˇ emu je ar(p) = n) i ako je Iv (ti ) = di za i = 1, 2, . . . , n (pri cˇ emu je di ∈ D), onda je Iv (A) = pI (d1 , d2 , . . . , dn ); • ako je A = ¬B, onda je Iv (A) =

0, ako je Iv (B) = 1 1, ako je Iv (B) = 0

• ako je A = B1 ∧ B2 , onda je 1, ako je Iv (B1 ) = 1 i Iv (B2 ) = 1 Iv (A) = 0, inaˇce • ako je A = B1 ∨ B2 , onda je 1, ako je Iv (B1 ) = 1 ili Iv (B2 ) = 1 Iv (A) = 0, inaˇce


41

• ako je A = B1 ⇒ B2 , onda je 0, ako je Iv (B1 ) = 1 i Iv (B2 ) = 0 Iv (A) = 1, inaˇce • ako je A = B1 ⇔ B2 , onda je 1, ako je Iv (B1 ) = Iv (B2 ) Iv (A) = 0, inaˇce • ako je A = (∃x)B, onda je Iv (A) = 1 ako postoji valuacija w sa domenom D takva da je w ∼x v i Iw (B) = 1; inaˇce je Iv (A) = 0; • ako je A = (∀x)B, onda je Iv (A) = 0 ako postoji valuacija w sa domenom D takva da je w ∼x v i Iw (B) = 0; inaˇce je Iv (A) = 1. Moˇze se dokazati da je na opisani naˇcin svakoj formuli A nad signaturom L i skupom V pridruˇzena (jedinstvena) vrednost Iv (A). Primetimo da Iv (A) zavisi od v(x) samo ako promenljiva x ima slobodna pojavljivanja u formuli A. Vrednost Iv (A), dakle, zavisi samo od slobodnih promenljivih u formuli A. Specijalno, ako je A reˇcenica, vrednost Iv (A) uopˇste ne zavisi od v, pa tada umesto Iv (A) piˇsemo kraće I(A). ¯ Definicija 3.11 Ako je interpretacija Iv odredena L-strukturom D i valuacijom v i ako za L-formulu A vaˇzi Iv (A) = 1, onda kaˇzemo da interpretacija Iv zadovoljava formulu A, da je formula A taˇcna u interpretaciji Iv i da je L-struktura D sa valuacijom v model formule A i piˇsemo (D, v) |= A. Formula A je zadovoljiva u L-strukturi D ako postoji valuacija v takva da je (D, v) |= A. L-formula A je zadovoljiva ako postoje L-struktura D i valuacija v takve da je (D, v) |= A. Ako formula nije zadovoljiva, onda kaˇzemo da je ona kontradiktorna. Definicija 3.12 Ako je za neku L-strukturu D formula A taˇcna za svaku valuaciju v, tj. u svakoj interpretaciji Iv , onda kaˇzemo da je L-struktura D model formule A, kaˇzemo da je formula A valjana u L-strukturi D i piˇsemo D |= A. Ako je formula nad signaturom L valjana u svakoj L-strukturi, onda za tu formulu kaˇzemo da je valjana i to zapisujemo |= A. Ako formula nije valjana, onda kaˇzemo da je ona poreciva. Ako nije D |= A, onda piˇsemo D 6|= A i kaˇzemo da je D kontramodel za A. Analogne definicije uvodimo za skupove formula. Definicija 3.13 Skup reˇcenica Γ je konzinstentan ili zadovoljiv ako ima bar jedan model. Inaˇce, kaˇzemo da je nekonzistentan, nezadovoljiv, protivreˇcan ili kontradiktoran. Teorema 3.1 Ako su formule A i A ⇒ B (nad nekom signaturom L) valjane, onda je i formula B valjana. Dokaz: Pretpostavimo da postoje L-struktura D i odgovarajuća interpretacija Iv u kojoj formula B nije taˇcna. Formula A je valjana, pa je taˇcna i u interpretaciji Iv . U toj interpretaciji, onda, formula A ⇒ B nije taˇcna (jer je Iv (A) = 1 i Iv (B) = 0), sˇ to protivreˇci pretpostavci da je formula A ⇒ B valjana. Dakle, polazna pretpostavka je pogreˇsna, pa je formula B taˇcna u svakoj interpretaciji, tj. ona je valjana, sˇ to je i trebalo dokazati. 2

42

3 Logika prvog reda

Teorema 3.2 Formula A nad signaturom L je valjana u L-strukturi D ako i samo ako je formula (∀x)A valjana u D. Dokaz: Pretpostavimo da je formula A valjana u D. Pretpostavimo da formula (∀x)A nije valjana u D, tj. pretpostavimo da postoji valuacija v takva da je Iv ((∀x)A) = 0. Odatle sledi da postoji valuacija w za koju je w ∼x v i vaˇzi Iw (A) = 0, pa formula A nije valjana u D, sˇ to je u suprotnosti sa pretpostavkom. Dakle, formula (∀x)A je valjana u D. Pretpostavimo da je formula (∀x)A valjana u D. To znaˇci da za svaku valuaciju v vaˇzi Iv ((∀x)A) = 1. Pretpostavimo da formula A nije valjana u D. Tada postoji valuacija w takva da je Iw (A) = 0, pa je Iw ((∀x)A) = 0, sˇ to je u suprotnosti sa pretpostavkom. Dakle, formula A je valjana u D. 2 Teorema 3.3 Formula A je valjana ako i samo ako je formula (∀x)A valjana. Dokaz: Neka je A formula nad signaturom L. Ako je formula A valjana, onda je ona valjana u svakoj L-strukturi D, pa je onda, na osnovu teoreme 3.2, u svakoj L-strukturi D valjana i formula (∀x)A. Analogno vaˇzi i obratno, pa je formula A valjana ako i samo ako je formula (∀x)A valjana. 2 Na osnovu teorema 3.2 i 3.3 i jednostavnog induktivnog argumenta slede naredne dve teoreme. Teorema 3.4 Formula A nad signaturom L je valjana u L-strukturi D ako i samo ako je formula ∀ ∗ A valjana u D. Teorema 3.5 Formula A je valjana ako i samo ako je formula ∀ ∗ A valjana. Naredne dve teoreme analogne su (preciznije dualne) prethodnim teoremama. Teorema 3.6 Formula A nad signaturom L je zadovoljiva u L-strukturi D ako i samo ako je formula ∃ ∗ A zadovoljiva u D. Teorema 3.7 Formula A je zadovoljiva ako i samo ako je formula ∃ ∗ A zadovoljiva.

Zadaci Zadatak 29 Zadatak 30

√ √

Odrediti bar jedan model formule (∀x)(p(x) ⇒ p(f (x))). Ispitati da li je L-struktura data sa D = {a, b, c} i a b c

fI b a a

pI a b c

model formule (∀x)(p(x, f (x)) ⇒ p(f (x), x)).

a b 1 1 1 0 0 0

c 0 1 1

3.2 Semantika logike prvog reda Zadatak 31

√

43

Odrediti sve dvoˇclane modele formule (∀x)(∃y)(p(x, y)⇒¬p(y, x)).

√ Zadatak 32 Odrediti jedan model i jedan kontramodel za formulu (∀x)(∃y)(p(f (x, y), a)). √ Zadatak 33 Data je formula A = (∀x)(p(x, f (x)) ∧ ¬p(x, x)) ∧(∀x)(∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z)). (a) Odrediti bar jedan model za formulu A. (b) Odrediti bar jedan kontramodel za formulu A. (c) Dokazati da svaki model formule A ima beskonaˇcan domen. √ Zadatak 34 Dokazati da je formula (∀x)(∀y)(∃z)(p(x) ∧ p(y) ⇔ p(z)) valjana. Zadatak 35 Dokazati da su naredne formule valjane: (a) (∃x)(∀y)A ⇒ (∀y)(∃x)A (b) ((∃x)(A⇒B)) ⇔ (A⇒(∃x)B), pri cˇ emu promenljiva x nije slobodna u A. Zadatak 36 Dokazati da naredne formule nisu valjane: (a) (∃x)A1 ∧ (∃x)A2 ⇔ (∃x)(A1 ∧ A2 ) (b) (∀x)A1 ∨ (∀x)A2 ⇔ (∀x)(A1 ∨ A2 ) Zadatak 37 Dokazati da formula (∀x)(∃y)p(x, y) ⇔ (∃y)(∀x)p(x, y) nije valjana. Zadatak 38 Dokazati da je sledeća formula valjana: ((∀x)A) ∧ B ⇔ (∀x)(A ∧ B) pri cˇ emu formula B nema slobodnih pojavljivanja promenljive x. Dokazati da data formula nije valjana ako se izostavi navedeni dodatni uslov.

3.2.2

Logiˇcke posledice, logiˇcki ekvivalentne formule, supstitucija

Definicija 3.14 Neka je Γ skup formula i neka je A formula nad signaturom L. Kaˇzemo da je formula A logiˇcka posledica skupa formula Γ i piˇsemo Γ |= A ukoliko za svaku L-strukturu D i svaku valuaciju v vaˇzi: ako za svaku formulu B iz Γ vaˇzi (D, v) |= B, onda vaˇzi (D, v) |= A. Drugim reˇcima, kaˇzemo da je formula A logiˇcka posledica skupa formula Γ ako je svaki model za Γ istovremeno i model za A. Ako je skup Γ konaˇcan, tj. ako je Γ = {B1 , B2 , . . . , Bk }, onda piˇsemo B1 , B2 , . . . , Bk |= A. Ako je Γ prazan skup, onda piˇsemo |= A. Ako je |= A, onda formulu A zadovoljava svaka interpretacija i tada je formula A valjana. Ako ne vaˇzi Γ |= A, onda to zapisujemo Γ 6|= A. Na osnovu definicije logiˇcke posledice, jednostavno se dokazuje naredno ¯ tvrdenje (analogno teoremi 2.2). Teorema 3.8 (a) Svaka valjana formula je logiˇcka posledica praznog skupa formula. (b) Ako je skup Γ kontradiktoran, onda je svaka formula njegova logiˇcka posledica. Specijalno, svaka formula je logiˇcka posledica skupa {⊥}.

44

3 Logika prvog reda

(c) Ako je Γ ⊂ ∆ i Γ |= A, onda je ∆ |= A. Definicija 3.15 Kaˇzemo da su formule A i B logiˇcki ekvivalentne i piˇsemo A ≡ B ako je A logiˇcka posledica formule B i B je logiˇcka posledica formule A. Ako je svaki model za A istovremeno i model za B i obratno, onda u bilo ¯ kojoj valuaciji formule A i B imaju jednake vrednosti. Tvrdenja oblika A ≡ B zovemo logiˇckim ekvivalencijama (ili kraće ekvivalencijama). Relacija ≡ je, oˇcigledno, relacija ekvivalencije nad skupom formula. Teorema 3.9 Ako za L-formule A1 , A2 , B1 i B2 vaˇzi A1 ≡ A2 i B1 ≡ B2 , onda je: (a) ¬A1 ≡ ¬A2 (b) A1 ∧ B1 ≡ A2 ∧ B2 (c) A1 ∨ B1 ≡ A2 ∨ B2 (d) A1 ⇒ B1 ≡ A2 ⇒ B2 (e) A1 ⇔ B1 ≡ A2 ⇔ B2 (f) (∀x)A1 ≡ (∀x)A2 (g) (∃x)A1 ≡ (∃x)A2 Teorema 3.10 Za datu signaturu L, dve L-formule A i B su logiˇcki ekvivalentne ako i samo ako je formula A ⇔ B valjana. Primer 3.3 Moˇze se dokazati da za proizvoljnu L-formulu A vaˇzi ¬(∃x)A ≡ (∀x)¬A. Neka je D proizvoljna L-struktura. Pretpostavimo da vaˇzi Iv (¬(∃x)A) = 1 i dokaˇzimo da onda vaˇzi i Iv ((∀x)¬A) = 1. Iz Iv (¬(∃x)A) = 1 sledi Iv ((∃x)A) = 0, pa u svakoj valuaciji v 0 , takvoj da je v 0 ∼x v, vaˇzi Iv0 (A) = 0. To znaˇci da u svakoj valuaciji v 0 , takvoj da je v 0 ∼x v, vaˇzi Iv0 (¬A) = 1, a odatle sledi da u svakoj valuaciji v 00 , takvoj da je v 00 ∼x v 0 , vaˇzi Iv00 ((∀x)¬A) = 1, pa i u valuaciji v, tj. Iv ((∀x)¬A) = 1, sˇto je i ¯ trebalo dokazati. Drugi smer tvrdenja (da iz Iv ((∀x)¬A) = 1 sledi Iv (¬(∃x)A) = 1) dokazuje se analogno. Primer 3.4 Neke od logiˇckih ekvivalencija logike prvog reda (ili, preciznije, neke od shema logiˇckih ekvivalencija logike prvog reda) su: ¬(∃x)A ¬(∀x)A (∃x)(A ∨ B) (∀x)(A ∧ B) (∃x)(A ∧ B)

≡ ≡ ≡ ≡ ≡

(∀x)¬A (∃x)¬A (∃x)A ∨ (∃x)B (∀x)A ∧ (∀x)B (∃x)A ∧ B

(∀x)(A ∨ B)

≡

(∀x)A ∨ B

De Morganov zakon De Morganov zakon zakon distributivnosti ∃ prema ∨ zakon distributivnosti ∀ prema ∧ zakon distributivnosti ∃ prema ∧ (pri cˇ emu B ne sadrˇzi slobodna pojavljivanja promenljive x) zakon distributivnosti ∀ prema ∨ (pri cˇ emu B ne sadrˇzi slobodna pojavljivanja promenljive x)

Definicija 3.16 Term dobijen zamenom (supstitucijom) promenljive x termom tx u termu t oznaˇcavamo sa t[x 7→ tx ] i definiˇsemo na sledeći naˇcin:


45

• ako je t simbol konstante, onda je t[x 7→ tx ] = t; • ako je t = x, onda je t[x 7→ tx ] = tx ; • ako je t = y, gde je y 6= x, onda je t[x 7→ tx ] = t; • ako je t = f (t1 , t2 , . . . , tn ), onda je t[x 7→ tx ] = f (t1 [x 7→ tx ], t2 [x 7→ tx ], . . . , tn [x 7→ tx ]). Definicija 3.17 Formulu dobijenu zamenom (supstitucijom) promenljive x termom tx u formuli A oznaˇcavamo sa A[x 7→ tx ] i definiˇsemo na sledeći naˇcin: • >[x 7→ tx ] = >; • ⊥[x 7→ tx ] = ⊥; • ako je A = p(t1 , t2 , . . . , tn ), onda je A[x 7→ tx ] = p(t1 [x 7→ tx ], t2 [x 7→ tx ], . . . , tn [x 7→ tx ]); • (¬A)[x 7→ tx ] = ¬(A[x 7→ tx ]); • (A ∧ B)[x 7→ tx ] = (A[x 7→ tx ] ∧ B[x 7→ tx ]); • (A ∨ B)[x 7→ tx ] = (A[x 7→ tx ] ∨ B[x 7→ tx ]); • (A ⇒ B)[x 7→ tx ] = (A[x 7→ tx ] ⇒ B[x 7→ tx ]); • (A ⇔ B)[x 7→ tx ] = (A[x 7→ tx ] ⇔ B[x 7→ tx ]); • (∀xA)[x 7→ tx ] = (∀xA); • (∃xA)[x 7→ tx ] = (∃xA); • ako je x 6= y, neka je z promenljiva koja se ne pojavljuje ni u (∀y)A ni u tx ; tada je (∀yA)[x 7→ tx ] = (∀z)A[y 7→ z][x 7→ tx ]; • ako je x 6= y, neka je z promenljiva koja se ne pojavljuje ni u (∃y)A ni u tx ; tada je (∃yA)[x 7→ tx ] = (∃z)A[y 7→ z][x 7→ tx ]. ¯ Primetimo da poslednja dva pravila u prethodnoj definiciji obezbeduju, na primer, da ((∀y)p(x, y))[x 7→ y] ne bude (∀y)p(y, y) već (∀z)p(y, z). Primer 3.5 Vaˇzi: (∀x)A

≡

(∀y)(A[x 7→ y])

(∃x)A

≡

(∃y)(A[x 7→ y])

zakon o preimenovanju vezane promenljive (pri cˇ emu A ne sadrˇzi slobodna pojavljivanja promenljive y) zakon o preimenovanju vezane promenljive (pri cˇ emu A ne sadrˇzi slobodna pojavljivanja promenljive y)

U daljem tekstu c´ emo pod terminom izraz podrazumevati i termove i formule.

46

3 Logika prvog reda

Definicija 3.18 Uopˇstena zamena (supstitucija) σ je skup zamena [x1 7→ t1 ], [x2 7→ t2 ], . . ., [xn 7→ tn ] gde su xi promenljive i ti su proizvoljni termovi i gde je xi 6= xj za i 6= j. Takvu zamenu zapisujemo kraće [x1 7→ t1 , x2 7→ t2 , . . . , xn 7→ tn ]. Uopˇstena zamena primenjuje se simultano na sva pojavljivanja promenljivih x1 , x2 , . . ., xn u polaznom izrazu i samo na njih (tj. ne primenjuje se na podtermove dobijene zamenama). U daljem tekstu c´ emo umesto termina uopˇstena zamena (uopˇstena supstitucija) koristiti termin zamena (supstitucija). Izraz koji je rezultat primene zamene σ nad izrazom E, oznaˇcavamo sa Eσ. Oˇcigledno, iz zamene [x1 7→ t1 , x2 7→ t2 , . . . , xn 7→ tn ] se mogu (ali ne moraju) izostaviti sve pojedinaˇcne zamene oblika xi 7→ xi . Primer 3.6 Za σ = [x 7→ f (y)] i s = g(a, x) vaˇzi sσ = g(a, f (y)). Za σ = [x 7→ f (x)] i s = g(a, x) vaˇzi sσ = g(a, f (x)). Za σ = [x 7→ f (y), y 7→ a], s = g(a, x) i t = g(y, g(x, y)) vaˇzi sσ = g(a, f (y)) i tσ = g(a, g(f (y), a)). Ukoliko u zameni σ = [x1 7→ t1 , x2 7→ t2 , . . . , xn 7→ tn ] nijedan od termova ti ne sadrˇzi nijednu od promenljivih xj (sem, eventualno, ako je ti = xi za neko i), onda je efekat te zamene jednak efektu sukcesivno primenjenih pojedinaˇcnih zamena. Supstitucija σ je idempotentna (tj. za bilo koji izraz E vaˇzi Eσ = (Eσ)σ) ako i samo ako vaˇzi taj uslov — da nijedan od termova ti ne sadrˇzi nijednu od promenljivih xj (sem, eventualno, ako je ti = xi za neko i). Definicija 3.19 Za supstitucije φ = [x1 7→ t1 , x2 7→ t2 , . . . , xn 7→ tn ] i λ = [y1 7→ s1 , y2 7→ s2 , . . . , ym 7→ sm ], kompozicija supstitucija φλ je supstitucija [x1 7→ t1 λ, x2 7→ t2 λ, . . . , xn 7→ tn λ, y1 7→ s1 , y2 7→ s2 , . . . , ym 7→ sm ] iz koje su izbrisane zamene oblika xi 7→ xi , kao i zamene oblika yi 7→ si , gde je yi = xj za neko j. Primer 3.7 Za φ = [x 7→ f (y)] i λ = [y 7→ g(z)], vaˇzi φλ = [x 7→ f (g(z)), y 7→ g(z)]. Za φ = [x 7→ f (y)] i λ = [y 7→ g(x)], vaˇzi φλ = [x 7→ f (g(x)), y 7→ g(x)]. Za φ = [x 7→ y] i λ = [y 7→ x], vaˇzi φλ = [y 7→ x]. Za φ = [x 7→ f (y)] i λ = [x 7→ g(z)], vaˇzi φλ = [x 7→ f (y)]. Za φ = [x 7→ f (x)] i λ = [x 7→ a], vaˇzi φλ = [x 7→ f (a)]. Moˇze se dokazati da je kompozicija supstitucija asocijativna, kao i da vaˇzi E(φλ) = (Eφ)λ. Definicija 3.20 Ako je E izraz (term ili formula) i ako je φ supstitucija, onda kaˇzemo da je Eφ instanca (ili primerak) izraza E. Ako je izraz Eφ bazni, onda kaˇzemo da je on bazna instanca izraza E. Definicija 3.21 Neka su formule B1 i B2 takve da formula B2 nema nijednu slobodnu promenljivu koju nema formula B1 . Formulu dobijenu zamenom (supstitucijom) formule B1 formulom B2 u formuli A, oznaˇcavamo sa A[B1 7→ B2 ] i definiˇsemo na sledeći naˇcin: • ako je formula A instanca formule B1 , tj. ako je A = B1 σ za neku supstituciju σ, onda je A[B1 7→ B2 ] = B2 σ;


47

• ako je formula A atomiˇcka formula i nije instanca formule B1 , onda je A[B1 7→ B2 ] = A; • (¬A)[B1 7→ B2 ] = ¬(A[B1 7→ B2 ]); • (A ∧ B)[B1 7→ B2 ] = (A[B1 7→ B2 ] ∧ B[B1 7→ B2 ]); • (A ∨ B)[B1 7→ B2 ] = (A[B1 7→ B2 ] ∨ B[B1 7→ B2 ]); • (A ⇒ B)[B1 7→ B2 ] = (A[B1 7→ B2 ] ⇒ B[B1 7→ B2 ]); • (A ⇔ B)[B1 7→ B2 ] = (A[B1 7→ B2 ] ⇔ B[B1 7→ B2 ]); • (∀xA)[B1 7→ B2 ] = (∀x)(A[B1 7→ B2 ]); • (∃xA)[B1 7→ B2 ] = (∃x)(A[B1 7→ B2 ]). Naglasimo da smo u prethodnoj definiciji datom restrikcijom pojednostavili problem slobodnih pojavljivanjima promenljivih u formulama B1 i B2 . Osnovna svrha koncepta zamene formule formulom je u zameni formule logiˇcki ekvivalentnom formulom i za tu svrhu je data definicija dovoljna. Teorema 3.11 (Teorema o zameni) Ako vaˇzi B1 ≡ B2 , onda je A ≡ A[B1 7→ B2 ]. Primer 3.8 Neke od logiˇckih ekvivalencija logike prvog reda (koje proizilaze iz iskazne logike) su (videti i primer 2.6): ¬¬A ≡ A zakon dvojne negacije A ∨ ¬A ≡ > zakon iskljuˇcenja trećeg (A ∧ B) ≡ (B ∧ A) zakon komutativnosti za ∧ Primer 3.9 Vaˇzi ¬(∃x)(A∧¬B) ≡ (∀x)¬(A∧¬B) ≡ (∀x)(¬A∨¬¬B) ≡ (∀x)(¬A∨ B) ≡ (∀x)(A ⇒ B). Iz ¬(∃x)(A ∧ ¬B) ≡ (∀x)(A ⇒ B), na osnovu teoreme 3.10 sledi da je formula ¬(∃x)(A ∧ ¬B) ⇔ (∀x)(A ⇒ B) valjana.

Zadaci Zadatak 39 Zadatak 40

√ √

Navesti primer formule koja je valjana a nije izvod tautologije. Dokazati da je formula (∃x)(A ⇒ B) ⇔ ((∀x)A ⇒ (∃x)B) valjana.

Zadatak 41 Dokazati da za svaku supstituciju σ iz A ≡ B sledi Aσ ≡ Bσ. Zadatak 42 Dokazati da je formula (∀x)(∃y)A ⇒ (∃y)(A[x 7→ y]) valjana. Zadatak 43 Dokazati sledeću logiˇcku ekvivalenciju: ∃xA ≡ ∃y(A[x 7→ y]) pri cˇ emu formula A nema slobodnih pojavljivanja promenljive y. Dokazati da data logiˇcka ekvivalencija ne vaˇzi ako se izostavi navedeni dodatni uslov. Zadatak 44 Dokazati da je supstitucija σ = [x1 7→ t1 , x2 7→ t2 , . . . , xn 7→ tn ] idempotentna (tj. da za bilo koji izraz E vaˇzi Eσ = (Eσ)σ) ako i samo ako nijedan od termova ti ne sadrˇzi nijednu od promenljivih xj (sem, eventualno, ako je ti = xi za neko i).

48

3.2.3

3 Logika prvog reda

Normalne forme

Definicija 3.22 Kaˇzemo da je formula u preneks formi ili preneks normalnoj formi ako je ona oblika Q1 x1 Q2 x2 . . . Qn xn A pri cˇ emu je Qi ili ∀ ili ∃ i A ne sadrˇzi kvantifikatore, kao ni slobodne promenljive osim (eventualno) promenljivih x1 , x2 , . . . , xn . Ako je reˇcenica (zatvorena formula) A logiˇcki ekvivalentna formuli B i formula B je u preneks normalnoj formi, onda kaˇzemo da je formula B preneks normalna forma formule A. Koriˇsc´ enjem pogodnih logiˇckih ekvivalencija, svaka zatvorena formula moˇze biti transformisana u svoju preneks normalnu formu. Radi jednostavnosti procedure i rezultujuće formule, obiˇcno se u okviru transformisanja formule u preneks formu najpre eliminiˇsu veznici ⇔ i ⇒. Naglasimo da jedna formula moˇze da ima viˇse preneks normalnih formi (na primer, i formula (∀x)(∀y)(A(x)∧B(y)) i formula (∀y)(∀x)(B(y)∧A(x)) su preneks normalne forme formule (∀x)A(x) ∧ (∀y)B(y)). Sliˇcno, jedna formula koja je u preneks normalnoj formi moˇze biti preneks normalna forma za viˇse formula. Transformisanje formule u preneks normalnu formu moˇze biti opisano procedurom prikazanom na slici 3.1 (kada govorimo o ,,primeni neke logiˇcke ekvivalencije“ mislimo na koriˇsc´ enje ekvivalencije na osnovu teoreme o zameni (3.11)). Korektnost navedenog algoritma moˇze se dokazati sliˇcno kao korektnost procedure za transformisanje formule u konjunktivnu normalnu formu (teorema 2.6). Za sluˇcaj kada (prilikom primene koraka 4 algoritma) promenljiva x ima slobodna pojavljivanja u formuli B, izborom nove promenljive od, na primer, formule (∀xA) ∧ B dobija se formula ∀u(A[x 7→ u] ∧ B), pa je potrebno dokazati i: (∀xA) ∧ B ≡ ∀u(A[x 7→ u] ∧ B) (kao i preostale analogne logiˇcke ekvivalencije). Bez detalja dokaza, navodimo teoremu o korektnosti algoritma PRENEX. Teorema 3.12 (Korektnost algoritma PRENEX) Algoritam PRENEX se zaustavlja i zadovoljava sledeće svojstvo: ako je A ulazna formula, onda je izlazna formula A0 u preneks normalnoj formi i logiˇcki je ekvivalentna sa A. Za transformisanje formule u njenu preneks normalnu formu mogu se koristiti i logiˇcke ekvivalencije kao sˇ to su B ⇒ (∀xA) ≡ (∀x)(B ⇒ A), (∀x)A ⇒ B ≡ (∃x)(A ⇒ B), pri cˇ emu x nema slobodna pojavljivanja u formuli B, ali to nije potrebno ako su na poˇcetku eliminisani veznici ⇒ i ⇔. U nekim situacijama moguće je primeniti neki korak navedenog algoritma na viˇse od jednog naˇcina. Na primer, formulu (∀x)p(x) ∧ (∃y)q(y) moguće je transformisati i u (∀x)(p(x) ∧ (∃y)q(y)) i u (∃y)((∀x)p(x) ∧ q(y)). Obe ove formule su, naravno, logiˇcki ekvivalentne sa polaznom formulom. Ipak, u situacijama kada je moguće ,,pomeriti“ i univerzalni i egzistencijalni kvantifikator, uvek c´ emo radije ,,pomeriti“ najpre egzistencijalni, a onda univerzalni. Takav prioritet uvodimo zarad jednostavnijeg koraka skolemizacije (o kojem c´ e biti reˇci u nastavku). Naglasimo da univerzalni i egzistencijalni kvantifikator ne


Algoritam: PRENEX Ulaz: Zatvorena dobro zasnovana formula A Izlaz: Preneks normalna forma formule A 1. Dok god je to moguće, primenjivati logiˇcke ekvivalencije A ⇔ B ≡ (A ⇒ B) ∧ (B ⇒ A) i A ⇒ B ≡ ¬A ∨ B. 2. Dok god je to moguće, primenjivati sledeće logiˇcke ekvivalencije: ¬(A ∧ B) ≡ ¬A ∨ ¬B, ¬(A ∨ B) ≡ ¬A ∧ ¬B, ¬(∀x)A ≡ (∃x)¬A, ¬(∃x)A ≡ (∀x)¬A. 3. Eliminisati viˇsestruke veznike ¬ koristeći zakon dvojne negacije: ¬¬A ≡ A. 4. Dok god je to moguće, primenjivati sledeće logiˇcke ekvivalencije: (∀xA) ∧ B ≡ (∀x)(A ∧ B), (∀xA) ∨ B ≡ (∀x)(A ∨ B), B ∧ (∀x)A ≡ (∀x)(B ∧ A), B ∨ (∀x)A ≡ (∀x)(B ∨ A), (∃xA) ∧ B ≡ (∃x)(A ∧ B), (∃xA) ∨ B ≡ (∃x)(A ∨ B), B ∧ (∃x)A ≡ (∃x)(B ∧ A), B ∨ (∃x)A ≡ (∃x)(B ∨ A), pri ˇcemu x nema slobodna pojavljivanja u formuli B. Ako x ima slobodna pojavljivanja u B, onda treba najpre preimenovati promenljivu x u formuli (∀x)A (odnosno u formuli (∃x)A). Figure 3.1: Algoritam PRENEX

49

50

3 Logika prvog reda

mogu, u opˇstem sluˇcaju, da menjaju mesta, tj. formule (∀x)(∃y)A i (∃y)(∀x)A nisu u opˇstem sluˇcaju logiˇcki ekvivalentne. S druge strane, dva univerzalna kvantifikatora mogu da zamene mesta, tj. formule (∀x)(∀y)A i (∀y)(∀x)A su logiˇcki ekvivalentne. Sliˇcno, dva egzistencijalna kvantifikatora mogu da zamene mesta, tj. formule (∃x)(∃y)A i (∃y)(∃x)A su logiˇcki ekvivalentne. To suˇstinski znaˇci da u bloku kvantifikatora istog tipa, njihov poredak nije bitan. Primer 3.10 Razmotrimo formulu ∀x p(x) ∧ ∀x∃y∀z(q(y, z) ⇒ r(g(x), y)) . Nakon koraka ∀x(p(x) ∧ ∀x∃y∀z(q(y, z) ⇒ r(g(x), y))) , kako je promenljiva x slobodna u p(x), najpre c´ emo preimenovati vezanu promenljivu x u u (u okviru formule ∀x∃y∀z(q(y, z) ⇒ r(g(x), y))): ∀x(p(x) ∧ ∀u∃y∀z(q(y, z) ⇒ r(g(u), y))) . Nakon toga kvantifikatori ∀u, ∃y, ∀z mogu, jedan po jedan, biti pomereni na poˇcetak formule: ∀x∀u∃y∀z(p(x) ∧ (q(y, z) ⇒ r(g(u), y))) . Definicija 3.23 Formula bez kvantifikatora je u konjunktivnoj normalnoj formi ako je oblika A1 ∧ A2 ∧ . . . ∧ An pri cˇ emu je svaka od formula Ai (1 ≤ i ≤ n) disjunkcija literala. Konjunktivna normalna forma formule predikatske logike moˇze se dobiti na isti naˇcin kao i u sluˇcaju iskazne logike (videti poglavlje 2.2.5). Primer 3.11 Konjunktivna normalna forma formule p(x) ∧ (q(y, z) ⇒ r(g(u), y)) je formula p(x) ∧ (¬q(y, z) ∨ r(g(u), y)) . Definicija 3.24 Formula je u klauzalnoj formi ako je oblika ∀x1 ∀x2 . . . ∀xn A gde je A formula bez kvantifikatora koja je u konjunktivnoj normalnoj formi i A nema slobodnih promenljivih osim, eventualno, promenljivih x1 , x2 , . . . , xn . Ako je formula ∀x1 ∀x2 . . . ∀xn A u klauzalnoj formi, onda se cˇ esto u zapisu izostavljaju kvantifikatori i piˇse samo A, podrazumevajući da se misli na univerzalno zatvorenje formule A. Ne postoji za svaku reˇcenicu formula koja je u klauzalnoj formi i koja joj je logiˇcki ekvivalentna. Na primer, za reˇcenicu (∃x)p(x) ne postoji formula ¯ koja je u klauzalnoj formi i koja joj je logiˇcki ekvivalentna. Medutim, moˇze se dokazati da za svaku reˇcenicu A postoji formula B u klauzalnoj formi takva da je A zadovoljiva ako i samo ako je B zadovoljiva (videti teoremu 3.15). To


51

je dovoljno i pogodno za ispitivanje zadovoljivosti formula — ako se ispituje zadovoljivost reˇcenice A, dovoljno je ispitati zadovoljivost formule B koja je u klauzalnoj formi (pogodnoj za neke metode) i zadovoljiva je ako i samo ako je zadovoljiva formula A. Uslov da je formula A zadovoljiva ako i samo ako je B zadovoljiva zove se slaba ekvivalencija. Transformisanje reˇcenice A u formulu B koja je u klauzalnoj formi i koja je zadovoljiva ako i samo ako je A zadovoljiva ukljuˇcuje eliminisanje egzistencijalnih kvantifikatora. Ono se zasniva na izmeni polazne signature dodavanjem novih funkcijskih simbola. Te dodatne funkcijske simbole zovemo Skolemovim konstantama (za funkcijske simbole arnosti 0) i Skolemovim funkcijama, a proces eliminisanja egzistencijalnih kvantifikatora zovemo skolemizacijom (po matematiˇcaru Skolemu koji ih je prvi koristio). Prvi korak je transformisanje formule u preneks normalnu formu. Drugi korak je transformisanje dela formule bez kvantifikatora u konjunktivnu normalnu formu. Nakon toga, postupkom skolemizacije eliminiˇsu se egzistencijalni kvantifikatori, jedan po jedan, sleva nadesno. Pretpostavimo da reˇcenica poˇcinje egzistencijalnim kvantifikatorom: ∃yA. Treba izabrati novi simbol konstante d koji se ne pojavljuje u signaturi, obrisati kvantifikator i zameniti promenljivu y simbolom d. Na taj naˇcin formula ∃yA transformiˇse se u formulu A[y 7→ d]. Moˇze se dokazati da je formula ∃yA zadovoljiva ako i samo ako je formula A[y 7→ d] zadovoljiva. Ako reˇcenica poˇcinje nizom univerzalnih kvantifikatora: ∀x1 ∀x2 . . . ∀xn ∃yA, onda uvodimo novi funkcijski simbol f arnosti n koji do tada nije postojao u signaturi. Polazna formula biće onda transformisana u formulu ∀x1 ∀x2 . . . ∀xn A[y 7→ f (x1 , x2 , . . . , xn )]. Moˇze se dokazati da je formula ∀x1 ∀x2 . . . ∀xn ∃yA zadovoljiva ako i samo ako je formula ∀x1 ∀x2 . . . ∀xn A[y 7→ f (x1 , x2 , . . . , xn )] ¯ zadovoljiva. (Primetimo da je uvodenje nove konstante samo specijalni sluˇcaj ¯ uvodenja novog funkcijskog simbola.) Teorema 3.13 (Teorema o skolemizaciji) Ako je formula B nad signaturom L0 dobijena skolemizacijom od reˇcenice A nad signaturom L koja je u preneks normalnoj formi, onda je A zadovoljiva ako i samo ako je B zadovoljiva. Primer 3.12 Skolemizacijom se formula ∀x∀u∃y∀z(p(x) ∧ (¬q(y, z) ∨ r(g(u), y))) transformiˇse u formulu p(x) ∧ (¬q(h(x, u), z) ∨ r(g(u), h(x, u))) . Teorema 3.14 Neka je formula B (u klauzalnoj formi) dobijena od reˇcenice A uzastopnom primenom sledećih postupaka: • transformisanje formule u preneks normalnu formu; • transformisanje dela formule bez kvantifikatora u konjunktivnu normalnu formu; • skolemizacija. Tada je formula A zadovoljiva ako i samo ako je B zadovoljiva.

52

3 Logika prvog reda

Dokaz: Transformacija formule u preneks normalnu formu i transformacija dela formule bez kvantifikatora u konjunktivnu normalnu formu zasnovane su na logiˇckim ekvivalencijama, pa ako je formula B dobijena od formule A uzastopnom primenom navedene dve transformacije, vaˇzi A ≡ B, sˇ to je jaˇci uslov nego uslov da je A zadovoljiva ako i samo ako je B zadovoljiva. Na osnovu teoreme 3.13 sledi da skolemizacija cˇ uva zadovoljivost i nezadovoljivost, pa je formula B zadovoljiva ako i samo ako je A zadovoljiva. 2 ¯ Na osnovu prethodne teoreme neposredno sledi naredno tvrdenje. Teorema 3.15 Za svaku reˇcenicu A postoji formula B u klauzalnoj formi takva da je A zadovoljiva ako i samo ako je B zadovoljiva. Klauzalna forma je pogodna za dokazivanje pobijanjem. Da bi se dokazalo da je formula A valjana, dovoljno je dokazati da je formula ¬A nezadovoljiva, pa je dovoljno i dokazati da je klauzalna forma formule ¬A nezadovoljiva. Primer 3.13 Formula A = (∀x)p(x, x) ⇒ (∀y)p(y, y) nad signaturom L je valjana. To se moˇze dokazati na sledeći naˇcin. Formula ¬A je jednaka ¬((∀x)p(x, x) ⇒ (∀y)p(y, y)) i njena preneks normalna forma je (∃y)(∀x)(p(x, x) ∧ ¬p(y, y)). Skolemizacijom dobijamo formulu p(x, x) ∧ ¬p(c, c), gde je c novi simbol konstante. Neka je L0 signatura dobijena proˇsirivanjem signature L simbolom c. Pokaˇzimo da je formula p(x, x) ∧ ¬p(c, c) nezadovoljiva. Pretpostavimo suprotno — pretpostavimo da navedena formula ima model. Neka je 0 0 0 to L0 -struktura D = (D, I L ) sa valuacijom v. Neka je I L (p) = pI i I L (c) = cI . Vaˇzi Iv (p(x, x) ∧ ¬p(c, c)) = 1 tj. Iv ((∀x)(p(x, x) ∧ ¬p(c, c))) = 1, pa za svaku valuaciju w takvu da je w ∼x v vaˇzi Iw (p(x, x) ∧ ¬p(c, c)) = 1. To, dakle, vaˇzi i za valuaciju w u kojoj je w(x) = cI . Iz Iw (p(x, x) ∧ ¬p(c, c)) = 1 sledi Iw (p(x, x)) = 1 i Iw (p(c, c)) = 0. Iz Iw (p(x, x)) = 1 sledi pI (cI , cI ) = 1, a iz Iw (p(c, c)) = 0 sledi pI (cI , cI ) = 0, sˇto je kontradikcija. Dakle, formula p(x, x) ∧ ¬p(c, c) je nezadovoljiva, pa je polazna formula A valjana.

Zadaci Zadatak 45 Odrediti klauzalne forme za formule: (a) (∃x)A1 ∧ (∃x)A2 ⇒ (∃x)(A1 ∧ A2 ) (b) (∀x)A1 ∨ (∀x)A2 ⇒ (∀x)(A1 ∨ A2 ) (c) (∀x)(∃y)A ⇒ (∃y)A(f (y), y)

3.2.4

Unifikacija

Problem unifikacije je problem ispitivanja da li postoji supstitucija koja cˇ ini dva izraza (dva terma ili dve formule) jednakim. Unifikacija se prvi put pominje u radovima Posta, a zatim i u radovima Erbrana. Definicija 3.25 Ako su e1 i e2 izrazi i ako postoji supstitucija σ takva da vaˇzi e1 σ = e2 σ, onda kaˇzemo da su izrazi e1 i e2 unifikabilni i da je supstitucija σ unifikator za ta dva izraza.


53

Dva unifikabilna izraza mogu da imaju viˇse unifikatora. Za dva unifikatora σ1 i σ2 kaˇzemo da su jednaka do na preimenovanje promenljivih ako postoji supstitucija λ koja je oblika [v10 7→ v100 , v20 7→ v200 , . . . , vn0 7→ vn00 ], pri cˇ emu su vi0 i vi00 simboli promenljivih i vaˇzi σ1 λ = σ2 . Primer 3.14 Neka je term t1 jednak g(x, z), neka je term t2 jednak g(y, f (y)) i neka je σ supstitucija [y 7→ x, z 7→ f (x)]. Tada je i t1 σ i t2 σ jednako g(x, f (x)), pa su termovi t1 i t2 unifikabilni, a σ je (jedan) njihov unifikator. Unifikator termova t1 i t2 je npr. i [x 7→ a, y 7→ a, z 7→ f (a)]. Termovi g(x, x) i g(y, f (y)) nisu unifikabilni. Definicija 3.26 Supstitucija σ je najopˇstiji unifikator za izraze e1 i e2 ako svaki unifikator τ izraza e1 i e2 moˇze biti predstavljen u obliku τ = σµ za neku supstituciju µ. Na osnovu definicije, svaki unifikator izraza e1 i e2 moˇze biti dobijen od najopˇstijeg unifikatora primenom neke supstitucije. Svaka dva unifikabilna izraza imaju najopˇstiji unifikator. Moˇze se dokazati da za dva izraza postoji najviˇse jedan najopˇstiji unifikator (do na preimenovanje promenljivih). Unifikacija ima mnoge primene. Jedna od najznaˇcajnijih je u metodu rezolucije. ¯ Na slici 3.2 dat je opis opˇsteg algoritma za odredivanje najopˇstijeg unifikatora. Pretpostavimo da je dat niz parova izraza (s1 , t1 ), (s2 , t2 ), . . . , (sn , tn ) i da se traˇzi supstitucija σ takva da vaˇzi s1 σ = t1 σ, s2 σ = t2 σ, . . . , sn σ = tn σ . Algoritam unifikacije ili vraća traˇzenu supstituciju ili se zaustavlja neuspeˇsno, ukazujući na to da traˇzena supstitucija ne postoji. Ukoliko postoji bar jedna supstitucija koja zadovoljava traˇzeni uslov, algoritam unifikacije vraća najopˇstiji unifikator (za date parove izraza). Ulaz za algoritam unifikacije za parove (s1 , t1 ), (s2 , t2 ), . . . , (sn , tn ) se obiˇcno zadaje u vidu niza jednakosti s1 = t1 , s2 = t2 , . . . , sn = tn . Primetimo da je korak 6 algoritma moguće u opˇstem sluˇcaju primeniti na viˇse naˇcina. Bilo koji od tih naˇcina vodi istom rezultatu — neuspehu (ako ne postoji traˇzeni unifikator) ili jednom od unifikatora koji se mogu razlikovati samo do na preimenovanje promenljivih. ¯ U koracima 5 i 6 se primenjuje tzv. provera pojavljivanja cˇ ime se obezbeduje zaustavljanje procedure (tj. spreˇcava pojavljivanje beskonaˇcnih petlji). ¯ Primer 3.15 Ilustrujmo rad algoritma za odredivanje na primeru sledeće dve jednakosti: g(y) = x f (x, h(x), y) = f (g(z), w, z) Polazni niz jednakosti je g(y) = x, f (x, h(x), y) = f (g(z), w, z). Primenom koraka 3 dobijamo x = g(y), f (x, h(x), y) = f (g(z), w, z).

54

3 Logika prvog reda

Algoritam: Najopˇstiji unifikator Ulaz: Niz jednakosti s1 = t1 , s2 = t2 , . . . , sn = tn Izlaz: Najopˇstiji unifikator (ako on postoji) Primenjuj, dok je to moguće, sledeće korake: 1. Ako postoje jednakosti koje imaju viˇse od jednog pojavljivanja, obriˇsi za svaku od njih sva pojavljivanja osim jednog (factoring). 2. Obriˇsi sve jednakosti oblika t = t (tautology). 3. Ako je x promenljiva i t term koji nije promenljiva i ako se t = x pojavljuje u nizu jednakosti, zameni jednakost t = x sa x = t. Ovo uraditi za sve jednakosti tog oblika (orientation). 4. Pretpostavimo da je jednakost s = t element niza jednakosti i da ni s ni t nisu promenljive. Razmotri sledeće sluˇcajeve: (a) Ako je s jednako ϕ(u1 , u2 , . . . , uk ) i t je jednako ϕ(v1 , v2 , . . . , vk ) (gde je ϕ funkcijski ili predikatski simbol), onda dodaj jednakosti u1 = v1 , u2 = v2 , . . ., uk = vk i zatim obriˇsi jednakost s = t (decomposition). (b) Ako su s i t bilo koje druge forme, zaustavi rad i kao rezultat vrati neuspeh (ovo se odnosi na sluˇcajeve kada je jedan od termova simbol konstante, a drugi nije; kada se u s i t razlikuju vodeći funkcijski (odnosno predikatski) simboli i kada su vodeći funkcijski (odnosno predikatski) simboli s i t razliˇcite arnosti) (collision). 5. Ako je x promenljiva, t term koji sadrˇzi x i x = t se pojavljuje u nizu jednakosti, zaustavi rad i kao rezultat vrati neuspeh (cycle). 6. Ako je x promenljiva, t term koji ne sadrˇzi x, x se pojavljuje i u nekim drugim jednakostima i x = t se pojavljuje u nizu jednakosti, onda primeni supstituciju [x 7→ t] na sve druge jednakosti (application). Ako nije moguće primeniti nijedan od navedenih koraka vrati tekući skup jednakosti kao najopˇstiji unifikator. Figure 3.2: Algoritam Najopˇstiji unifikator


55

Primenom koraka 4(a) dobijamo x = g(y), x = g(z), h(x) = w, y = z. Korak 6 je moguće primeniti na viˇse naˇcina. Primenom koraka 6 za y = z dobijamo x = g(z), x = g(z), h(x) = w, y = z. Primenom koraka 1 dobijamo x = g(z), h(x) = w, y = z. Primenom koraka 3 dobijamo x = g(z), w = h(x), y = z. Primenom koraka 6 dobijamo x = g(z), w = h(g(z)), y = z. ¯ traˇzeni najopˇstiji unifikator σ. Za Ovaj niz jednakosti odreduje σ = [x 7→ g(z), w 7→ h(g(z)), y 7→ z] vaˇzi g(y)σ = xσ f (x, h(x), y)σ = f (g(z), w, z)σ tj. vaˇzi g(z) = g(z) f (g(z), h(g(z)), z) = f (g(z), h(g(z)), z) . Primer 3.16 Razmotrimo sledeću jednakost: g(x, x) = g(y, f (y)) . Primenom koraka 4(a) dobijamo x = y, x = f (y). Korak 6 moˇze se primeniti samo na dva naˇcina: • primenom koraka za jednakost x = y; tada se dobija x = y, y = f (y), odakle se, primenom koraka 5 dolazi do neuspeha. • primenom koraka za jednakost x = f (y); tada se dobija f (y) = y, x = f (y), odakle se, primenom koraka 3 i koraka 5 dolazi do neuspeha. Bez dokaza navodimo teoremu o korektnosti navedenog algoritma za odre¯ divanje najopˇstijeg unifikatora (videti, na primer, [?, ?]). Teorema 3.16 (Korektnost algoritma Najopˇstiji unifikator) Algoritam Najopˇstiji unifikator zadovoljava sledeće uslove: • zaustavlja se; • ako vrati supstituciju, onda je ona najopˇstiji unifikator za dati niz parova izraza; • ako se algoritam zaustavi sa neuspehom, onda ne postoji unifikator za dati niz parova izraza.

56

3 Logika prvog reda

Navedeni algoritam nije efikasan. Postoje znatno efikasniji algoritmi za unifikaciju. Mnogi od njih zasnovani su na koriˇsc´ enju pogodnih struktura podataka i implicitnom primenjivanju supstitucije (iz koraka 6). Neki od tih algoritama imaju linearnu sloˇzenost (po broju polaznih jednakosti), ali, u opˇstem sluˇcaju, najopˇstiji unifikator moˇze imati i eksponencijalnu duˇzinu (po broju polaznih jednakosti), te ga nije moguće eksplicitno predstaviti u linearnom vremenu. To ilustruje sledeći primer. Primer 3.17 Za skup jednakosti x1 = f (x0 , x0 ) x2 = f (x1 , x1 ) ... xn = f (xn−1 , xn−1 ) Najopˇstiji unifikator sadrˇzi zamenu xn 7→ t, gde je t term koji sadrˇzi samo simbole x0 i f , pri cˇ emu ima 2n − 1 pojavljivanja simbola f . Primetimo da je problem ispitivanja da li je neka formula instanca neke ¯ aksiomske sheme blizak problemu unifikacije. Navedeni algoritam za odredivanje najopˇstijeg unifikatora moˇze se koristiti i za unifikovanje dobro zasnovanih formula. Prilikom ispitivanja da li neka formula cˇ ini instancu neke aksi¯ omske sheme, medutim, vrˇsi se samo jednosmerno uparivanje i varijable u formulama se smatraju konstantama koje nije moguće instancirati. Postoje i drugi algoritmi za jednosmerno uparivanje. Primer 3.18 Za testiranje da li je p(f (s(a), f (u, v)), s(f (a, f (u, v)))) instanca for¯ mule p(f (s(x), y), s(f (x, y))) moˇze se primeniti algoritam za odredivanje najopˇstijeg unifikatora na jednakost p(f (s(a), f (u, v)), s(f (a, f (u, v)))) = p(f (s(x), y), s(f (x, y))) uz restrikciju da se koristi samo jednostrano uparivanje tj. da se sve promenljive iz prve formule smatraju konstantama koje nije moguće supstituisati. Time se dobija najopˇstiji unifikator σ = [x 7→ a, y 7→ f (u, v)] . Zbog restrikcije nad varijablama u jednosmernom uparivanju, u testiranju da li je p(f (s(a), f (u, y)), s(f (a, f (u, y)))) instanca formule p(f (s(x), y), s(f (x, y))), simboli y u prvoj i drugoj formuli ne smatraju se jednakim, te je najopˇstiji unifikator za ove dve formule σ = [x 7→ a, y 7→ f (u, y)] .

Zadaci Zadatak 46 Odrediti najopˇstiji unifikator za sledeći skup parova termova: {(g(x, h(y, z)), g(u, x)), (f (x), f (h(c, v))), (g(z, u), g(y, u))} . Zadatak 47 Ispitati da li je relacija unifikabilnosti tranzitivna. √ Zadatak 48 Dokazati da za dva izraza postoji najviˇse jedan najopˇstiji unifikator (do na preimenovanje promenljivih).


3.2.5

57

Metod rezolucije

Metod rezolucije formulisao je Alan Robinson 1965. godine [?], sledeći mnogobrojne prethodne rezultate. Metod rezolucije je postupak za ispitivanje (ne)zadovoljivosti skupa klauza logike prvog reda, a moˇze se pojednostaviti tako da je primenjljiv za ispitivanje (ne)zadovoljivosti skupa klauza iskazne logike. Metod rezolucije za iskaznu logiku primenjuje se na iskazne formule koje su u konjunktivnoj normalnoj formi, a metod za logiku prvog reda primenjuje se na formule koje su u klauzalnoj formi. Formula se reprezentuje kao skup klauza od kojih je svaka skup literala. Na osnovu asocijativnosti i komutativnosti konjunkcije i disjunkcije, kao i na osnovu logiˇckih ekvivalencija A ∧ A ≡ A i A ∨ A ≡ A, formula koja je u konjunktivnoj normalnoj moˇze da se zameni (logiˇcki ekvivalentnom) formulom koja je skup (razliˇcitih) klauza od kojih je svaka skup (razliˇcitih) literala. Sve klauze koje sadrˇze logiˇcke konstante > ili ⊥ mogu biti eliminisane ili zamenjene tako da se ne promeni zadovoljivost polaznog skupa klauza i da se ove konstante ne pojavljuju u skupu klauza. Zaista, klauza koja sadrˇzi literal > je u svakoj valuaciji taˇcna, pa moˇze biti eliminisana (jer ne utiˇce na zadovoljivost polaznog skupa klauza). Ako klauza C sadrˇzi literal ⊥, onda taj literal moˇze biti obrisan, dajući novu klauzu C 0 (jer je u svakoj valuaciji klauza C taˇcna ako i samo ako je taˇcna klauza C 0 ). Klauza je zadovoljiva ako postoji interpretacija u kojoj je bar jedan literal iz te klauze taˇcan. Prazna klauza, u oznaci 2, ne sadrˇzi nijedan literal i nije zadovoljiva. Formula koja je skup klauza je zadovoljiva ako postoji interpretacija u kojoj su sve klauze te formule taˇcne, a inaˇce je nezadovoljiva. U sluˇcaju iskazne logike, ako je literal l jednak iskaznom slovu p, onda sa l oznaˇcavamo literal ¬p; ako je literal l jednak negaciji iskaznog slova p (tj. literalu ¬p), onda sa l oznaˇcavamo literal p. Za literale l i l kaˇzemo da su ¯ medusobno komplementni. U sluˇcaju logike prvog reda, ako je literal l jednak p(t1 , t2 , . . . , tn ), onda sa l oznaˇcavamo literal ¬p(t1 , t2 , . . . , tn ); ako je literal l jednak ¬p(t1 , t2 , . . . , tn ), onda sa l oznaˇcavamo literal p(t1 , t2 , . . . , tn ). Za lit¯ erale l i l kaˇzemo da su (medusobno) komplementni. Metod rezolucije za iskaznu logiku U metodu rezolucije za iskaznu logiku primenjuje se pravilo rezolucije sledec´ eg oblika: C 0 ∨ l C 00 ∨ l C 0 ∨ C 00 Klauzu C 0 ∨ C 00 zovemo rezolventom klauza C 0 ∨ l i C 00 ∨ l, a klauze C 0 ∨ l i C 00 ∨l roditeljima rezolvente. Kaˇzemo da klauze C 0 ∨l i C 00 ∨l rezolviramo pravilom rezolucije. Metod rezolucije je postupak za ispitivanje zadovoljivosti skupa klauza koji se sastoji od uzastopnog primenjivanja pravila rezolucije. Pravilom rezolucije se roditelji rezolvente ne zamenjuju rezolventom, već se rezolventa dodaje u skup tekući skup klauza. Neka je S poˇcetni skup, neka je S0 = S i neka je Si+1 rezultat primene pravila rezolucije na skup Si . Postupak se zaustavlja na jedan od sledeća dva naˇcina:

58

3 Logika prvog reda • ako u nekom koraku skup Si sadrˇzi praznu klauzu (2), onda zaustavi primenu procedure i vrati odgovor da je skup klauza S nezadovoljiv; • ako ne postoji mogućnost da se primeni pravilo rezolucije tako da se skupovi Si i Si+1 razlikuju, onda zaustavi primenu procedure i vrati odgovor da je skup klauza S zadovoljiv.

Niz klauza (polaznih i izvedenih) oznaˇcavaćemo obiˇcno sa Ci (i = 1, 2, . . .). Iza izvedene klauze zapisivaćemo oznake klauza iz kojih je ona izvedena, kao i redne brojeve literala nad kojim je primenjeno pravilo rezolucije. Literale u klauzama razdvajaćemo obiˇcno simbolom ’,’ (umesto simbolom ’∨’). Primer 3.19 Metodom rezolucije se iz skupa {{¬p, ¬q, r}, {¬p, q}, {p}, {¬r}} moˇze izvesti prazna klauza: C1 : ¬p, ¬q, r C2 : ¬p, q C3 : p C4 : ¬r C5 : ¬p, r (C1 , 2; C2 , 2) C6 : ¬p (C4 , 1; C5 , 2) C7 : 2 (C3 , 1; C6 , 1) Skup klauza {{¬p, ¬q, r}, {¬p, q}, {p}, {¬r}} je, dakle, nezadovoljiv. Primer 3.20 Metodom rezolucije se iz skupa {{¬p, ¬q, r}, {¬p, q}, {p}} ne moˇze izvesti prazna klauza. Ovaj skup klauza je, dakle, zadovoljiv. Teorema 3.17 (Teorema o metodu rezolucije) Metod rezolucije se zaustavlja za svaku iskaznu formulu i u zavrˇsnom skupu klauza postoji prazna klauza ako i samo ako je polazna formula nezadovoljiva. Metod rezolucije moˇze na razne naˇcine biti modifikovan tako da bude efikasniji. U svom osnovnom obliku, metod rezolucije proverava da li je dati skup ¯ klauza (ne)zadovoljiv. Medutim, metod rezolucije moˇze se koristiti i za ispitivanje valjanosti. Naime, ako je potrebno ispitati da li je formula A valjana, dovoljno je metodom rezolucije utvrditi da li je formula ¬A nezadovoljiva (pri cˇ emu je potrebno najpre formulu ¬A transformisati u konjuktivnu normalnu formu). Ovaj vid dokazivanja da je formula A valjana zovemo dokazivanje pobijanjem. Za metod rezolucije primenjen na ovaj naˇcin, saglasnost govori da nije moguće rezolucijom pogreˇsno utvrditi (pobijanjem) da je neka formula valjana, a potpunost govori da je za svaku valjanu formulu metodom rezolucije moguće dokazati (pobijanjem) da je valjana. Metod rezolucije za logiku prvog reda U logici prvog reda, pravilo rezolucije je opˇstije nego u iskaznom sluˇcaju, i umesto da zahteva da u dve klauze postoje komplementni literali, zahteva da u dve klauze postoje literali A0 i ¬A00 takvi da su atomiˇcke formule A0 i A00 unifikabilne. Pravilo rezolucije za logiku prvog reda (u njegovom osnovnom obliku, tzv. binarna rezolucija) moˇze se prikazati na sledeći naˇcin: Γ0 ∨ A0 Γ00 ∨ ¬A00 (Γ0 ∨ Γ00 )σ


59

gde su Γ0 i Γ00 klauze, a σ je najopˇstiji unifikator za A0 i A00 . Obe klauze na koje se primenjuje pravilo rezolucije su (implicitno) univerzalno kvantifikovane. Zbog toga se svaka od njihovih varijabli moˇze preˇ imenovati (jer su formule ∀xA(x) i ∀x0 A(x0 ) logiˇcki ekvivalentne). Staviˇ se, to je neophodno uraditi za sve deljene varijable, jer bi, inaˇce, neke primene pravila rezolucije bile (pogreˇsno) onemogućene (jer odgovarajući literali ne bi bili unifikabilni). Preimenovanje varijabli moˇze se primeniti pre primene pojedinaˇcnog pravila rezolucije ili unapred, pre primene sâmog metoda rezolucije. Ako se preimenovanje varijabli primenjuje unapred, pre primene metoda rezolucije, onda ono treba da obezbedi da nikoje dve klauze nemaju zajedniˇcku promenljivu. Dodatno, u svakoj novoizvedenoj klauzi treba preimenovati promenljive tako da se novi simboli promenljivih ne pojavljuju ni u jednoj drugoj klauzi. Primer 3.21 Nad klauzama ¬p(x, y) ∨ ¬p(z, y) ∨ p(x, z) i ¬p(b, a) se moˇze primeniti pravilo rezolucije, jer su literali p(x, z) i p(b, a) unifikabilni (uz najopˇstiji unifikator σ = [x 7→ b, z 7→ a]). Rezolventa ove dve klauze je klauza ¬p(b, y) ∨ ¬p(a, y). Ako se pravilo rezolucije primenjuje dalje, onda u dobijenoj klauzi sve promenljive treba da budu preimenovane (treba da dobiju imena koja do tada nisu koriˇsc´ ena): ¬p(b, y 0 ) ∨ ¬p(a, y 0 ). Definicija 3.27 Forma Kovalskog klauze ¬A1 ∨ ¬A2 ∨ . . . ∨ ¬Am ∨ B1 ∨ B2 ∨ . . . ∨ Bn je formula A1 ∧ A2 ∧ . . . ∧ Am ⇒ B1 ∨ B2 ∨ . . . ∨ Bn . Specijalno, forma Kovalskog klauze B1 ∨ B2 ∨ . . . ∨ Bn je formula ⇒ B1 ∨ B2 ∨ . . . ∨ Bn , a klauze ¬A1 ∨ ¬A2 ∨ . . . ∨ ¬Am formula A1 ∧ A2 ∧ . . . ∧ Am ⇒ . Ako je u ¬A1 ∨ ¬A2 ∨ . . . ∨ ¬Am ∨ B1 ∨ B2 ∨ . . . ∨ Bn i m = 0 i n = 0, onda je to prazna klauza, koju oznaˇcavamo ⇒ ili 2. Precizno govoreći, forme Kovalskog ⇒ B1 ∨B2 ∨. . .∨Bn , A1 ∧A2 ∧. . .∧Am ⇒ i ⇒ nisu dobro zasnovane formule, ali cˇ ine zapis klauza koji je intuitivan i blizak zapisu u PROLOG-u. Pravilo rezolucije moˇze da se reprezentuje i koristeći formu Kovalskog: Γ0 ⇒ B 0 ∨ A0 Γ00 ∧ A00 ⇒ B 00 (Γ0 ∧ Γ00 ⇒ B 0 ∨ B 00 )σ

60

3 Logika prvog reda

gde je σ najopˇstiji unifikator za formule A0 , A100 . Zaista, primenom supstitucije σ na prvu formulu (Γ0 ⇒ B 0 ∨ A0 ) dobija se Γ0 σ ∧ ¬B 0 σ ⇒ A , gde je A = A0 σ = A00 σ. Primenom supstitucije σ na drugu formulu (Γ00 ∧ A00 ⇒ B 00 ) dobija se A ⇒ ¬Γ00 σ ∨ B 00 σ . Iz Γ0 σ ∧ ¬B 0 σ ⇒ A i A ⇒ ¬Γ00 σ ∨ B 00 σ dobija se Γ0 σ ∧ ¬B 0 σ ⇒ ¬Γ00 σ ∨ B 00 σ , sˇ to je logiˇcki ekvivalentnto sa (Γ0 ∧ Γ00 ⇒ B 0 ∨ B 00 )σ . Primer 3.22 Razmotrimo sledeće dve klauze Kovalskog: p(x, y) ∧ p(z, y) ⇒ p(x, z) i p(b, u) ⇒. Literali p(x, z) i p(b, u) mogu biti unifikovani supstitucijom [x 7→ b, z 7→ a, u 7→ a]. Tada je forma Kovalskog rezolvente date dve klauze: p(b, y) ∧ p(a, y) ⇒. Metod rezolucije sastoji se od uzastopnog primenjivanja pravila rezolucije. Neka je S poˇcetni skup, neka je S0 = S i neka je Si+1 rezultat primene pravila rezolucije na skup Si .2 Postupak se zaustavlja na jedan od sledeća dva naˇcina: • ako u nekom koraku skup Si sadrˇzi praznu klauzu (2), onda zaustavi primenu procedure i vrati odgovor da je skup klauza S nezadovoljiv; • ako ne postoji mogućnost da se primeni pravilo rezolucije tako da se skupovi Si i Si+1 razlikuju, onda zaustavi primenu procedure i vrati odgovor da je skup klauza S zadovoljiv. Da bi se dokazalo da je neka formula A valjana, njena negacija se transformiˇse u klauzalnu formu i onda se na dobijeni skup klauza primenjuje metod rezolucije. Ako se izvede prazna klauza, onda to znaˇci da je formula ¬A nezadovoljiva, pa je A valjana; ako u nekom koraku ne moˇze da se izvede nijedna nova klauza, onda to znaˇci je formula ¬A zadovoljiva, pa A nije valjana. Moguć je i ishod da nove klauze mogu da se izvode beskonaˇcno, a da se pri tome ne izvede prazna klauza. Da bi se dokazalo da je neka formula A logiˇcka posledica formula B1 , B2 , . . ., Bn potrebno je dokazati da je formula B1 ∧ B2 ∧ . . . ∧ Bn ⇒ A valjana, tj. dokazati da formula ¬(B1 ∧ B2 ∧ . . . ∧ Bn ⇒ A) nije zadovoljiva. Potrebno je, dakle, dokazati da formula B1 ∧ B2 ∧ . . . ∧ Bn ∧ ¬A nije zadovoljiva. Primer 3.23 Dokazati da je formula p(a) ⇒ (∃x)p(x) valjana. Negacija date formule je logiˇcki ekvivavalentna formuli p(a) ∧ (∀x)¬p(x). Metod rezolucije primenjujemo na skup klauza {p(a), ¬p(x)}. Pravilo rezolucije moguće je primeniti samo na jedan naˇcin — literali p(a) i ¬p(x) se unifikuju supstitucijom [x 7→ a] i njime se dobija prazna klauza. Odatle sledi da je formula p(a) ⇒ (∃x)p(x) valjana. 2 Primetimo da u opˇ stem metodu nije specifikovano kako se, od svih mogućih, bira par klauza nad kojim se primenjuje pravilo rezolucije.


61

Primer 3.24 Formula (∀x)(∃y)p(x, y) ⇒ (∃y)(∀x)p(x, y) nije valjana. Negacija date formule je logiˇcki ekvivalentna sa formulom (∀x)(∃y)(p(x, y)∧(∀y)(∃x) ¬p(x, y)) i sa formulom (∀x)(∃y)(∀u)(∃v)(p(x, y) ∧ ¬p(v, u)). Skolemizacijom se dobija skup od dve klauze: {p(x, f (x)), ¬p(g(x, u), u)}. Pravilo rezolucije nije moguće primeniti na ove dve klauze, odakle sledi da je formula (∀x)(∃y) (p(x, y) ∧ (∀y)(∃x)¬p(x, y)) zadovoljiva, tj. polazna formula nije valjana. Niz klauza (polaznih i izvedenih) oznaˇcavaćemo obiˇcno sa Ci (i = 1, 2, . . .). Izvedene klauze oznaˇcavaćemo ponekad i sa Ri (i = 1, 2, . . .). Iza izvedene klauze zapisivaćemo oznake klauza iz kojih je ona izvedena, redne brojeve literala u tim klauzama, iskoriˇsc´ eni najopˇstiji unifikator, kao i supstituciju kojom se preimenuju promenljive. Literale u klauzama razdvajaćemo obiˇcno simbolom ’,’ (umesto simbolom ’∨’). Primer 3.25 Dokaˇzimo da je formula (∀x)(∃y)q(x, y) logiˇcka posledica skupa formula {(∀x)(∃y)p(x, y), (∀x)(∀y)(p(x, y) ⇒ q(x, y))} . Dovoljno je dokazati da je formula A = ((∀x)(∃y)p(x, y) ∧ (∀x)(∀y)(p(x, y) ⇒ q(x, y))) ⇒ (∀x)(∃y)q(x, y) valjana. Preneks normalna forma negacije ove formule je (∃w)(∀x)(∃y)(∀u)(∀v)(∀z)(p(x, y) ∧ (¬p(u, v) ∨ q(u, v)) ∧ ¬q(w, z)) . Nakon skolemizacije, ova formula dobija oblik: (∀x)(∀u)(∀v)(∀z)(p(x, g(x)) ∧ (¬p(u, v) ∨ q(u, v)) ∧ ¬q(c, z)) , pri cˇ emu je c nova Skolemova konstanta, a g nova Skolemova funkcija. Konjunktivna normalna forma formule p(x, g(x)) ∧ (¬p(u, v) ∨ q(u, v)) ∧ ¬q(c, z) je p(x, g(x)) ∧ (¬p(u, v) ∨ q(u, v)) ∧ ¬q(c, z) . Elementi poˇcetnog skupa klauza su: H1 : p(x, g(x)) (prvi deo hipoteze) H2 : ¬p(u, v), q(u, v) (drugi deo hipoteze) C1 : ¬q(c, z) (zakljuˇcak) Prazna klauza se izvodi na sledeći naˇcin. R1 : q(x0 , g(x0 )) (H1 , 1; H2 , 1), [v 7→ g(x), u 7→ x]; preimenovanje: [x 7→ x0 ] R2 : 2 (C1 , 1; R1 , 1), [x0 7→ c, z 7→ g(c)]

62

3 Logika prvog reda

Primer 3.26 Dokazati da je formula A = ∀x∀y∀z(x ⊆ y ∧ y ⊆ z ⇒ x ⊆ z) logiˇcka posledica formule B = ∀x∀y(x ⊆ y ⇔ ∀w(w ∈ x ⇒ w ∈ y)) (simboli ∈ i ⊆ su predikatski simboli arnosti 2 zapisani infiksno). Transformisanjem formule ¬(B ⇒ A) ≡ B ∧ ¬A dobija se sledeći skup klauza: H1 : ¬(x1 ⊆ y1 ), ¬(w1 ∈ x1 ), w1 ∈ y1 (deo ⇒ formule B) H2 : x2 ⊆ y2 , f (x2 , y2 ) ∈ x2 (dva dela ⇐ formule B, H3 : x3 ⊆ y3 , ¬(f (x3 , y3 ) ∈ y3 ) f je Skolemova funkcija za w) C1 : a ⊆ b (tri dela negacije formule A, C2 : b ⊆ c a, b, c su Skolemove konstante za C3 : ¬(a ⊆ c) promenljive x, y, z u formuli A) Izvedene klauze oznaˇcavaćemo sa Ri (i = 1, 2, . . .). R1 : ¬(w2 ∈ a), w2 ∈ b (H1 , 1; C1 , 1), [x1 7→ a, y1 7→ b]; preimenovanje: [w1 7→ w2 ] R2 : ¬(w3 ∈ b), w3 ∈ c (H1 , 1; C2 , 1), [x1 7→ b, y1 7→ c]; preimenovanje: [w1 7→ w3 ] R3 : a ⊆ y4 , f (a, y4 ) ∈ b (H2 , 2; R1 , 1), [x2 7→ a, w2 7→ f (a, y2 )]; preimenovanje: [y2 7→ y4 ] R4 : x4 ⊆ c, ¬(f (x4 , c) ∈ b) (H3 , 2; R2 , 2), [y3 7→ c, w3 7→ f (x3 , c)]; preimenovanje: [x3 7→ x4 ] R5 : a ⊆ c, a ⊆ c (R3 , 2; R4 , 2), [x4 7→ a, y4 7→ c]; R6 : 2 (R5 , 1, 2; C3 , 1) Hornove klauze su klauze u kojima postoji najviˇse jedan literal koji nije pod ˇ negacijom. U PROLOG-u se koriste upravo Hornove klauze. Cetiri tipa Hornovih klauza prikazana su u sledećoj tabeli. Tip implikaciona klauza ciljna klauza cˇ injenica prazna klauza

standardna forma ¬A1 ∨ . . . ∨ ¬An ∨ A ¬A1 ∨ . . . ∨ ¬An A 2

forma Kovalskog A1 ∧ . . . ∧ An ⇒ A A1 ∧ . . . ∧ An ⇒ ⇒A ⇒

PROLOG

A : −A1 , . . . , An . ? − A 1 , . . . , An . A. false

Moˇze se dokazati da svaki nezadovoljiv skup Hornovih klauza sadrˇzi bar jednu cˇ injenicu i bar jednu ciljnu klauzu. Programski jezik PROLOG zasnovan je na metodu rezolucije i na koriˇsc´ enju Hornovih klauza. Postoji polinomijalni algoritam za ispitivanje zadovoljivosti skupa iskaznih Hornovih klauza i on se koristi u PROLOG-u. Primer 3.27 Pretpostavimo da je u PROLOG-u zadata cˇ injenica (assertion): man(sokrat). i pravilo (rule): mortal(X) :- man(X). (PROLOG konvencija je da se konstante zapisuju malim poˇcetnim slovom, a promenljive velikim poˇcetnim slovom.) Ako se zada upit: ? - mortal(sokrat). ¯ onda se metodom rezolucije pokuˇsava izvodenje prazne klauze iz skupa klauza: {man(sokrat), ¬man(X) ∨ mortal(X), ¬mortal(sokrat)} . U ovom sluˇcaju, prazna klauza se izvodi jednostavno (koristeći unifikaciju {X 7→ sokrat}) i PROLOG vraća rezultat:


63

Yes Primetimo da, na primer, upit ? - mortal(platon). ne moˇze da uspe (sem ako nije zadata i cˇ injenica man(platon)). Da bi se pokazalo da je neka formula nezadovoljiva, dovoljno je, primenom metoda rezolucije, iz njenog skupa klauza izvesti praznu klauzu. Dodatno, metod rezolucije ima svojstvo da iz zadovoljivog skupa klauza ne moˇze da izvede nezadovoljiv skup klauza. Ova dva svojstva dokazaćemo kao teoremu o potpunosti i teoremu o saglasnosti za rezoluciju (teoreme ?? i 3.18). Metod rezolucije, dakle, ima sledeće karakteristike: • metod rezolucije je saglasan: ako je primenom metoda dobijena prazna klauza, onda je i polazni skup klauza nezadovoljiv (ili, drugim reˇcima, iz zadovoljivog skupa klauza moˇze se dobiti samo zadovoljiv skup klauza); • metod rezolucije nije potpun, ali je potpun za pobijanje: iz svakog nezadovoljivog skupa klauza moguće je izvesti praznu klauzu; • logika prvog reda nije odluˇciva, pa najviˇse sˇ to moˇze metod rezolucije da bude je procedura poluodluˇcivanja (za problem ispitivanja valjanosti). Teorema 3.18 (Potpunost (za pobijanje) metoda rezolucije) Ako je Γ nezadovoljiv skup klauza, onda se iz njega metodom rezolucije moˇze izvesti prazna klauza. Primer 3.28 Formula ∀x∀y (p(x, y) ⇒ p(y, x)) je logiˇcka posledica formula ∀x p(x, x) i ∀u∀v∀w (p(u, v) ∧ p(w, v) ⇒ p(u, w)), pa je formula A = (∀x p(x, x)) ∧ (∀u∀v∀w (p(u, v) ∧ p(w, v) ⇒ p(u, w))) ⇒ (∀x∀y (p(x, y) ⇒ p(y, x))) valjana. C1 C2 C3 C4 C5

: : : : :

C6 : C7 :

p(x, x) ¬p(u, v), ¬p(w, v), p(u, w) p(a, b) ¬p(b, a) ¬p(u0 , b), p(u0 , a) ¬p(b, b) 2

(C2 , 2; C3 , 1) [w 7→ a, v 7→ b]; preimenovanje: [u 7→ u0 ] (C4 , 1; C5 , 2) [u0 7→ b] (C1 , 1; C6 , 1) [x 7→ b]

Primetimo da u opisu metoda rezolucije nije specifikovan naˇcin na koji se ¯ teorema o biraju klauze nad kojim se primenjuje pravilo rezolucije. Takode, potpunosti (teorema 3.18) tvrdi da se iz svakog nezadovoljivog skupa klauza moˇze izvesti prazna klauza, a ne tvrdi da se iz svakog nezadovoljivog skupa klauza mora izvesti prazna klauza bez obzira na izbor klauza za rezolviranje. Naime, u zavisnosti od izbora klauza na koje se primenjuje pravilo rezolucije moguće je da se i za nezadovoljiv skup klauza metod rezolucije ne zaustavlja. Naˇcin na koji se biraju klauze na koje se primenjuje pravilo rezolucije cˇ ini strategiju ili strategiju za upravljanje konkretne verzije metoda rezolucije. Strategija ¯ ¯ je od suˇstinske vaˇznosti za obezbedivanje nuˇznog izvodenja prazne klauze iz nezadovoljivog skupa, ali i za efikasnost metoda.

64

3 Logika prvog reda

¯ Jedna od mogućnosti za obezbedivanje potpunosti metoda rezolucije u strozˇ ijem smislu (da postoji strategija za upravljanje metoda rezolucije takva da se iz svakog nezadovoljivog skupa klauza nuˇzno izvodi prazna klauza u konaˇcno ¯ mnogo koraka) je sistematsko izvodenje svih rezolventi iz skupa klauza koji se sˇ iri tokom primene metoda. Sistematski metod rezolucije moˇze se definisati na sledeći naˇcin: metod se primenjuje u stupnjevima; prvi stupanj cˇ ini kreiranje poˇcetnog skupa klauza; neka pre i-tog stupnja tekući skup klauza cˇ ine klauze ¯ C1 , C2 , . . ., Cn , i-ti stupanj sastoji se od izvodenja (i dodavanja tekućem skupu klauza) svih mogućih rezolventi iz po svake dve klauze iz skupa C1 , C2 , . . ., Cn (broj tih klauza je konaˇcan); metod se zaustavlja ako se u nekom koraku izvede prazna klauza ili ako se u nekom stupnju ne moˇze izvesti nijedna nova klauza. Teorema 3.19 (Potpunost sistematskog metoda rezolucije) Ako je Γ nezadovoljiv skup klauza, onda se iz njega sistematskim metodom rezolucije mora izvesti prazna klauza. Dokaz: Ako je skup klauza Γ nezadovoljiv, onda se, na osnovu teoreme o potpunosti metoda rezolucije (teorema 3.18) iz njega metodom rezolucije moˇze izvesti prazna klauza, tj. postoji niz rezolventi R1 , R2 , . . ., Rn (koje se izvode iz poˇcetnih i izvedenih klauza) od kojih je poslednja u nizu prazna klauza. Ako se na skup klauza Γ primeni sistematski metod rezolucije, u nekom stupnju biće (ako već pre toga nije izvedena prazna klauza) izvedene sve klauze iz skupa R1 , R2 , . . ., Rn , pa i prazna klauza. 2 Oˇcigledno je da je sistematski metod rezolucije izuzetno neefikasan. Po¯ ¯ stoji viˇse strategija koje obezbeduju nuˇzno izvodenje prazne klauze iz nezadovoljivog skupa klauza (tj. spreˇcavaju beskonaˇcne petlje), ali na efikasniji naˇcin. Te strategije su od suˇstinske vaˇznosti i za broj klauza koje se izvode i, shodno ¯ tome, za efikasnost metoda. Smanjivanje izvodenja nepotrebnih klauza jedan je od najvaˇznijih problema metoda rezolucije. U daljem tekstu biće ukratko opisane neke od strategija koje se koriste u razliˇcitim varijantama metoda rezolucije. Razmotrimo sledeći primer: potrebno je dokazati da je formula ∀x∀y(p(x, y) ⇒ p(y, x)) logiˇcka posledica formula ∀xp(x, x) i ∀u∀v∀w(p(u, v) ∧ p(w, v) ⇒ p(u, w)). Dovoljno je dokazati da formula ∀x p(x, x) ∧(∀u∀v∀w (p(u, v) ∧ p(w, v) ⇒ p(u, w))) ∧ ¬(∀x∀y (p(x, y) ⇒ p(y, x))) nije zadovoljiva. Negacija navedene formule, transformisanjem u klauzalnu formu, dobija oblik: p(x, x)∧ (¬p(u, v) ∨ ¬p(w, v) ∨ p(u, w)) ∧ p(a, b) ∧ ¬p(b, a) (gde su a i b nove, Skolemove konstante). Primenimo metod rezolucije na ovako dobijen skup klauza: C1 : p(x1 , x1 ) (prva hipoteza) C2 : ¬p(u1 , v1 ), ¬p(w1 , v1 ), p(u1 , w1 ) (druga hipoteza) C3 : p(a, b) (prvi deo zaljuˇcka) C4 : ¬p(b, a) (drugi deo zakljuˇcka) C5 : ¬p(b, v2 ), ¬p(a, v2 ) (C4 , 1; C2 , 3) [u1 7→ b, w1 7→ a]; preimenovanje: [v1 7→ v2 ] C6 : ¬p(b, b) (C5 , 2; C3 , 1) [v2 7→ b] C7 : 2 (C6 , 1; C1 , 1) [x1 7→ b] Primetimo da se u navedenom primeru u svakoj primeni pravila rezolucije koristi poslednja klauza u nizu (osim u prvom koraku, to je uvek rezolventa iz


65

prethodno primenjenog pravila rezolucije) i rezolvira sa nekom od originalnih klauza. Ovaj vid pobijanja je veoma prirodan. On, u izvesnom smislu, oponaˇsa ¯ rezonovanje matematiˇcara koji kreće od tvrdenja koje treba dokazati i u dokazu koristi aksiome i date hipoteze. Ova strategija za upravljanje metodom rezolucije zove se linearna ulazna rezolucija — linearna, jer se u svakoj primeni pravila rezolucije koristi poslednja klauza u nizu; ulazna, jer se u svakoj primeni pravila rezolucije koristi jedna od poˇcetnih klauza. Linearna ulazna rezolucija je jedna od varijanti opˇsteg metoda rezolucije. S ¯ obzirom na to da ona iskljuˇcuje mnoge puteve izvodenja novih klauza, ona je ¯ obiˇcno znatno efikasnija nego opˇsti metod rezolucije. Medutim, iz istog razloga, linearna ulazna rezolucija nema svojstvo potpunosti (kao sˇ to ga ima opˇsti metod rezolucije). Nepotpunost linearne ulazne rezolucije ilustruje sledeći primer: C1 : p(x1 ), q(x1 ) C2 : ¬p(x2 ), q(x2 ) C3 : ¬q(x3 ), p(x3 ) C4 : ¬p(x4 ), ¬q(x4 ) C5 : ¬p(x5 ), ¬p(x5 ) (C4 , 2; C2 , 2) [x4 7→ x2 ]; preimenovanje: [x2 7→ x5 ] C6 : q(x6 ) (C5 , 1, 2; C1 , 1) [x5 7→ x1 ]; preimenovanje: [x1 7→ x6 ] C7 : p(x7 ) (C6 , 1; C3 , 1), [x6 7→ x3 ]; preimenovanje: [x3 7→ x7 ] Klauza C7 moˇze se rezolvirati samo sa klauzom C2 ili sa klauzom C4 . Rezolucija sa C2 daje q(x), sˇ to vodi u beskonaˇcnu petlju. Rezolucija sa C4 daje ¬q(x), sˇ to, dalje, daje simetriˇcnu situaciju. Sliˇcno vaˇzi i za sve ostale mogućnosti, te praznu klauzu nije moguće izvesti ukoliko se koristi linearna ulazna strategija. Linearna ulazna rezolucija ima svojstvo potpunosti za pobijanje za neke klase formula. Na primer, linearna ulazna rezolucija ima svojstvo potpunosti za pobijanje skupova Hornovih klauza, tj. linearna ulazna rezolucija moˇze dovesti do prazne klauze za svaki kontradiktoran skup Hornovih klauza (u navedenom primeru, prva klauza nije Hornova). Linearna ulazna rezolucija nad Hornovim klauzama se koristi u PROLOG-u. Pored opisane ulazne strategije i linearne strategije, neke od najznaˇcajnijih strategija za upravljanje metodom rezolucije su prednost jediniˇcnim klauzama, skup potpore, itd. U cilju efikasnijeg primenjivanja metodu, pored pravila rezolucije, koriste se i dodatna pravila, kao na primer paramodulacija. Sa ciljem da zameni veliki broj (ˇcesto komplikovanih i neprirodnih koraka) u koriˇsc´ enju aksioma jednakosti, uvodi se pravilo paramodulacije. Ono povećava efikasnost metoda rezolucije, ali nije nuˇzno njegov deo (jer pravilo paramodulacije moˇze biti izvedeno pravilom rezolucije). Pravilo paramodulacije moˇze biti reprezentovano na sledeći naˇcin: A t = s ∨ B ( ili s = t ∨ B) (A[t0 7→ s] ∨ B)σ gde je σ najopˇstiji unifikator za termove t i t0 i gde je A formula koja sadrˇzi term t0 . Na primer, iz klauza ¬h(a) = b i c = a moˇze da se izvede klauza ¬h(c) = b

66

3 Logika prvog reda

primenom pravila paramodulacije (u jednom koraku) na sledeći naˇcin: ¬h(a) = b c = a ((¬h(a) = b)[a 7→ c]) [ ]

Za detaljniji opis ovih i srodnih tehnika videti na primer, [?, ?].

Zadaci Zadatak 49 Dati su skup P od n (n ≥ 1) iskaznih slova, skup C svih klauza nad P i dva podskupa, S1 i S2 , skupa C. (a) Koliko elemenata ima skup C? (b) Da li je skup C zadovoljiv? (c) Ako su skupovi S1 i S2 zadovoljivi, da li je i skup S1 ∪ S2 zadovoljiv? (d) Ako su skupovi S1 i S2 zadovoljivi, da li je i skup S1 ∩ S2 zadovoljiv? (e) Ako je skup S1 zadovoljiv, da li skup C \ S1 moˇze da bude zadovoljiv? (f) Ako je skup S1 zadovoljiv, da li skup C \ S1 mora da bude zadovoljiv? Zadatak 50 Dati su skup P od n (n ≥ 1) iskaznih slova, skup C svih klauza nad P i dva podskupa, S1 i S2 , skupa C. (a) Da li je skup C kontradiktoran? (b) Ako su skupovi S1 i S2 kontradiktorni, da li skup S1 ∪ S2 moˇze da bude kontradiktoran? (c) Ako su skupovi S1 i S2 kontradiktorni, da li skup S1 ∪ S2 mora da bude kontradiktoran? (d) Ako su skupovi S1 i S2 kontradiktorni, da li skup S1 ∩ S2 moˇze da bude kontradiktoran? (e) Ako su skupovi S1 i S2 kontradiktorni, da li skup S1 ∩ S2 mora da bude kontradiktoran? Zadatak 51 Dokazati metodom rezolucije za iskaznu logiku da su naredne formule tautologije: (a) q ⇒ (p ⇒ q) (b) ((p ⇒ q) ∧ (q ⇒ r)) ⇒ (p ⇒ r) (c) ((p ⇒ q) ∧ (p ⇒ r)) ⇒ (p ⇒ (q ∧ r)) (d) (((p ⇒ r) ∧ (q ⇒ r)) ∧ (p ∨ q)) ⇒ r (e) ¬(p ∧ q) ⇒ (¬p ∨ ¬q) (f) ¬(p ∨ q) ⇒ (¬p ∧ ¬q) (g) (¬p ∨ ¬q) ⇒ ¬(p ∧ q) (h) (p ∨ (q ∧ r)) ⇒ ((p ∨ q) ∧ (p ∨ r)) Zadatak 52 Koristeći metod rezolucije za logiku prvog reda dokazati da vaˇzi: (∀x)(p(x) ⇒ q(x)), p(c) |= q(c) . Zadatak 53 Metodom rezolucije za logiku prvog reda dokazati da je naredna formula valjana: (∃x)(∀y)p(x, y) ⇒ (∀y)(∃x)p(x, y) .

3.3 Prirodna dedukcija

67

Zadatak 54 Metodom rezolucije za logiku prvog reda dokazati da je naredna formula valjana: (a) (∀y)((∀x)p(x) ⇒ p(y)) (b) (∀x)p(x) ⇒ (∃x)p(x) (c) ¬(∃y)p(y) ⇒ (∀y)((∃x)p(x) ⇒ p(y)) (d) (∃x)p(x) ⇒ (∃y)p(y) (e) (∀x)(p(x) ∧ q(x)) ⇔ (∀x)p(x) ∧ (∀x)q(x) (f) (∀x)p(x) ∨ (∀x)q(x) ⇒ (∀x)(p(x) ∨ q(x)) (g) (∃x)(p(x) ∨ q(x)) ⇔ (∃x)p(x) ∨ (∃x)q(x) (h) (∃x)(p(x) ∧ q(x)) ⇒ (∃x)p(x) ∧ (∃x)q(x) Zadatak 55 Metodom rezolucije za logiku prvog reda dokazati da je formula (H ∧ K) ⇒ L valjana, gde je H = (∀x)(∀y)(p(x, y) ⇒ p(y, x)) K = (∀x)(∀y)(∀z)((p(x, y) ∧ p(y, z)) ⇒ p(x, z)) L = (∀x)(∀y)(p(x, y) ⇒ p(x, x)). Zadatak 56 Metodom rezolucije za logiku prvog reda dokazati da je formula (∀x)s(x) logiˇcka posledica skupa formula {∀x(p(x) ⇒ q(x)), ∀x(q(x) ⇒ s(x)), ∀x(r(x) ⇒ s(x)), ∀x(p(x) ∨ r(x))}. Zadatak 57 Metodom rezolucije za logiku prvog reda dokazati da je formula ∀x∀y (x = y ⇒ y = x) logiˇcka posledica formula ∀x (x = x) i ∀u∀v∀w (u = v ∧ w = v ⇒ u = w). √ Zadatak 58 Vaˇzi sledeće: Janko ima psa. Svaki vlasnik psa voli zˇ ivotinje. Nijedna osoba koja voli zˇ ivotinje ne moˇze da udari zˇ ivotinju. Janko ili Marko su udarili maˇcku cˇ ije je ime Tuna. Svaka maˇcka je zˇ ivotinja. Metodom rezolucije za logiku prvog reda dokazati da je Marko udario Tunu. Zadatak 59 Za narednu formulu metodom rezolucije za logiku prvog reda dokazati da je valjana: (∀x)(A(x) ⇒ C) ⇔ ((∃x)A(x) ⇒ C) pri cˇ emu je C reˇcenica. (Ovaj zadatak ilustruje kako metod rezolucije moˇze biti oslabljen tako da se primenjuje i na formule koje nisu u klauzalnoj formi.) Zadatak 60 Prevesti na jezik logike prvog reda i dokazati metodom rezolucije za logiku ¯ prvog reda sledeće tvrdenje: Ako su svi politiˇcari lukavi i ako su samo pokvareni ljudi politiˇcari, onda, ako postoji bar jedan politiˇcar, onda je neki pokvaren cˇ ovek lukav.

3.3

Prirodna dedukcija

Pojam valjanosti je semantiˇcke prirode, a koncept dokazivanja i sistema za dedukciju vodi do pojma teoreme koji je sintaksno-deduktivne prirode. Kao sˇ to je teorija modela vezana za semantiku, tako su deduktivni sistemi i teorija dokaza vezani za sintaksu. Pojam teoreme je deduktivni pandan pojma valjane formule, ¯ ova dva pojma postoji veza i deduktivni koji je semantiˇcke prirode. Izmedu

68

3 Logika prvog reda

sistemi obiˇcno imaju svojstvo potpunosti i saglasnosti: ako je neka formula valjana, onda ona moˇze biti dokazana u okviru deduktivnog sistema, a ako za neku formulu postoji dokaz u okviru deduktivnog sistema, onda je ona sigurno valjana. Sistemi za dedukciju su cˇ isto sintaksne prirode — primenjuju se kroz kombinovanje simbola, ne ulazeći u semantiku formula. Sisteme za dedukciju za iskaznu logiku zovemo i raˇcun (iskazni raˇcu u sluˇcaju iskazne logike i predikatski raˇcu u sluˇcaju logike prvog reda). Postoji viˇse razliˇcitih deduktivnih sistema, a u nastavku c´ e biti opisan samo jedan — prirodna dedukcija. Sistem prirodne dedukcije (raˇcun prirodne dedukcije) uveo je, 1935. godine, Gerhard Gencen sa namerom da prirodnije opiˇse uobiˇcajeno zakljuˇcivanje matematiˇcara [?]. U prirodnoj dedukciji koriste se logiˇcki veznici3 ¬, ∧, ∨, ⇒, kao i logiˇcka konstanta ⊥. Formula A ⇔ B je kraći zapis za (A ⇒ B) ∧ (B ⇒ A), a formula > kraći zapis za A ⇒ A. Skup formula definiˇse se na uobiˇcajeni naˇcin. ¯ Pravila izvodenja sistema prirodne dedukcije data su u tabeli 3.1. Primetimo da za svaki logiˇcki veznik i svaki kvantifikator postoje pravila koja ga uvode (pravila I-tipa) i pravila koja ga eliminiˇsu (pravila E-tipa). Pravilo ef q (Ex falso quodlibet) je jedino pravilo koje ne uvodi niti eliminiˇse neki logiˇcki veznik. Skup pravila sistema prirodne dedukcije za iskaznu logiku cˇ ine sva pravila iz tabele 3.1 izuzev onih koja ukljuˇcuju kvantifikatore. Postoji sistem prirodne dedukcije za klasiˇcnu logiku (koji zovemo sistem NK) i sistem prirodne dedukcije za intuicionistiˇcku logiku (koji zovemo sistem NJ). U sistemu prirodne dedukcije za klasiˇcnu logiku postoji jedna aksiomska shema: A ∨ ¬A (tertium non datur). Sistem za intuicionistiˇcku logiku nema aksioma. ¯ U pravilima izvodenja prikazanim u tabeli 3.1 simbol t oznaˇcava proizvoljan term. Simbol y oznaˇcava tzv. eigenvariable (pravu promenljivu) — simbol promenljive za koju vaˇzi tzv. eigenvariable uslov. Ovaj uslov za pravilo ∀I je da vaˇzi da je x = y ili da promenljiva y nije slobodna u A, kao i da vaˇzi da ¯ ¯ y nije slobodna ni u jednoj neoslobodenoj pretpostavci u izvodenju formule A[x 7→ y]. Eigenvariable uslov za pravilo ∃E je da vaˇzi da je x = y ili da promenljiva y nije slobodna u A, kao i da vaˇzi da y nije slobodna u B niti u bilo ¯ ¯ kojoj neoslobodenoj pretpostavci u izvodenju formule B osim, eventualno, u formuli A[x 7→ y]. ¯ Tokom izvodenja dokaza u sistemu prirodne dedukcije mogu se koristiti ¯ (nedokazane) pretpostavke, ali one moraju biti eliminisane (,,oslobodene“) pre ¯ kraja izvodenja. U zapisu pravila, [F ] oznaˇcava da se nekoliko (moˇzda i nula) ¯ briˇse (kao nedokazane, neraspoloˇzive pojavljivanja pretpostavke F oslobada, pretpostavke) neposredno nakon primene pravila. Pri tome, moˇze ostati i ¯ nekoliko neoslobodenih pojavljivanja pretpostavke F . Pretpostavkama su pridruˇzene oznake (obiˇcno prirodni brojevi), koje se zapisuju i u okviru zapisa ¯ primenjenog pravila (kako bi se znalo koja pretpostavka je oslododena u kom koraku). U sistemu prirodne dedukcije dokaz (dedukcija, izvod) je stablo cˇ ijem je svakom cˇ voru pridruˇzena formula, a svakom listu ili pretpostavka ili aksioma. Formula A je teorema prirodne dedukcije ako postoji dokaz u cˇ ijem je korenu A i 3 Iz sistema prirodne dedukcije mogu´ ce je eliminisati veznik ¬ smatrajući formulu ¬A skraćenim zapisom za A ⇒ ⊥.


69

[A]u .. .. ⊥ ¬I, u ¬A

A

A B ∧I A∧B

A ∨I A∨B

B ∨I A∨B

[A]u .. .. B ⇒ I, u A⇒B

A∧B ∧E A

A∧B ∧E B

[A]u .. .. A∨B C C

[B]v .. .. C ∨E, u, v

A

A[x 7→ y] ∀I (∀x)A uz dodatni uslov

¬A ¬E ⊥

A⇒B ⇒E B (∀x)A ∀E A[x 7→ t]

A[x 7→ t] ∃I (∃x)A

(∃x)A

[A[x 7→ y]]u .. .. B ∃E, u

B uz dodatni uslov ⊥ ef q D

¯ Table 3.1: Pravila izvodenja sistema prirodne dedukcije

¯ koji nema neoslobodenih pretpostavki i tada piˇsemo ` A i kaˇzemo da je formula A dokaziva u sistemu prirodne dedukcije. Ako postoji dokaz, u cˇ ijem je ¯ korenu formula A i koji ima neoslobodene pretpostavke koje pripadaju nekom nizu Γ, onda kaˇzemo da je formula A deduktivna posledica niza Γ i tada piˇsemo Γ ` A. Elemente niza Γ tada zovemo i premisama ili hipotezama dokaza. Ako je niz Γ jednak B1 , B2 , . . . , Bn , onda piˇsemo B1 , B2 , . . . , Bn ` A. Dokaz u sistemu prirodne dedukcije se obiˇcno prikazuje u vidu stabla cˇ iji su listovi na vrhu, a koren na dnu. To stablo se prikazuje pojednostavljeno, stilizovano (videti sliku 3.3). Naredni primeri ilustruju primenu prirodne dedukcije za dokazivanje u iskaznoj logici.

Primer 3.29 Formula (A ∨ B) ⇒ (B ∨ A) je teorema sistema prirodne dedukcije,

70

3 Logika prvog reda .. .

.. .

A

B

C

.. .. A

.. .. B C D .. ..

D .. .

Figure 3.3: Deo dokaza i njegov pojednostavljeni prikaz tj. vaˇzi ` (A ∨ B) ⇒ (B ∨ A) : [A]2 [B]3 ∨I ∨I [A ∨ B] B ∨ A B∨A ∨E, 2, 3 B∨A ⇒ I, 1 (A ∨ B) ⇒ (B ∨ A) 1

Primer 3.30 U sistemu prirodne dedukcije vaˇzi: A ⇒ B, B ⇒ C ` A ⇒ C: [A]1

A⇒B ⇒E B B⇒C ⇒E C ⇒ I, 1 A⇒C

Primer 3.31 U sistemu prirodne dedukcije vaˇzi ` A ⇒ (A ∨ B) ∧ (A ∨ C): [A]1 [A]1 ∨I ∨I A∨B A∨C ∧I (A ∨ B) ∧ (A ∨ C) ⇒ I, 1 A ⇒ (A ∨ B) ∧ (A ∨ C) ¯ U prethodnom dokazu, primenom pravila ⇒ I nisu morala da budu oslobodena sva pojavljivanja pretpostavke A. Na primer: [A]1 A ∨I ∨I A∨B A∨C ∧I (A ∨ B) ∧ (A ∨ C) ⇒ I, 1 A ⇒ (A ∨ B) ∧ (A ∨ C) ¯ ¯ Ovaj dokaz je dokaz tvrdenja A ` A ⇒ (A ∨ B) ∧ (A ∨ C) (ˇsto je slabije tvrdenje od ¯ tvrdenja ` A ⇒ (A ∨ B) ∧ (A ∨ C)). Naredni primeri ilustruju primenu prirodne dedukcije za dokazivanje u logici prvog reda. Primer 3.32 Formula (∃x)(∀y)p(x, y) ⇒ (∀y)(∃x)p(x, y) je teorema sistema prirodne dedukcije (i za klasiˇcnu i za intuicionistiˇcku logiku). Neki matematiˇcar bi ovu formulu (neformalno) dokazao na sledeći naˇcin:


71

1. Pretpostavimo da vaˇzi (∃x)(∀y)p(x, y). 2. Pretpostavimo da vaˇzi (∀y)p(x0 , y) za neko x0 . 3. Neka je y 0 proizvoljni objekat. Tada vaˇzi p(x0 , y 0 ). 4. Iz p(x0 , y 0 ) sledi da vaˇzi (∃x)p(x, y 0 ). 5. Objekat y 0 je proizvoljan, pa vaˇzi (∀y)(∃x)p(x, y). 6. Iz (∃x)(∀y)p(x, y) i iz toga sˇto pretpostavka (∀y)p(x0 , y) ima za posledicu (∀y)(∃x) p(x, y), sledi (∀y)(∃x)p(x, y). 7. Iz pretpostavke (∃x)(∀y)p(x, y) sledi (∀y)(∃x)p(x, y), pa vaˇzi (∃x)(∀y) p(x, y) ⇒ (∀y)(∃x)p(x, y). Ovaj dokaz moˇze se precizno opisati u vidu dokaza u sistemu prirodne dedukcije (i za klasiˇcnu i za intuicionistiˇcku logiku): 1

[(∀y)p(x0 , y)] ∀E p(x0 , y 0 ) ∃I (∃x)p(x, y 0 ) ∀I 2 [(∃x)(∀y)p(x, y)] (∀y)(∃x)p(x, y) ∃E, 1 (∀y)(∃x)p(x, y) ⇒ I, 2 (∃x)(∀y)p(x, y) ⇒ (∀y)(∃x)p(x, y) Primer 3.33 Formula ¬(∃x)p(x) ⇒ (∀y)¬p(y) je teorema sistema prirodne dedukcije (i za klasiˇcnu i za intuicionistiˇcku logiku): [p(z)]1 ∃I (∃x)p(x)

[¬(∃x)p(x)]2

¬E ⊥ ¬I, 1 ¬p(z) ∀I (∀y)¬p(y) ⇒ I, 2 ¬(∃x)p(x) ⇒ (∀y)¬p(y)

Primer 3.34 U sistemu prirodne dedukcije vaˇzi ∀xA, ∀x(A ⇒ B) ` ∀xB: ∀xA ∀E A

∀x(A ⇒ B) ∀E A⇒B ⇒E B ∀I ∀xB

Naredna teorema povezuje semantiˇcka i deduktivna svojstva klasiˇcne logike (ona vaˇzi i za iskaznu i za predikatsku logiku). Teorema 3.20 Formula je teorema sistema prirodne dedukcije za klasiˇcnu logiku ako i samo ako je valjana.

72

3 Logika prvog reda

Zadaci Zadatak 61

√

Dokazati da u prirodnoj dedukciji vaˇzi A ∨ B, ¬A ` B.

√ Zadatak 62 Dokazati da je formula (A ⇒ B) ⇒ (¬B ⇒ ¬A) teorema sistema prirodne dedukcije za klasiˇcnu logiku. √ Zadatak 63 Dokazati da je formula (A ∨ (B ∧ C)) ⇒ ((A ∨ B) ∧ (A ∨ C)) teorema sistema prirodne dedukcije za klasiˇcnu logiku. √ Zadatak 64 Dokazati da je formula ¬(A ∧ B) ⇒ (¬A ∨ ¬B) teorema sistema prirodne dedukcije za klasiˇcnu logiku.

3.4

Saˇzetak

Glava 4

PROLOG U logiˇckom programiranju, logika se koristi kao deklaritivni jezik za opisivanje problema, a dokazivaˇc teorema kao mehanizam za reˇsavanje problema. Reˇsavanje problema je podeljeno izmedju programera koji opisuje problem i dokazivaˇca teorema koji problem reˇsava. Jezik PROLOG je najznaˇcajniji predstavnik jezika deskriptivnog i logiˇckog programiranja. Veoma je pogodan za mnoge primene tehnika veˇstaˇcke inteligencije. Pogodan je za obrade prirodnog jezika, ali i za brz razvoj prototipova drugih inteligentnih programa, jer se obrada ulaza i izlaza, parsiranje i druge sliˇcne operacije jednostavno implementiraju. Ime PROLOG-a dolazi od engleskih reˇci PROgramming in LOGic. Mehanizam izvodjenja zakljuˇcaka u PROLOG-a zasniva se na metodu rezolucije koji je opisao Alan Robinson 1965. godine. Jezik PROLOG i prvi interpretator za njega razvijeni su na Univerzitetu u Marseju 1972. godine, kao plod saradnje istraˇzivaˇca Alain Colmerauer-a iz Marseja i Roberta Kowalskog iz Edinburga. Oni su primetili da se klauzalna forma moˇze koristiti za opisivanje formalnih gramatika i da se dokazivaˇci zasnovani na rezoluciji mogu koristiti za parsiranje. Efikasan PROLOG mehanizam omogućen je otkrićem LUSH ili SLD rezolucije koju je opisao Kowalski 1973. godine. Praktiˇcna upotreba PROLOG-a kao programskog jezika omogućena je razvojem efikasnog kompilatora Davida Warrena, u Edinburgu 1977. godine. Ta verzija jezika, Edinburˇski PROLOG, detaljno opisana 1980. u knjizi Clocksina i Mellish-a nametnula se vremenom kao standardna verzija jezika i najjaˇce uticala na ISO standard za PROLOG.

4.1

Interpretatori i kompilatori

PROLOG sistemi obiˇcno sadrˇze interaktivni interpretator (sa debagerom). Pored ˆ toga, neki sistemi omoguávaju i kompiliranje koda koje daje izvrˇsne verzije ˆ cˇ esto je veoma efikasan koje mogu samostalno da se izvrˇsavaju. Izvrˇsni kod ˆ i uporediv sa izvrˇsnim kodom dobijenim od programa na nekom proceduralnom jeziku. Komunikacija sa PROLOG interpretatorom odvija se kroz komandni prozor. Prompt interpretatora obiˇcno izgleda ovako:

74

4 PROLOG

?Većina PROLOG sistema sadrˇzi uputstva o koriˇsc´ enju jezika a i samog interpretatora. Ovo uputstvo se obiˇcno moˇze dobiti sa ?- help(help). Komanda halt prekida izvrˇsavanje interpretatora (ili kompiliranog programa) i vraća kontrolu operativnom sistemu. Neki od najpopularnijih PROLOG interpretatora su Quintus, Sixtus, SWI PROLOG itd.

4.2

Sintaksa i semantika u PROLOG-U

Jezik PROLOG-a cˇ ine: mala i velika slova engleskog alfabeta, cifre i specijalni simboli (_, +, *, (, ), [, ], . . .. Skup termova definiˇse se na sledeći naˇcin: • promenljive su termovi; promenljive se zapisuju poˇcetnim velikim slovom ili simbolom _ (simbolom _ poˇcinju imena anonimnih promenljivih cˇ ije vrednosti nisu bitne). • konstante su termovi; konstante su zapisi brojevnih konstanti (celobrojnih i realnih, npr. -123, 3.14) ili atomi. Atom je: – niz slova, cifara i simbola _ koji poˇcinje malim slovom (npr. sokrat). – slovna niska u jednostrukim znacima navoda (npr. ’sokrat’). – niz specijalnih simbola (npr. :-). Ako je f atom, a A1, . . ., An termovi, onda je f(A1,...,An) term viˇseg reda (na primer, man(sokrat) ili ucitelj(sokrat,X)). Ovakve termove viˇseg reda u PROLOG-u zovemo i predikati. Semantika, interpretacija termova odredjena je tekućim stanjem baze znanja. Domen interpretacije cˇ ine sâmi PROLOG termovi. Baza znanja, koju PROLOG ˇ odrˇzava, sastoji se od cˇ injenica i pravila. Cinjenice su predikati oblika: p(x1,x2,...,xn) Ukoliko baza znanja sadrˇzi cˇ injenicu man(sokrat), onda se u pratećoj interpretaciji atomiˇckoj formuli man(sokrat) pridruˇzuje vrednost 1, tj. ona je taˇcna. Pravila u bazi znanja su oblika: p(x1,x2,...,xn) :- q(y1,y2,...,ym),...,r(z1,z2,...,zk) U navedenom pravilu, predikat p(x1,x2,...,xn) zovemo glava pravila (eng. head of the rule) a niz predikata q(y1,y2,...,ym),...r(z1,z2,...zk) zovemo rep pravila (eng. tail of the rule) ili telo pravila (eng. body of the rule). Navedeno pravilo interpretira se kao implicitno univerzalno kvantifikovana implikacija: q(y1,y2,...,ym)∧ . . . ∧ r(z1,z2,...,zk) ⇒ p(x1,x2,...,xn) Ukoliko baza znanja sadrˇzi pravilo mortal(sokrat) :- man(sokrat) i cˇ injenicu man(sokrat), onda iz nje sledi da mortal(sokrat) ima semantiˇcku vrednost 1. Upiti ili ciljevi (eng. goals) su oblika q(y1,y2,...,ym),...,r(z1,z2,...,zk) Postaviti cilj znaˇci traˇziti proveru da li je zadati skup atomiˇckih formula za neku valuaciju promenljivih koje sadrˇzi taˇcan (tj. ima semaniˇcku vrednost 1) u odnosu na tekuće stanje baze. Ako je taj uslov ispunjen, kaˇzemo da je

4.3 Poˇcetni primeri

75

cilj zadovoljen ili da cilj uspeva (eng. succeed). Valuaciju za koju je zadati cilj zadovoljen zovemo odgovorom na zadati cilj ili reˇsenjem zadatog cilja. Na primer, ukoliko baza znanja sadrˇzi cˇ injenicu man(sokrat), i pravilo mortal(X) :- man(X), onda cilj mortal(Y) moˇze biti zadovoljen i to za valuaciju kojom se promenljiva Y preslikava u vrednost sokrat. Jedini odgovor na ovaj cilj biće, dakle, Y = sokrat. U interaktivnom okruˇzenju, nove cˇ injenice i pravila se zadaju iza prompta, kao argumenti predikata assert(...) i svaki zadati cilj se mora zavrˇsavati taˇckom. ˇ Cinjenice, pravila i ciljevi, pored navedene, deklarativne semantike, imaju i odgovarajuću proceduralnu semantiku koja omogućava koriˇsc´ enje PROLOG-a kao programskog jezika. Proceduralna semantika cˇ injenice man(sokrat) je da je zadatak man(sokrat) izvrˇsen. Proceduralna semantika pravila mortal(X) :- man(X) je: da bi se izvrˇsio zadatak mortal(X) potrebno je da se izvrˇsi zadatak man(X). Proceduralna semantika cilja mortal(X) je: odredi valuaciju takvu da je mortal(X) taˇcno. Proceduralna semantika za sloˇzeni cilj, koji se sastoji od viˇse pojedinaˇcnih ciljeva, je analogna, s tim sˇ to se podciljevi obradjuju sleva na desno. PROLOG interpretator kao odgovor na neki cilj koji je zadovoljen, ispisuje jednu valuaciju (zbog specifiˇcnog domena, valuaciju c´ emo zvati i instanciranje) promenljivih za koju je cilj taˇcan i reˇc Yes (ukoliko ime neke promenljive poˇcinje simbolom _, onda se njena vrednost ne ispisuje). Ukoliko cilj ne moˇze biti zadovoljen, interpretator ispisuje reˇc No. Ukoliko jedan cilj ima viˇse odgovora (tj. zadovoljavajućih valuacija), PROLOG ih navodi jedan po jedan, nakon sˇ to korisnik ukuca znak ;. Ukoliko korisnik pritisne Enter, interpretator prestaje sa daljim navodjenjem reˇsenja. Kada su sva reˇsenja navedena, interpretator ispisuje reˇc No.

4.3

Poˇcetni primeri

Nova cˇ injenica se moˇze zadati kao u sledećem primeru: ?- assert(man(sokrat)). Nakon ovoga, upit ?- man(sokrat). uspeva, tj. daje rezultat Yes. Naravno, upit ?- man(plato). ne uspeva, tj. daje odgovor No. Novo pravilo se zadaje na sliˇcan naˇcin, na primer: ?- assert(mortal(X) :- man(X)). U pravilu mortal(X) :- man(X), predikat mortal(X) je glava pravila a (jednoˇclani) niz predikata man(X) je rep pravila. Komandom listing moˇzemo da dobijemo spisak svih postojećih cˇ injenica i pravila: ?- listing. man(sokrat). mortal(A) :-

76

4 PROLOG man(A).

Upit ?- mortal(sokrat). uspeva (daje odgovor Yes). Da bi ovaj upit bio zadovoljen, u pravilu mortal(X) :- man(X) je promenljiva X bila unifikovana sa konstantom sokrat. Nakon toga, cilj mortal(sokrat) je zamenjen ciljem man(sokrat) i on uspeva jer postoji takva cˇ injeniva. Upit ?- mortal(plato). ne uspeva (daje odgovor No). Upit ?- mortal(A). uspeva i daje odgovor A = sokrat. To je jedino moguće reˇsenje i ako ukucamo simbol ; dobićemo odgovor No. Jednostavan i ilustrativan primer definisanja odnosa u PROLOG-u moˇze se dati na primeru porodiˇcnih relacija kao sˇ to su otac, majka, brat, tetka i sliˇcno. zensko(jelena). zensko(milica). zensko(milena). zensko(mina). zensko(maja). zensko(senka). musko(mladen). musko(stevan). musko(mihajlo). musko(rajko). musko(petar). roditelj(stevan,mladen). roditelj(stevan,jelena). roditelj(milica,mladen). roditelj(milica,jelena). roditelj(mihajlo,milica). roditelj(milena,milica). roditelj(milena,senka). roditelj(mihajlo,senka). roditelj(milena,rajko). roditelj(mihajlo,rajko). roditelj(rajko,petar). roditelj(rajko,mina). roditelj(maja,petar). roditelj(maja,mina). majka(X,Y):-zensko(X),roditelj(X,Y). otac(X,Y):-musko(X),roditelj(X,Y). predak(X,Y):-roditelj(X,Y). predak(X,Y):-roditelj(X,Z),predak(Z,Y).

4.4 PROLOG i metod rezolucije

77

brat(X,Y):-musko(X),roditelj(Z,X),roditelj(Z,Y),X\==Y. sestra(X,Y):-zensko(X),roditelj(Z,X),roditelj(Z,Y),X\==Y. tetka(X,Y):-sestra(X,Z),roditelj(Z,Y). ujak(X,Y):-brat(X,Z),majka(Z,Y). bratodujaka(X,Y):-musko(X),otac(Z,X),ujak(Z,Y). sestraodujaka(X,Y):-zensko(X),otac(Z,X),ujak(Z,Y). bratodtetke(X,Y):-musko(X),majka(Z,X),tetka(Z,Y). sestraodtetke(X,Y):-zensko(X),majka(Z,X),tetka(Z,Y). U relacijama brat i sestra predikag X\==Y je ima vrednost taˇcno ako je X razliˇcito od Y. U suprotnom, ima vrednost netaˇcno.

4.4

PROLOG i metod rezolucije

Pravilo oblika: p(x1,x2,...,xn) :- q1(y1,y2,...,ym),...qm(z1,z2,...zk) moˇze se smatrati implikacijom q1(y1,y2,...,ym) ∧ . . . ∧ qm(z1,z2,...zk) ⇒ p(x1,x2,...,xn) ili klauzom ¬ q1(y1,y2,...,ym) ∨ . . . ∨ ¬qm(z1,z2,...zk) ∨ p(x1,x2,...,xn) ˇ Cinjenica oblika: p(x1,x2,...,xn) moˇze se smatrati klauzom p(x1,x2,...,xn). Cilj oblika: q1(y1,y2,...,ym),...qm(z1,z2,...zk) moˇze se smatrati klauzom ¬ q1(y1,y2,...,ym) ∨ . . . ∨ ¬qm(z1,z2,...zk) U primeru iz poglavlja 4.3, ako postoje sledeće cˇ injenice i pravila: man(sokrat). mortal(A) :man(A). upitu ?- mortal(X). odgovara ispitivanje nezadovoljivosti skupa klauza: man(sokrat) ¬ man(X) ∨ mortal(X) ¬ mortal(Y) Primetimo da je u trećoj klauzi promenljive preimenovana u Y, da ne bi doˇslo do preklapanja imena u dve klauze. Ciljna klauza moˇze da se rezolvira sa drugom klauzom, koriˇsc´ enjem unifikatora [ Y 7→ sokrat ] dajući novi cilj ¬ man(sokrat) Rezolviranjem ove klauze sa prvom klauzom iz poˇcetnog skupa, koriˇsc´ enjem unifikatora [ X 7→ sokrat ] dobija se prazna klauza, pa je dokazana nezadovoljivost datog skupa klauza. Pritom je odredjena (jedinstveno) instanciranje promenljive X iz zadatog cilja.

78

4 PROLOG

Primetimo da u svim PROLOG klauzama najviˇse jedan literal nije pod negacijom. Takve klauze zovemo Hornovim klauzama i one omogućavaju efikasan mehanizam izvodjenja prazne klauze. PROLOG mehanizam je kompletan: on moˇze izvesti praznu klauzu iz bilo kog nezadovoljivog skupa.

4.5

Stablo izvodjenja

PROLOG sistem (interpretator ili kompilator) pokuˇsava da zadovolji zadati cilj sistematiˇcnim ispitivanjem svih mogućnosti. Sve mogućnosti cˇ ine stablo izvodjenja (eng. derivation tree) ili stablo pretrage (eng. search tree) cˇ ijim listovima odgovaraju odgovori za zadati cilj. Ukoliko svakom od listova odgovara neuspeh, zadati cilj je nezadovoljen. Ukoliko bar jednom listu odgovara uspeh, cilj je zadovoljen i unifikacija koja vodi do tog lista predstavlja jedno reˇsenje za zadati cilj. Stablo izvodjenja PROLOG-a ilustrovaćemo primerom. Pretpostavimo da ˆ dat na slici 4.1 (na kraju svakog je uˇcitana PROLOG datoteka koja sadrˇzi kod reda, pod komentarom je oznaka klauze). Grane stabla su oznaˇcene oznakama klauza koje se koriste u izvodjenju. Direktni potomci jednog cˇ vora odgovaraju svim mogućim izvodjenjima odgovarajućeg podcilja. PROLOG mehanizam ih sve ispituje sistematiˇcno. Poredak potomaka direktno odgovara poretku klauza u postojećem programu i on diktira naˇcin izvrˇsavanja upita. Na slici je prikazano kompletno stablo izvodjenja za cilj ?-p(X). Svaki cˇ vor stabla je u nekom trenutku tekući cilj koji moˇze da cˇ ini nekoliko podciljeva. Ukoliko se krajnji levi podcilj unifikuje sa glavom neke klauze, onda se taj podcilj zamenjuje telom klauze instanciranim tom istom unifikacijom. Ako je telo klauze prazno, onda se podcilj samo izostavlja. Ako se svi podciljevi mogu obrisati tokom izvodjenja, onda je polazni cilj zadovoljen, a instanciranje promenljivih odredjeno usput daje odgovor. PROLOG stablo izvodjenja obilazi u dubinu, sˇ to znaˇci da c´ e alternativni izbori da budu ispitani onda kada se pretraga vrati do taˇcke u kojoj ti izbori postoje. Ovaj postupak pretrage zove se bektreking (eng. backtracking). U skladu sa prikazanim stablom izvodjenja, upit p(X) daće sledeće odgovore: ?- p(X). X = a ; X = a ; X = b ; X = d ; No

4.6 Operator seˇcenja

79

p(a). p(X) :- q(X), r(X). p(X) :- u(X).

/* C1 */ /* C2 */ /* C3 */

q(X) :- s(X).

/* C4 */

r(a). r(b).

/* C5 */ /* C6 */

s(a). s(b). s(c).

/* C7 */ /* C8 */ /* C9 */

u(d).

/* C10 */ p(X)

C1 (X=a) true X=a

C2 q(X),r(X)

C3 u(X)

C4 s(X),r(X)

C10(X=d) true X=d

C7(X=a) r(a)

C8(X=b) r(b)

C9(X=c) r(c)

C5 C6 C5 C6 C5 C6 true fail fail true fail fail X=a X=b

Figure 4.1: Primer stabla izvodjenja

4.6

Operator seˇcenja

Operator seˇcenja (eng. cut operator), koji se zapisuje !, odseca delove stabla pretrage. Ovaj operator, uspeva kada je on tekući cilj i stablu izvodjenja se odsecaju svi drugi izvori na putu unzad do taˇcke stabla izvodjenja (ukljuˇcujući i nju) gde se nalazi operator. Za program naveden u poglavlju 4.5, za cilj p(X),!. dobija se samo jedan odgovor (a odgovarajuće stablo izvodjenja je prikazano na slici 4.2 — sivom bojom oznaˇceni su cˇ vorovi koji se ne obilaze): ?- p(X),!. X = a ;

80

4 PROLOG

No p(X)

C1 (X=a) true X=a

C2 q(X),r(X)

C3 u(X)

C4 s(X),r(X)

C10(X=d) true X=d

C7(X=a) r(a)

C8(X=b) r(b)

C9(X=c) r(c)

C5 C6 C5 C6 C5 C6 true fail fail true fail fail X=a X=b

Figure 4.2: Primer rada operatora seˇcenja Za isti program, upit r(X),s(Y) daje odgovore (stablo izvodjenja je prikazano na slici 4.3): ?- r(X),s(Y). X = a Y = a ; X = a Y = b ; X = a Y = c ; X = b Y = a ; X = b Y = b ; X = b Y = c ; No Upit r(X),!,s(Y), zbog operatora seˇcenja daje samo odgovore (stablo izvodjenja je prikazano na slici 4.4): ?- r(X),!,s(Y).

4.6 Operator seˇcenja

81 r(X),s(Y)

C5(X=a) s(Y)

C5(X=b) s(Y)

C7(Y=a) C7(Y=b) C7(Y=c) C7(Y=a) C7(Y=b) C7(Y=c) true true true true true true X=a,Y=a X=a,Y=b X=a,Y=c X=b,Y=a X=b,Y=b X=b,Y=c

Figure 4.3: Stablo izvodjenja

X = a Y = a ; X = a Y = b ; X = a Y = c ; No r(X),!,s(Y)

C5(X=a) s(Y)

C5(X=b) s(Y)


Figure 4.4: Stablo izvodjenja sa operatorom seˇcenja Konaˇcno, upit r(X),s(Y),!, zbog operatora seˇcenja daje samo jedan odgovore (stablo izvodjenja je prikazano na slici 4.5): ?- r(X),s(Y),!. X = a Y = a ;

82

4 PROLOG

No r(X),s(Y),!

C5(X=a) s(Y)

C5(X=b) s(Y)


Figure 4.5: Stablo izvodjenja sa operatorom seˇcenja Operator seˇcenja ne koristi se samo u ciljevima, već moˇze da se koristi i u pravilima/klauzama koje cˇ ine program. On spreˇcava koriˇsc´ enje klauza koje postoje iza klauze koja ga sadrˇzi. Razmotrimo primer predikata koji opisuje maksimum dva broja: max(X,Y,Y) :- X =< Y. max(X,Y,X) :- X>Y. Naravno, ovako implementiran predikat je sasvim ispravan. No, on nije dovoljno efikasan. Ukoliko je cilj max(3,4,Y) pozvan u okviru izvrˇsavajna nekog ¯ ¯ većeg programa, biće dobijen (ispravan) odgovor Y=4. Medutim, ukoliko dode ´ do bektrektinga program ce pokuˇsati da zadovolji max(3,4,Y) na neki drugi naˇcin, sˇ to je u ovom sluˇcaju potpuno nepotrebno: maximum brojeva 3 i 4 je 4 i nema drugog mogućeg rezultata. U gore navedenoj definicije, dve klauze ¯ se medusobno iskljuˇcuju (ako prva uspeva, onda druga sigurno ne uspeva i obratno), pa je svaki pokuˇsaj da cilj bude zadovoljen na dva naˇcina gubljenje vremena. Opisani problem moˇze se prevazići koriˇsc´ enjem operatora seˇcenja. Ako je prva klauza zadovoljena, potrebno je obezbediti da se nikad ne ispituje druga: max(X,Y,Y) :- X =< Y,!. max(X,Y,X) :- X>Y. Navedena implementacija funkcioniˇse na sledeći naˇcin: ukoliko je pozvan cilj max(X,Y,Y) i ukoliko X =< Y uspeva, onda je drugi argument maksimum i operator seˇcenja onemogućava ispitivanje drugih mogućnosti. S druge strane, (samo) ako X =< Y ne uspeva, prelazi se na sledeću klauzu. Primetimo da upotrebljeni operator seˇcenja ne menja znaˇcenje programa i skup odgovora (u odnosu na prethodnu verziju). Obe verzije programa su iste, do na operator seˇcenja i to sugeriˇse da je njegova upotreba opravdana i prihvaljiva. Takav operator seˇcenja (koji ne menja znaˇcenje programa) zovemo zeleni operator seˇcenja. Operator seˇcenja tog tipa ima za cilj izbegavanje nepotrebnih izraˇcunavanja popravljanje efikasnosti.

4.7 Negacija kao neuspeh

83

Postoji i druga vrsta operatora seˇcenje — crveni operator seˇcenja. Crvenim zovemo operator seˇcenja koji menja znaˇcenje programa. U principu dobro je izbegavati takve operatore, sem ako za njihovu upotebu ne postoji dobar razlog. Razmotrimo sledeći primer: max(X,Y,Y) :- X =< Y,!. max(X,Y,X). Ovaj predikat je sliˇcan prethodnom, uz razliku da je u drugoj klauzi izostavljen uslov X>Y. Navedni program sa opetorom seˇcenja nije isti ukoliko se izostavi operator seˇcenja. To sugeriˇse da njegova upotreba zahteva posebnu paˇznju (jer on menja znaˇcenje programa). Za neke upite navedena implementacija je ispravna. Na primer, ona ispravno odgovara na upite u kojima je (samo) treći argument promenljiva: ?- max(100,101,X). X = 101 Yes ?- max(3,2,X). X = 3 Yes Ipak, situacija nije ista kao sa zelenim operatorom seˇcenjam i znaˇcenje predikata max je promenjeno. Na primer, ukoliko su sva tri argumenta instancirana, cilj moˇze da bude da se zadovolji max(2,3,2). Ovaj upit ne bi trebalo da uspe, ali u navednoj verziji sa crvenim operatorom seˇcenja on (neoˇcekivano?) uspeva. Naime, ne uspeva unifikovanje sa prvom klauzom, te se prelazi na drugu. Cilj se uspeˇsno unifikuje sa drugom klauzom i biva zadovoljen. Ovaj primer pokazuje kako neoprezna upotreba operatora seˇcenja moˇze da dovede do neoˇcekivanog ponaˇsanja programa. On je tipiˇcan primer za crveni operator seˇcenja. Navedena implementacije zapravo ne definiˇse maksimum, već neki drugi predikat i ponaˇsa se oˇcekivano (kao maksimum) samo u nekim sluˇcajevima. Dobra praksa je da se najpre implementira jasan program bez operatora seˇcenja i da se tek onda njegova efikasnost popravi koriˇsc´ enjem operatora seˇcenja.

4.7

Negacija kao neuspeh

Termin negacija kao neuspeh se koristi za naˇcin na koji se pretpostavka zatvorenog sveta (eng. closed world assumption) implementira kao vrsta negacije u PROLOGu. Grubo reˇceno, pretpostavka zatvorenog sveta govori da je netaˇcno sve sˇ to nije eksplicitno navedeno kao taˇcno. Operator \+ daje efekat negacije kao neuspeha, isto kao predikat not definisan na sledeći naˇcin (u nekim implementacijama PROLOG-a raspoloˇziv je i ovakav predikat not): not(Q) :- call(Q), !, fail. not(Q).

84

4 PROLOG

Dakle, cilj not(Q) uspeva ako i samo ako cilj Q ne uspeva. Razmotrimo sledeći primer u kojem se defiˇse pojam woman preko pojma man: man(sokrat). man(platon). woman(X):- \+( man(X) ). Za tako definisan predikat dobija se: ?- woman(sokrat). no Naime, da bi bio zadovoljen cilj woman(sokrat) ispituje se cilj man(sokrat). Ovaj cilj uspeva i zato cilj woman(sokrat) ne uspeva (i nema mogućnosti bektrekinga). S druge strane, cilj woman(ksantipa) uspeva (iako takva cˇ injenica ne postoji u bazi). Ipak, cilj ?- woman(X). ne uspeva. Zaista, ovaj cilj moˇze da uspe samo ako cilj man(X) ne uspeva. Ali cilj man(X) moˇze da uspe (za X koje se instancira na sokrat). Dakle, cilj woman(X) ne uspeva i X ne postaje vezana. Upit ?- woman(X) moˇzemo da smatramo istim kao pitanje da li postoji X takvo da je woman(X). Ovaj upit ne uspeva a znamo da upit woman(ksantipa) uspeva. Dakle, ovaj oblik negacije (negacija kao neuspeh) se bitno razlikuje od obiˇcne logiˇcke negacije. ¯ negacije kao Razmotrimo joˇs jedan primer za ilustraciju razlike izmedu neuspeha i klasiˇcne logiˇcke negacije: a(1). a(2). p(X,Y) :- a(X),a(Y),\+(X=Y). q(X,Y) :- \+(X=Y),a(X),a(Y). ¯ Od upita p(X,Y) i q(X,Y) bismo oˇcekivali isto ponaˇsanje, medutim dobijamo: ?- p(X,Y). X=1 Y=2; X=2 Y=1; No. ?- q(X,Y). No.

4.8 Liste

85

Prvi upit se ponaˇsa u skladu sa naˇsim oˇcekivanjem, ali drugi od njega odstupa. Prvi podcilj cilja q(X,Y) je not(X=Y). Poˇsto se neinstancirane promenljive X i Y uvek mogu unifikovati, cilj X=Y uvek uspeva. Stoga cilj not(X=Y) ne uspeva, pa ni upit q(X,Y). Generalno, oˇcekivani rezultat (oˇcekivani u smislu klasiˇcne logike prvog reda) dobija se samo ako nema slobodnih promenljivih u upitu, tj. ako je argument operatora \+ vezan u trenutku kada je ovaj operator pozvan. Primetimo i da se cilj \+(\+(man(X))) razlikuje od cilja man(X) jer ako je prvi zadovoljen, onda c´ e promenljiva X ostati slobodna, za razliku od cilja man(X) koji c´ e biti zadovoljen a promenljiva X c´ e biti instancirana na sokrat. Ovo svojstvo moˇze da posluˇzi i kao pogodan test da li su dva terma unifikabilna bez njihovog unifikovanja u bilo kom sluˇcaju. Na primer, cilj \+(\+(X=2)) uspeva, a pri tome se X ne instancira na 2.

4.8

Liste

Liste su jedan od kljuˇcnih tipova podataka koji se koriste u logiˇckom programiranju. Lista je prazna lista ili element za kojim sledi lista. Liste se rekurzivno definiˇsu, pa se rekurzija prirodno javlja u reˇsenjima problema u kojima se one koriste. Lista moˇze da se zapiˇse kao niz njenih elemenata razdvojenih zarezima ¯ zagrada ’[’ i ’]’. Lista kao svoj element moˇze da sadrˇzi i drugu zapiˇsu izmedu listu. Navedimo nekoliko primera listi:

[1,2,3] [a,b,c,d] [a,3,4,jovan,f(x,y)] [[1,2,3],a,1,[],[x]]

Praznu listu oznaˇcavamo sa []. Ukoliko je lista neprazna, njen prvi element zovemo glava liste, a nastavak rep liste, takvu listu oznaˇcavamo sa [GlavaListe|RepListe]. Sledeća tabela pokazuje na primerima da li se i kako mogu unifikovati razliˇcite liste.

86

4 PROLOG Term 1 [1,2,3] [a,b,c] [X,1,2] [a,b,c] [a,b,c] [] [] [] [[]] [a,b,c] [a,b,c] [a] [[],[]] [a,b|X] [a,X,Y|T] [a,b|X]

Term 2 [5,6,7] [a,b] [Y,Y,2] [H|T] [X,Y|T] X [] [H|T] [H|T] [X|[Y|Z]] [X|[Y|[Z]]] [H|T] [H|T] [a,b,c] [a,b,c] [a,b]

unifikabilni ne ne da da da da da ne da da da da da da da da

unifikator

X=1, Y=1 H=a, T=[b,c] X=a, Y=b, T=[c] X=[]

H=[], T=[] X=a,Y=b,Z=[c] X=a,Y=b,Z=c H=a,T=[] H=[],T=[[]] X=[c] X=b,Y=c, T=[] X=[]

¯ Predikat koji odreduje prvi element liste se moˇze definisati na sledeći naˇcin: glava([H|_],H). a prva tri elementa na sledeći naˇcin: prvatri([X,Y,Z|_],X,Y,Z). Rep liste se moˇze odrediti na sledeći naˇcin: rep([_|T],T). Predikat koji dodaje element na pocetak liste se moˇze definisati na sledeći naˇcin: dodajnapocetak(Lista,X,[X|Lista]). Proveru da li je element X cˇ lan liste definisaćemo na dva naˇcina: clan1([X|_],X):- !. clan1([_|R],X):- clan1(R,X). clan2([X|_],X). clan2([_|R],X):- clan2(R,X). Prva definicija je efikasnija, poˇsto operator seˇcenja spreˇcava bektreking posle uspeˇsnog nalaˇzenja traˇzenog cˇ lana (dok se u drugoj verziji pretraga do kraja ¯ ¯ liste i kad je traˇzeni elemente već pronaden). Medutim, druga verzija se moˇze koristiti i za nabrajanje cˇ lanova liste. Upit clan1([1,2,3],X) daje odgovor: ?- clan1([1,2,3],X). X=1; No.

4.8 Liste

87

U sluˇcaju upita clan2([1,2,3],X) dobijamo: ?- clan2([1,2,3],X). X=1; X=2; X=3; No. ¯ ovih predikata se ilustruje sledećim primerima: Joˇs jedna razlika izmedu ?- clan1([1,2,3],X), X>2. No. ?- clan2([1,2,3],X), X>2. X=3; No. U sluˇcaju prvog predikata, promenljiva X se pomoću prvog pravila za clan1 unifikuje sa prvim elementom liste, a operator seˇcenja onemogućava bektreking. Stoga ne uspeva cilj X>2 i sistem odgovara No. U drugom sluˇcaju, posle neuspeha cilja X>2, bektrekingom se dolazi do unifikacije promenljive X sa poslednjim elementom liste, kada i cilj X>2 uspeva. Duˇzina liste se moˇze izraˇcunati sledećim predikatom: duzina([],0). duzina([_|R],M):-duzina(R,M1), M is M1+1. Predikat brisi_jedno_pojavljivanje izbacuje jedno pojavljivanje datog elementa iz date liste: brisi_jedno_pojavljivanje(X,[X|R],R). brisi_jedno_pojavljivanje(X,[F|R],[F|S]) :- brisi_jedno_pojavljivanje(X,R,S). Ovo je primer upotrebe navedenog predikata: ?- brisi_jedno_pojavljivanje(X,[1,2,3],L). X=1 L=[2,3] ; X=2 L=[1,3] ; X=3 L=[1,2] ; No Sledeći upit: ?- brisi_jedno_pojavljivanje(3,L,[a,b,c]). L = [3,a,b,c] ; L = [a,3,b,c] ; L = [a,b,3,c] ; L = [a,b,c,3] ; No

88

4 PROLOG

pokazuje da predikat brisi_jedno_pojavljivanje(X,L,R) moˇze da se interpretira i kao ,,ubaci element X u listu L koja tako daje listu R“. Dakle, predikat ubaci mogao bi da se jednostavno implementira: ubaci(X,L,R) :- brisi_jedno_pojavljivanje(X,R,L). Navedimo definiciju predikata za dopisivanje dve liste jednu na drugu: append([X|Y],Z,[X|W]) :- append(Y,Z,W). append([],X,X). Predikat append moguće je koristiti na nekoliko naˇcina, za izraˇcunavanje razliˇcitih argumenta: ?- append([1,2,3],[4,5],[1,2,3,4,5]). Yes ?- append([1,2,3],[4,5],A). A = [1,2,3,4,5] ?- append([1,2,3],A,[1,2,3,4,5]). A = [4,5] ?- append(A,[4,5],[1,2,3,4,5]). A = [1,2,3] Ilustrujmo primene listi i kroz dva algoritma za sortiranje. Primetimo da u narednoj implementaciji algoritma mergesort nema potrebe za primenom operatora seˇcenja, za bilo koje argumente navedni predikatu mogu biti zadovoljeni samo na po jedan naˇcin. mergesort([],[]). mergesort([A],[A]). mergesort([A,B|R],S) :split([A,B|R],L1,L2), mergesort(L1,S1), mergesort(L2,S2), merge(S1,S2,S). split([],[],[]). split([A],[A],[]). split([A,B|R],[A|Ra],[B|Rb]) :merge(A,[],A). merge([],B,B). merge([A|Ra],[B|Rb],[A|M]) :merge([A|Ra],[B|Rb],[B|M]) :-

split(R,Ra,Rb).

A =< B, merge(Ra,[B|Rb],M). A > B, merge([A|Ra],Rb,M).

Ovaj predikat je definisan tako da se koristi za izraˇcunavanje drugog argumenta ako je dat prvi. Nije ga moguće koristiti za izraˇcunavanje prvog argumenta ako je dat drugi. Naime, na primer, upit mergesort(A,[1,2,3]) bi prilikom poziva predikata merge doveo do nedovoljno instanciranih promenljivih i do greˇske. Algoritam bubble sort moˇze se implementirati na sledeći naˇcin:

4.9 Ugradjeni predikati

89

bubblesort(List, Sorted) :swap(List, List1), !, bubblesort(List1, Sorted). bubblesort(Sorted, Sorted). swap([X,Y|R], [Y,X|R]) :- X > Y. swap([Z|R], [Z|R1]) :- swap(R, R1). Druga varijanta ukljuˇcuje PROLOG operator implikacije -> (a naravno postoji i varijanta i bez njega): bubblesort2(List, Sorted) :append(P, [A, B|T], List), B < A -> append(P, [B, A|T], R), bubblesort2(R, Sorted) ; Sorted = List.

4.9

Ugradjeni predikati

Logiˇcke konstante Predikat true uvek uspeva kao cilj, predikat false nikad ne uspeva kao cilj. Provera promenljive Predikat var(X) proverava da li je X promenljiva koja nije vezana. Predikat ground(G) proverava da li je G ne sadrˇzi promenljive koje nisu vezane. Provera tipa Predikat atom(X) uspeva ako je X vezana za simboliˇcki atom. Na primer, atom(foot) i atom(’foot’) uspevaju, a atom("foot") i atom(3) ne uspevaju. Predikat integer(X) proverava da li je X vezana za ceo broj. Predikat real(X) proverava da li je X vezana za realan broj. Predikat string(X) proverava da li je X vezana za karaktersku nisku. Unifikabilnost i jednakost Upit X = Y proverava da li su X i Y unifikabilni, upit X \= Y proverava da li X i Y nisu unifikabilni, Upit X == Y proverava da li su X i Y imaju jednake vrednosti upit X \== Y proverava da li X i Y imaju razliˇcite vrednosti. Vezivanje promenljive za numeriˇcku vrednost Cilj V is E vezuje promenljivu V za numeriˇcku vrednost E. Vrednost E mora biti numeriˇcka konstanta ili izraz cˇ ija je vrednost odredjena. Aritmetiˇci operatori Za brojeve N i M, dozvoljeni su sledeći aritmetiˇcki operatori: N > M, N < M, N =< M, N >= M.

90

4 PROLOG

Pomoćni predikati Cilj help(S) uvek uspeva i daje objaˇsnjenje (ako ono postoji) za pojam S (S treba da bude simboliˇcki atom, na primer, help(var)). Cilj halt uvek uspeva, zaustavlja PROLOG i vraća kontrolu operativnom sistemu. Cilj trace uvek uspeva i ukljuˇcuje praćenje izvrˇsavanja izraˇcunavanja. Cilj notrace uvek uspeva i iskljuˇcuje praćenje izvrˇsavanja izraˇcunavanja. Dodavanje u PROLOG bazu i brisanje iz PROLOG baze Cilj asserta(C) dodaje klauzu C u bazu pre klauza koje imaju isti kljuˇcni predikat (kljuˇcni predikat klauze je prvi predikat sleva nadesno). Cilj assertz(C) (kao i cilj assert(C)) dodaje klauzu C u bazu iza klauza koje imaju isti kljuˇcni predikat. Cilj retract(C) briˇse klauzu C iz baze. Klauza C treba da bude instancirana tako da moˇze da se odredi kljuˇcni predikat. listing prikazuje sadrˇzaj baze. Uˇcitavanje PROLOG programa Cilj consult(F) uˇcitava program iz datoteke F. Cilj reconsult(F) uˇcitava program iz datoteke F, s tim sˇ to se definicijom predikata koji se uˇcitava zamenjuje (eventualna) postojeća definicija. Cilj [F1,F2,...] oznaˇcava uˇcitavanje datoteke F1, zatim datoteke F2, itd. U PROLOG programima komentari se piˇsu izmedju znakova /* i */. Ulaz i izlaz seeing(X) uspeva ako je X vezana za tekući ulazni tok (tzv. port). Na primer, seeing(user) uspeva ako je tekući ulazni tok tastatura. see(X) otvara kao ulazni port datoteku X. Naredni ulazi za predikat read biće citan sa tog porta. seen zatvara sve ulazne portove i naredni ulazi za predikat read biće citani sa porta user. read(X) cˇ ita izraz sa tekućeg porta i smeˇsta ga u X. telling(X) uspeva ako X moˇze biti vezana za tekući izlazni port. Na primer, tellin(user) uspeva ako je tekući izlazni tok ekran. tell(X) otvara kao izlazni port datoteku X. Naredni ulazi predikata write biće slati na taj port. told zatvara sve izlazne portove i naredni ulazi za predikat bi\’ce biće slat na porta user. write(E) ispisuje izraz vezan za E na tekući izlazni port. nl omogućava prelazak u novi red. tab(N) ispisuje N razmaka na tekući izlazni port. Kontrola toka call(P) poziva predikat P, uspeva ako i samo ako uspeva P. ! operator seˇcenja.

4.9 Ugradjeni predikati

91

Negacija kao neuspeh not(Q), \+Q daje efekat negacije kao neuspeha (kao sˇ to je objaˇsnjeno u poglavlju 4.7. Obrada PROLOG termova clause(H,B) vraća klauze iz baze cˇ ija glava se uparuje sa H, a telo sa B. Vrednost H mora biti dovoljno instancirana da odredjuje glavni predikat glave. functor(E,F,N) uspeva ako je vrednost E vezana za funkcijski izraz oblika f(...). F c´ e biti vezano za f a N za broj argumenat u f(...). arg(N,E,A) uspeva ako je vrednost E vezana za funkcijski izraz oblika f(...) i ako N moˇze biti vezano za neki redni broj argumenta u f(...). Ukoliko cilj uspe, A c´ e biti vezano za N-ti argument u f(...). name(A,L) vrˇsi konvertovanje izmedju atoma i liste. Na primer, upit ?- name(’.pl’,L). daje odgovor L = [46,112,108]. =.. vrˇsi konvertovajne izmedju terma i liste. Na primer, ?- parent(a,X) = .. L. daje odgovor L = [parent, a, _X001]. Operator :- op(P,T,O). uvodi simbol operatora. P odredjuje prioritet operatora, većoj vrednost odgovara niˇzi prioritet (prioriteti za ugradjene operatore zavisi od konkretnog sistema). T je tip operatora: xfx za infiksni neasocijativni; xfy za infiksni desno asocijativni; yfx za infiksni levo asocijativni; fx za prefiksni neasocijativni; fy za prefiksni desno asocijativni; xf za postfiksni neasocijativni; yf za postfiksni levo asocijativni; O je ime operatora. Tip operatora se definiˇse pomoću jednostavnih, gore datih, niski karaktera. Karakter f oznaˇcava poziciju operatora, a x i y pozicije argumenata. Pri tome x znaˇci da se radi o argumentu sa glavnim operatorom strogo manjeg prioriteta od operatora koji definiˇsemo. y znaˇci da prioritet glavnog operatora argumenta moˇze biti manji ili jednak prioritetu operatora koji definiˇsemo. Pri tome se smatra da atomi i izrazi u zagradama imaju prioritet 0. Smisao ovakvog definisanja tipa operatora se najbolje ilustruje pomoću drveta operatora. Neka je operator + tipa yfx i neka je dat izraz a+b+c. Postoje dva drveta izraza koja mu potencijalno mogu odgovarati. Data su na slici 4.6. Ako posmatramo desno drvo, primećujemo da njegovo desno poddrvo ima operator + u korenu koji nije strogo manjeg prioriteta od operatora ¯ + u korenu celog drveta. Medutim, njegov tip yfx to zahteva, pa stoga

92

4 PROLOG

+

c

+

a

+

a

b

+

b

c

Figure 4.6: Dva drveta koja mogu odgovarati izrazu a+b+c desno drvo moramo odbaciti. Odnosno, operator je levo asocijativan i izraz se tumaˇci kao ((a+b)+c). Da je tip operatora bio xfx ni jedno od ova dva drveta ne bi bilo prihvatljivo, poˇsto se bar u jednom poddrvetu javlja operator + istog prioriteta. Ovo se moˇze reˇsiti pomoću zagrada, poˇsto je prioritet izraza u njima 0. Stoga tip xfx nameće koriˇsc´ enje zagrada, sˇ to znaˇci da operator nije asocijativan. Ugradjeni operatori, poredjani po prioritetima: :?; , not is, =.., <, itd. +, *, / ^

xfx, fx fx xfy xfy fy xfx yfx, fx yfx xfy

Pronalaˇzenje svih reˇsenja findall(Things,GoalExpression,Bag) pronalazi sve vrednosti za Thing koje zadovoljavaju uslov GoalExpression i smeˇsta ih u listu Bag. Ako cilj GoalExpression ne uspeva, list Bag c´ e biti prazna. Sve promenljive u GoalExpression se smatraju egzistencijalno kvantifikovanim. bagof(Things,GoalExpression,Bag) pronalazi sve vrednosti za Thing koje zadovoljavaju uslov GoalExpression i smeˇsta ih u listu Bag. Ne uspeva ako ne uspeva cilj GoalExpression. Slobodne promenljive u GoalExpression mogu da se veˇzu. setof(Things,GoalExpression,Bag) funkioniˇse isto kao bagof uz razliku da c´ e lista Bag biti sortirana i da neće sadrˇzati duplikate.

4.10

Implementacija KNF algoritma

Kao prvi veci primer PROLOG programa koji ilustruje razne koncepte jezika, navodimo implementaciju KNF algorima. Kasnije c´ emo na to nadovezati im-

4.10 Implementacija KNF algoritma

93

plementaciju algoritma DPLL. Radi preglednijeg zapisa, prvo uvodimo logiˇcke veznike kao nove operatore. :-op(10,fx,non). :-op(20,yfy,and). :-op(30,yfy,or). :-op(40,xfx,implies). :-op(50,xfx,equiv). Operatori and i or su definisani kao asocijativni (yfy), sˇ to dovodi do ispuˇstanja nepotrebnih zagrada u zapisu i lakˇse cˇ itljivosti. Predikat knf implementira KNF algoritam iz tri koraka. Prvo se eliminiˇsu veznici ekvivalencije i implikacije, zatim se vrˇsi primena de Morganovih zakona uz eliminisanje dvostrukih negacija, a na kraju primena zakona distributivnosti disjunkcije i konjunkcije. knf(X,Y):-eliminacija(X,Z),demorgan(Z,T),distributivnost(T,Y). eliminacija(X equiv Y,R):-eliminacija((X implies Y) and (Y implies X),R). eliminacija(X implies Y,non X1 or Y1):-eliminacija(X,X1),eliminacija(Y,Y1). eliminacija(X or Y,X1 or Y1):-eliminacija(X,X1),eliminacija(Y,Y1). eliminacija(X and Y,X1 and Y1):-eliminacija(X,X1),eliminacija(Y,Y1). eliminacija(non X,non X1):-eliminacija(X,X1). eliminacija(X,X):-atom(X). Primetimo da je pri svakom pozivu primenljivo samo jedno pravilo za eliminaciju, tako da PROLOG neće traˇziti viˇse od jednog reˇsenja. Osim toga, treba primetiti da je prvo pravilo specifiˇcno zato sˇ to eliminiˇsući jedan veznik uvodi novi koji je potrebno eliminisati. demorgan(non (X and Y),X1 or Y1):-demorgan(non X,X1),demorgan(non Y,Y1). demorgan(non (X or Y),X1 and Y1):-demorgan(non X,X1),demorgan(non Y,Y1). demorgan(non non X,X1):-demorgan(X,X1). demorgan(X or Y,X1 or Y1):-demorgan(X,X1),demorgan(Y,Y1). demorgan(X and Y,X1 and Y1):-demorgan(X,X1),demorgan(Y,Y1). demorgan(non X,non X):-atom(X). demorgan(X,X):-atom(X). Primetimo da je jednostavnosti radi uˇcinjeno malo odstupanje od KNF algoritma kako je dat na slici 2.1. Naime, dozvoljena je eliminacija dvostruke negacije i pre nego sˇ to se do kraja primene de Morganovi zakoni. distributivnost(X and Y, X1 and Y1):-distributivnost(X,X1),distributivnost(Y,Y1). distributivnost(X or Y, R):-distributivnost(X,X1),distributivnost(Y,Y1), distributivnost(X1,Y1,R). distributivnost(non X, non X). distributivnost(X,X):-atom(X). distributivnost(X and Y, Z, XZ and YZ):-distributivnost(X,Z,XZ), distributivnost(Y,Z,YZ),!. distributivnost(X, Y and Z, XY and XZ):-distributivnost(X,Y,XY), distributivnost(X,Z,XZ),!. distributivnost(X,Y,X or Y).

94

4 PROLOG

Kada mu je argument neka konjunkcija, predikat distributivnost omogućava rekurzivnu primenu na konjunkte, a sluˇcaju disjunkcije primenjuje zakone distributivnosti. Pri tome se uzima u obzir i to da primena ovog zakona moˇze dovesti do stvaranja novih uslova za njegovu primenu u okviru podformula dobijenog izraza.

4.11

Implementacija DPLL algoritma

Posle transformacije formule u konjunktivnu normalnu formu, u cilju primene DPLL algoritma, potrebno ju je konvertovati u listu listi literala gde je spoljna lista konjunkcija unutraˇsnjih listi koje predstavljaju klauze. Kako bismo ovo implementirali, prvo nam je potreban pomoćni predikat koji spaja dve liste. Za to c´ emo koristiti predikat append definisan u sekciji 4.8. Konverzija se vrˇsti tako sˇ to se prolazi kroz konjunkcije spajajući liste koje se dobijaju rekurzivnom primenom predikata knf_u_listu_listi na konjunkte ¯ do dis(koji su ponovo u konjunktivnoj normalnoj formi) sve dok se ne dode junkcije. U tom trenutku se prelazi na novi predikat disjunkcija_u_listu koji od disjunkcije formira listu literala analogno naˇcinu na koji knf_u_listu_listi gradi listu listi. knf_u_listu_listi(X,[[X]]):-atom(X). knf_u_listu_listi(non X, [[non X]]):-atom(X). knf_u_listu_listi(X and Y,R):-knf_u_listu_listi(X,R1),knf_u_listu_listi(Y,R2), append(R1,R2,R). knf_u_listu_listi(X or Y,[R]):-disjunkcija_u_listu(X or Y, R). disjunkcija_u_listu(X,[X]):-atom(X). disjunkcija_u_listu(non X,[non X]). disjunkcija_u_listu(X or Y,R):-disjunkcija_u_listu(X,R1),disjunkcija_u_listu(Y,R2), append(R1,R2,R). U cilju implementacije DPLL algoritma, prvo su nam potrebni pomoćni predikati koji implementiraju rad sa listama i listama listi. Predikat koji proverava da li se lement nalazi u listi je poznat od ranije: sadrzi([X|R],X). sadrzi([Y|R],X):-sadrzi(R,X). Da bismo proverili da li lista listi sadrˇzi neki element koristićemo dvostruku primenu predikata sadrzi, s tim sˇ to c´ emo u nastavku predikatima davati nazive u skladu sa njihovim smislom u implementaciji DPLL algoritma. formula_sadrzi_literal(X,Y):-sadrzi(X,Z),sadrzi(Z,Y). Kako se u DPLL algoritmu koriste i zamene literala ili iskaznih slova, koristićemo i sledeći predikat: zameni_u_disjunkciji(X,Y,[X|R],[Y|T]):-zameni_u_disjunkciji(X,Y,R,T),!. zameni_u_disjunkciji(X,Y,[Z|R],[Z|T]):-zameni_u_disjunkciji(X,Y,R,T). zameni_u_disjunkciji(X,Y,[],[]).

4.11 Implementacija DPLL algoritma

95

Pri tome se podrazumeva da su disjunkcije unutraˇsnje liste. Zamena elementa liste listi (literala u celoj formuli) se sad lako vrˇsi: zameni_literal_u_formuli(X,Y,[P|R],[Q|T]):-zameni_u_disjunkciji(X,Y,P,Q), zameni_literal_u_formuli(X,Y,R,T). zameni_literal_u_formuli(X,Y,[],[]). Zamena iskaznog slova p u formuli se moˇze uraditi tako sˇ to se zamene oba literala - p i non p odgovarajućim simbolima u celoj formuli. zameni_slovo_u_formuli(X,Y,P,Q):-zameni_literal_u_formuli(X,Y,P,R), zameni_literal_u_formuli(non X, non Y,R,Q). Brisanje svih pojavljivanja elementa liste vrˇsimo na sledeći naˇcin: brisi_sve(X,[X|R],R1):-brisi_sve(X,R,R1),!. brisi_sve(X,[Y|R],[Y|R1]):-brisi_sve(X,R,R1). brisi_sve(X,[],[]). DPLL algoritam prvo proverava da li operiˇse sa praznom listom klauza i ako je tako vraća yes, a u suprotnom, vrˇsi zamene ¬> sa ⊥ i ¬⊥ sa >, briˇse pojavljivanja literala ⊥ koji je u naˇsoj implementaciji predstavljen atomom f (dok je > predstavljen atomom t) i proverava da li se prazna klauza nalazi u skupu klauza. Posle toga se pokusava sa koracima tautology, unit propagation, pure literal i split. % Provera da li je argument prazna klauza dpll([]):-!.

% Zamene literala non t sa f i non f sa t dpll(X):-formula_sadrzi_literal(X,non t),!,zameni_negacije_literala(X,Y),dpll(Y). dpll(X):-formula_sadrzi_literal(X,non f),!,zameni_negacije_literala(X,Y),dpll(Y).

% Brisanje literala f dpll(X):-formula_sadrzi_literal(X,f),!,brisi_f(X,Y),dpll(Y).

% Ako formula sadrzi praznu klauzu, onda je polazna formula nezadovoljiva dpll(X):-sadrzi_praznu_klauzu(X),!,fail.

% Korak tautology dpll(X):-sadrzi(X,Y),sadrzi(Y,t),!,brisi_sve(Y,X,Z),dpll(Z). dpll(X):-sadrzi(X,Y),sadrzi(Y,L),atom(L),sadrzi(Y, non L),!,brisi_sve(Y,X,Z),dpll(Z).

96

4 PROLOG

% Korak unit propagation dpll(X):-sadrzi(X,[Y]),atom(Y),!,zameni_slovo_u_formuli(Y,t,X,Z),dpll(Z). dpll(X):-sadrzi(X,[non Y]),!,zameni_slovo_u_formuli(Y,f,X,Z),dpll(Z).

% Korak pure literal dpll(X):-formula_sadrzi_literal(X,Y),atom(Y),not(formula_sadrzi_literal(X,non Y)),!, zameni_slovo_u_formuli(Y,t,X,Z),dpll(Z). dpll(X):-formula_sadrzi_literal(X,non Y),not(formula_sadrzi_literal(X,Y)),!, zameni_slovo_u_formuli(Y,f,X,Z),dpll(Z).

% Korak split dpll([[X|R1]|R2]):-atom(X),zameni_slovo_u_formuli(X,t,[[X|R1]|R2],Y),dpll(Y),!. dpll([[X|R1]|R2]):-atom(X),zameni_slovo_u_formuli(X,f,[[X|R1]|R2],Y),dpll(Y). dpll([[non X|R1]|R2]):-zameni_slovo_u_formuli(X,t,[[non X|R1]|R2],Y),dpll(Y),!. dpll([[non X|R1]|R2]):-zameni_slovo_u_formuli(X,f,[[non X|R1]|R2],Y),dpll(Y). Primetimo da je recimo u koraku tautology moguće da postoji viˇse klauza koje sadrˇze literal t. U tom sluˇcaju PROLOG bi prirodno vrˇsio bektreking u potrazi za svim reˇsenjima. Kako to u naˇsoj implementaciji nema svrhe, ubaˇcen je predikat reza koji spreˇcava ovakvo ponaˇsanje. Sliˇcna opaska vaˇzi i u pravilima unit propagation i pure literal. Zamene negiranih literala se vrˇse jednostavno kad imamo implementirane pomoćne predikate. zameni_negacije_literala(X,Y):-zameni_literal_u_formuli(non t,f,X,Z), zameni_literal_u_formuli(non f,t,Z,Y). Brisanje literala f: brisi_f([X|R],[Y|R1]):-brisi_sve(f,X,Y),brisi_f(R,R1). brisi_f([],[]). Predikat sadrzi_praznu_klauzu se trivijalno implementira. sadrzi_praznu_klauzu(X):-sadrzi(X,[]). Sada moˇzemo dodati joˇs jedan predikat koji proverava da li je formula zadovoljiva: zadovoljiva(X):-knf(X,Y),knf_u_listu_listi(Y,Z),dpll(Z).

4.12 Pretraga grafa

4.12

97

Pretraga grafa

Kako grafovi predstavljaju binarne relacije nad nekim domenom, PROLOG omogućava vrlo jednostavno opisivanje i pretragu grafova. Graf se zadaje listom svojih grana. edge(1, edge(1, edge(2, edge(2, edge(3, edge(3, edge(4, edge(4, edge(5, edge(6, edge(6, edge(7, edge(8, edge(8,

5). 7). 1). 7). 1). 6). 3). 5). 8). 4). 5). 5). 6). 7).

Nalaˇzenje putanje se realizuje rekurzivno. Postoji put od cˇ vora A do cˇ vora B ako je A = B ili ako postoji grana od cˇ vora A do cˇ vora X i postoji put od X do B. Kako grafovi mogu u opˇstem sluˇcaju sadrˇzati cikluse, potrebno je pamtiti i listu posećenih cˇ vorova kako ne bi doˇslo do prekoraˇcenja steka pri rekurzili. % path(Start, Finish, Visited, Path) path(Node, Node, _, [Node]). path(Start, Finish, Visited, [Start|Path]):edge(Start, X), not(sadrzi(Visited,X)), path(X,Finish,[X|Visited],Path).

4.13

Primer reˇsavanje jednostavnog problema

PROLOG je poznat po svojoj pogodnosti za reˇsavanje problema veˇstaˇcke inteligencije. Ilustrovaćemo to na primeru jednostavne igre. Na levoj obali reke nalaze se tri misionara i tri ljudoˇzdera (eng. missionaries and cannibals). Pomoću cˇ amca koji prima dve osobe, svi treba da se prevezu preko reke. Pri tome, ne sme se desiti da na nekoj obali broj ljudoˇzdera bude veći od broja misionara jer c´ e ih ovi pojesti. Potrebno je naći neki raspored ¯ reku. prevoˇzenja tako da svi predu ¯ svaka Reˇsavanje ovog problema c´ emo svesti na pretragu grafa. Izmedu ¯ dva poteza, igra se nalazi u odredenom stanju. To stanje se karakteriˇse brojem misionara i ljudoˇzdera na obalama i poloˇzajem cˇ amca. Broj misionara i ljudoˇzdera je dovoljno precizirati za levu stranu, jer je tad broj na desnoj strani ¯ jednoznaˇcno odreden. Primer stanja je state(3, 1, left)

98

4 PROLOG

Potezi predstavljaju prevoˇzenje jedne ili dve osobe na drugu stranu reke. ¯ Potpuno su odredeni brojem misionara i ljudoˇzdera koji se prevoze i stranom na koju se cˇ amac kreće. Primer poteza je move(1,1,right) Stanja igre moˇzemo smatrati cˇ vorovima grafa cˇ ije su grane potezi pomoću kojih se prelazi iz jednog stanja u drugo. Na ovaj naˇcin se reˇsavanje problema svodi na nalaˇzenje putanje kroz graf od polaznog stanja state(3,3,left) do zavrˇsnog state(0,0,right). Samo reˇsenje je lista poteza koji odgovaraju granama ¯ koje spajaju medustanja u toku reˇsavanja. [move(0,2,left), move(0,1,right)|...] Osnovni predikat za reˇsavanje ovog problema ima formu već prikazanog predikata za pretragu grafa. mandc(state(0, 0, right), _, []). mandc(CurrentState, Visited, [Move | RestOfMoves]) :newstate(CurrentState, NextState), not(sadrzi(NextState, Visited)), make_move(CurrentState, NextState, Move), mandc(NextState, [NextState | Visited], RestOfMoves). ¯ Za uoˇceno stanje koje nasleduje trenutno, potez koji realizuje prelaz se lako izraˇcunava. make_move(state(M1, C1, left), state(M2, C2, right), move(M, C, right)) :M is M1 - M2, C is C1 - C2. make_move(state(M1, C1, right), state(M2, C2, left), move(M, C, left)) :M is M2 - M1, C is C2 - C1. Da bismo konstruisali sledeće stanje, potrebno je definisati legalne prelaze cˇ amcem carry(2, carry(1, carry(1, carry(0, carry(0,

0). 0). 1). 1). 2).

kao i legalna stanja. Pozicija cˇ amca je nebitna, ali broj ljudoˇzdera ni na jednoj obali ne sme prelaziti broj misionara. Stoga, legalna su samo stanja kod kojih je broj misionara na levoj strani jednak broju ljudozdera, stanja koj kojih su sva tri misionara na levoj obali i stanja kod kojih su svi misionari na desnoj obali. legal(X, X). legal(3, X). legal(0, X).

4.13 Primer reˇsavanje jednostavnog problema

99

Prilikom konstrukcije novog stanja, moramo paziti i da pre prelaska na desnu obalu, na levoj strani mora biti dovoljno osoba koje su planirane za prelazak, i da posle prelaska na levu obalu na njoj ne moˇze biti viˇse od tri misionara, odnosno ljudoˇzdera. newstate(state(M1, C1, left), state(M2, C2, right)) :carry(M, C), M =< M1, C =< C1, M2 is M1 - M, C2 is C1 - C, legal(M2, C2). newstate(state(M1, C1, right), state(M2, C2, left)) :carry(M, C), M2 is M1 + M, C2 is C1 + C, M2 =< 3, C2 =< 3, legal(M2, C2).

Zadaci √ Zadatak 65 Vaˇzi sledeće: Janko ima psa. Svaki vlasnik psa voli zˇ ivotinje. Nijedna osoba koja voli zˇ ivotinje ne moˇze da udari zˇ ivotinju. Janko ili Marko su udarili maˇcku cˇ ije je ime Tuna. Svaka maˇcka je zˇ ivotinja. U PROLOG-u zapisati cˇ injenice i predikate pomoću kojih se moˇze utvrditi ko je udario Tunu. √ Zadatak 66 Definisati predikat koji izraˇcunava sumu prvih N prirodnih brojeva. √ Zadatak 67 Definisati predikat koji izraˇcunava sumu cifara datog broja. √ Zadatak 68 Definisati predikat koji izraˇcunava N-ti stepen zadatog broja. √ Zadatak 69 Definisati predikat koji obrće cifre broja. √ Zadatak 70 Definisati predikat koji izraˇcunava najveći zajedniˇcki delilac dva broja. √ Zadatak 71 Definisati predikat koji proverava da li je broj prost. √ Zadatak 72 Definisati predikat koji izraˇcunava sumu elemenata liste. √ Zadatak 73 Definisati predikat koji obrće listu. √ Zadatak 74 Definisati predikat koji dodaje element na kraj liste. √ Zadatak 75 Definisati predikat koji proverava da li se tri zadata elementa nalaze na uzastopnim pozicijama u listi.

100

4 PROLOG

√ Zadatak 76 Definisati predikat koji konstruiˇse listu koja se sastoji od prvih n elemenata zadate liste. √ Zadatak 77 Definisati predikat koji deli datu listu brojeva na listu negativnih i nenegativnih elemenata. √ Zadatak 78 Definisati predikat koji deli datu listu na dve na sve moguće naˇcine. √ Zadatak 79 Definisati predikat koji ispisuje sve podliste date liste. √ Zadatak 80 Definisati predikat koji iz date liste briˇse sva ponavljanja elemenata. √ Zadatak 81 Definisati predikat koji nalazi uniju dve liste. √ Zadatak 82 Definisati predikat koji nalazi presek dve liste. √ Zadatak 83 Definisati predikat koji nalazi razliku dve liste. √ Zadatak 84 Definisati predikat koji nalazi simetriˇcnu razliku dve liste.

Deo II

Pretraga

Glava 5

Reˇsavanje problema kao pretraga U prethodnom delu prikazani su teorijski okviri i algoritmi pomoću kojih je moguće sprovoditi logiˇcko zakljuˇcivanje. Iako zakljuˇcci moraju nuˇzno slediti iz zadatih pretpostavki, proces njihovog dokazaivanja nije pravolinijski već ¯ ukljuˇcuje odredene odluke o pravcu u kome c´ e se postupak sprovoditi. Drugim ¯ reˇcima, uoˇcljivo je traganje za dokazom nekog tvrdenja. Primera radi, u primeni procedure DPLL moguće je uoˇciti i korake zakljuˇcivanja i korake pretrage. Kada se uoˇci jediniˇcna klauza u nekoj formuli, njeno zadovoljenje je nuˇzno i predstavlja korak zakljuˇcivanja. S druge strane kada je nemoguće direktno zakljuˇcivanje, potrebno je pretpostaviti vrednost iskazne promenljive. U daljem toku dokazivanja, ta akcija c´ e se pokazati kao opravdana ili neopravdana. U sluˇcaju da se pokaˇze kao neopravdana, preduzima se alternativna akcija. Znaˇci, situacija u kojoj nije moguće izvrˇsiti direktno zakljuˇcivanje zahteva primenu pretrage. Manje apstraktan primer je upravljanje robotskom rukom. Pretpostavimo da robotska ruka ima nekoliko mehaniˇckih zglobova cˇ ije se kretanje kontroliˇse elektriˇcnim impulsima. Pri tom, neki zglobovi omogućavaju rotacije samo oko jedne ose (kao ljudski lakat ili zglobovi na pristima), a drugi rotaciju oko većeg broja osa (kao ljudsko rame ili zglobovi u korenu prstiju). Pokret hvatanja cˇ aˇse ovakvom robotskom rukom je netrivijalan zadatak, ali se moˇze razbiti na sekvencu atomiˇcnih koraka — pokreta pojedinaˇcnih zglobova oko razliˇcitih ¯ ugao. Moˇzemo zamisliti da se ovi koraci izvrˇsavaju strogo osa za odreden jedan po jedan u kom bi sluˇcaju kretanje ruke bilo znaˇcajno razliˇcito od ljudskog i sporo, ali bi problem bio lakˇsi jer ne bi bila potrebna sinhronizacija razliˇcitih zglobova i svaki bi se pojedinaˇcno dovodio u zˇ eljeni poloˇzaj. Druga mogućnost je da se kretanja zglobova izvode simultano, kao kod cˇ oveka, pri tom povećavajući broj mogućih kombinacija u svakom trenutku. Dati primeri motiviˇsu razmiˇsljanje o pretrazi kao o nalaˇzenju niza akcija kojima se ostvaruje cilj kada to ne moˇze biti ostvareno pojedinaˇcnim akcijama. Iako u opˇstem sluˇcaju ovakva definicija ne mora delovati adekvatno, u kontekstu veˇstaˇcke inteligencije u kome obiˇcno pretpostavljamo postojanje nekog entiteta koji deluje preduzimanjem nekih akcija (agenta), ona je prirodna. Pored algoritama koji se u potpunosti mogu podvesti pod ovako definisan

104

5 Reˇsavanje problema kao pretraga

pojam pretrage, u ovom delu c´ emo opisati i neke algoritme optimizacije, koji su opˇstiji. Kako bi se neki problem predstavio kao problem pretrage i reˇsio primenom ¯ algoritama pretrage potrebno je da ima odredenu strukturu. Kako bi aspekti ove strukture bili jasnije izloˇzeni biće ilustrovani na primeru nalaˇzenja puta ¯ dva grada. Pretpostavlja se da direktan put izmedu ¯ njih ne mora posizmedu ¯ njih, tojati, već da je potreban prolazak kroz veći broj gradova na putu izmedu ali se pretpostavlja da je ciljni grad dostupan iz polaznog. Elementi problema pretrage koje je potrebno definisati su sledeći: Skup mogućih stanja: U toku procesa pretrage agent koji sprovodi pretragu se moˇze naći u razliˇcitim stanjima. Poznavanje stanja pruˇza sve informacije potrebne za razumevanje procesa pretrage i agenta u datom trenutku. ¯ dva grada, skup stanja predstavlja skup Za agenta koji nalazi put izmedu gradova koji su dostupni iz polaznog grada. ¯ Polazno stanje: Na poˇcetku reˇsavanja problema agent se nalazi u odredenom stanju. Ovo stanje nazivamo polaznim stanjem. U primeru nalaˇzenja puta, to je grad iz koga se kreće. Skup mogućih akcija: U svakom koraku pretrage, agent moˇze preduzeti neku akciju. Niz akcija preduzetih u odgovarajućim trenucima treba da dovede do reˇsavanja problema. Skup akcija moˇze biti isti u svakom stanju ili moˇze da varira od stanja do stanja. To zavisi od problema koji se reˇsava. Skup akcija moˇze biti kretanje ka jednom od susednih gradova. Niz ovakvih izbora treba da dovede agenta do ciljnog grada. Skup akcija u ovom problemu oˇcito varira od stanja do stanja jer su za razliˇcite gradove razliˇciti i skupovi susednih gradova. Fukcija prelaska: Ova funkcija preslikava parove stanje-akcija u stanja koja slede poˇsto se u datom stanju preduzme data akcija. Ova funkcija omogućava izbor narednog stanja izborom neke akcije. Ukoliko ona nije poznata, agent ne moˇze biti siguran u koje c´ e stanje dospeti posle preduzimanja ¯ odredene akcije i sam proces odluˇcivanja postaje kompleksniji. U nekim problemima funkcija prelaska ne mora biti poznata. Na primer u sluˇcaju delovanja u nepoznatoj okolini. Jedan naˇcin reˇsavanja ovakvih problema je koriˇsc´ enjem informacija iz iskustva, odnosno aproksimacijom ove funkcije pomoću procesa koji se zasniva na analizi pokuˇsaja i gresaka. Jedan naˇcin kojim se reˇsavaju ovakvi problemi je primena algoritama uˇcenja uslovljavanjem (eng. reinforcement learning). Joˇs jedan primer u kome funkcija prelaska moˇze biti nedefinisana je delovanje u promenljivoj okolini. U tom sluˇcaju je potrebno koriˇsc´ enje prilagodljivih algoritama ¯ koriste informacije iz iskustva. Na primer, algoritama uˇcenja koji takode uslovljavanjem i genetskih algoritama. ¯ dva grada, funkcija prelaska je U sluˇcaju primera nalaˇzenja puta izmedu ¯ ¯ jednoznaˇcno odredena putnom kartom datog podruˇcja koja odreduje u ¯ kom gradu se agent moˇze naći poˇsto iz datog grada krene u odredenom pravcu. Test cilja: Ovim testom se ustanovljava da li se doˇslo do zavrˇsetka procesa pretrage. To moˇze biti test jednakosti sa zavrˇsnim gradom.

5.1 Kvalitet algoritama pretrage

105

Cena akcije: Ovo je funkcija koja preslikava par stanje-akcija u numeriˇcku vrednost — cenu preduzimanja date akcije u datom stanju. Primer cene ak¯ susednih cije je duˇzina puta ili cena goriva potrebnog za prevoz izmedu gradova. Kod nekih problema se ovi elementi lako i prirodno uoˇcavaju, kao na datom primeru, dok je kod drugih potrebno manje ili veće modeliranje ili preformulacija problema. U sluˇcaju primera upravljanja robotskom rukom bilo bi potrebno odrediti moguće ose rotacije za razliˇcite zglobove i diskretizovati in¯ bi bilo tervale u kojima se rotacija obavlja. Na primer po 10 stepeni. Takode potrebno odluˇciti da li se pokreti razliˇcitim zglobovima mogu preduzimati simultano ili ne. Posle toga bi se navedeni elementi mogli lako definisati. Reˇsenje problema predstavlja niz akcija koji vode od polaznog stanja do stanja u kome je ispunjen test cilja. Svakom reˇsenju se moˇze pridruˇziti njegova cena kao suma cena akcija koje se preduzimaju. Optimalno reˇsenje je reˇsenje sa najmanjom cenom. Ono ne mora biti jednoznaˇcno definisano. ¯ Primer 5.1 Slagalica se sastoji od 8 kvadrata rasporedenih na prostoru veliˇcine 3x3 polja. Kvadrati su numerisani brojevima od 1 do 8. Slagalicu je potrebno tako urediti da se u prvom redu nalazi prazno polje, a zatim kvadrati 1 i 2, u drugom kvadrati 3, 4 i 5, a u trećem kvadrati 6, 7 i 8 sˇto c´ emo kompaktno zapisivati kao [ 12345678]. Elementi ovog problema mogu biti definisani na sledeći naˇcin. 1. Skup stanja predstavlja skup svih kombinacija [s1 s2 . . . s9 ] za si ∈ { , 1, 2, 3, 4, 5, 6, 7, 8}. 2. Polazno stanje moˇze biti bilo koje stanje slagalice. Na primer [7638 1425]. 3. Skup akcija moˇze biti {levo, desno, gore, dole} gde se date akcije odnose na pomeranje praznog polja levo, desno, gore i dole. Iako je naizgled prirodnije za akcije uzeti pomeranje kvadrata susednih praznom polju na prazno polje, sˇto ¯ tako definse u stvarnosti i deˇsava, postoji jednoznaˇcna korespodencija izmedu isanih akcija i definicije koja je data, tako da se odluˇcujemo za formulaciju koja je jednostavnija. 4. Funkcija prelaska presliakva stanja i akcije u stanja koja nastaju pomeranjem praznog polja na neku od cˇ etiri moguće strane. 5. Test cilja je test jednakosti sa stanjem [ 12345678]. 6. Cena akcije je konstantna (npr. 1) poˇsto ne postoji razlog da se neka pomeranja smatraju skupljim od drugih. Cena reˇsenja je u tom sluˇcaju proporcionalna broju pomeranja potrebnih za slaganje slagalice. Neke od realnih primena algoritama pretrage su nalaˇzenje najkraćih puteva, igranje igara, navigacija robota, automatsko nalaˇzenje redosleda sklapanja u in¯ dustriji, dizajn proteina sa odredenim traˇzenim svojstvima, reˇsavanje logistiˇckih problema i sliˇcno.

5.1

Kvalitet algoritama pretrage

Kao i kod drugih vrsta algoritama i kod algoritama pretrage potrebno je poznavati njihova svojstva kako bi se lakˇse izvrˇsio izbor pogodnog algoritma za

106


dati problem. Osnovni aspekti koji se smatraju bitnim za algoritme pretrage su sledeći: Kompletnost je svojstvo koje garantuje da c´ e algoritam naći nekakvo reˇsenje problema ako ono postoji. Ovo svojstvo je oˇcito poˇzeljno, ali se u nekim sluˇcajevima izostavlja. Naime, u sluˇcaju vrlo teˇskih problema cˇ esto je moguće formulisati heuristike koje ne garantuju nalaˇzenje reˇsenja, ali u visokom procentu sluˇcajeva nalaze dobra reˇsenja mnogo brˇze nego egzaktni algoritmi. Optimalnost je svojstvo koje garantuje nalaˇzenje reˇsenja sa najmanjom cenom. Kao i u prethodnom sluˇcaju cˇ esto je moguće da se uz izostavljanje ovog ¯ reˇsenja bliska optimalnom u znaˇcajno kraćem vremenu. uslova nadu Vremenska sloˇzenost govori koliko c´ e vremena biti potrebno za izvrˇsavanje procesa pretrage i kao koncept je prisutna i u analizi drugih vrsta algoritama. Prostorna sloˇzenost govori koliko je memorije potrebno za izvrˇsavanje pre¯ se definiˇse i za druge vrste algoritama. trage. Takode,

5.2

Neinformisana i informisana pretraga

Prilikom reˇsavanja nekog problema, mogući su razliˇciti stepni poznavanja detalja samog problema. U primeru nalaˇzenja puta od grada do grada, moguće je na primer: ¯ gradova, 1. potpuno nepoznavanje rastojanja izmedu ¯ susednih gradova koja se na primer 2. poznvanje rastojanja samo izmedu mogu proˇcitati sa putokaza, 3. dodatno poznavanje vazduˇsnih rastojanja od svih gradova do ciljnog grada koje se moˇze izmeriti lenjirom na putnoj karti, ¯ svih, ne nuˇzno susednih gradova pri 4. taˇcno poznavanje rastojanja izmedu kretanju putevima koja se mogu izmeriti na karti koriˇsc´ enjem kurvimetra. Prema dostupnosti informacija koje mogu pomoći u nalaˇzenju ciljnog stanja u toku pretrage, problemi pretrage se dele na probleme informisane i neinformisane pretrage. U skladu sa time moguće je formulisati i algoritme koji mogu da iskoriste dostupne informacije, pa stoga i algoritme delimo na algoritme informisane i neinformisane pretrage. U sluˇcaju datog primera, prvi sluˇcaj oˇcigledno predstavlja problem neinformisane pretrage. U drugom sluˇcaju je prisutno viˇse informacija o problemu, ¯ medutim ta informacija nam ne omogućava lakˇse nalaˇzenje cilja, već samo nalaˇzenje najbliˇzeg susednog grada sˇ to ne mora ni sugerisati brˇze dolaˇzenje do cilja. Stoga i drugi sluˇcaj predstavlja problem neinformisane pretrage. Poz¯ gradova se moˇze iskoristiti za navodenje ¯ navanje vazduˇsnih rastojanja izmedu pretrage. Na primer, pri izboru sledećeg grada, moˇze se izabrati grad za koji ¯ njega i ciljnog je zbir direktnog puta do njega i vazduˇsnog rastojanja izmedu

5.2 Neinformisana i informisana pretraga

107

grada najmanji. Ovakva heuristika ne mora biti dobra. Na primer, na liniji ¯ izabranog grada i ciljnog grada se moˇze nalaziti dugaˇcak neprohoizmedu dan planinski venac tako da je informacija o vazduˇsnom rastojanju beskorisna. ¯ Medutim, cˇ esto se ovakvo parcijalno znanje moˇze upotrebiti za ubrzavanje pretrage. Stoga ovaj sluˇcaj spada u probleme informisane pretrage. U cˇ etvrtom sluˇcaju je moguće uvek napraviti optimalan izbor. Za sledeći grad treba izabrati onaj za koji je zbir direktnog rastojanja do njega i najkraćeg rastojanja od njega do ciljnog grada minimalan. Ovo je oˇcigledno problem informisane pretrage. U sluˇcaju neinformisane pretrage, moguće je koristiti standardne algoritme za pretragu u sˇ irinu ili u dubinu, dok se u sluˇcaju informisane pretrage mogu napraviti specijalizovani algoritmi u zavisnosti od vrste informacija koje su na raspolaganju. Za problem nalavˇzenja najkraćih puteva u grafu algoritam ¯ A* moˇze na primer da iskoristi informaciju o euklidskom rastojanju izmedu cˇ vorova u grafu. U sluˇcaju problema igranja sˇ aha, egzaktan algoritam pretrage MINIMAX se moˇze kombinovati sa heuristiˇckom procenom stanja. Na primer koriˇsc´ enjem informacije o figurama, mogućnosti mata u 3 poteza i sliˇcno.

108


Glava 6

Pohlepna pretraga Pohlepnim algoritmom se naziva svaki algoritam koji teˇzi neposrednom povećanju vrednosti neke ciljne funkcije, odnosno algoritam koji bira lokalno optimalne akcije. Lokalna optimalnost znaˇci da algoritam ne moˇze da proceni dugoroˇcni kvalitet izabranih akcija, odnosno koliko te akcije doprinose ostvarenju konaˇcnog cilja, već da bira akciju koja se na osnovu znanja dostupnog u trentuku izb¯ raspoloˇzivim akcijama. Ovakvi algoritmi su ora procenjuje kao najbolja medu cˇ esto znaˇcajno jednostavniji za formulaciju od algoritama koji garantuju opti¯ cˇ esto daju praktiˇcno prihvatjiva reˇsenja, malnost procesa reˇsavanja. Takode, iako cˇ esto ne optimalna. Pohlepni algoritmi se mogu koristiti i za reˇsavanje opˇstijih problema od pretrage — problema matematiˇcke optimizacije. Ovi problemi pretpostavljaju postojanje funkcije cilja i skupa dopustivih reˇsenja. U zavisnosti od formulacije problema, potrebno je naći dopustivo reˇsenje sa minimalnom ili maksimalnom vrednoˇsc´ u funkcije cilja. Takvo reˇsenje se naziva optimalnim reˇsenjem problema optimizacije. Ovakvi problemi ne moraju pretpostavljati postojanje stanja, akcija i drugih elemenata problema pretrage. U kontekstu matematiˇcke optimizacije, pohlepni algoritmi se obiˇcno nazivaju algoritmima penjanja uzbrdo poˇsto biraju susedna dopustiva reˇsenja koja imaju najviˇse vrednosti funkcije cilja. ¯ gradova, pohlepni informisani Primer 6.1 U primeru nalaˇzenja najkraćih puteva izmedu algoritam bi mogao za suseda da bira grad za koji je zbir direktnog rastojanja do grada i vazduˇsnog rastojanja do cilja minimalan. Ovakav algoritam u svakom koraku bira optimalnu akciju s obzirom na raspoloˇzivo znanje u vreme izbora akcije, pa je stoga pohlepan. U sluˇcaju da vazduˇsna rastojanja nisu poznata, već samo rastojanja do susednih gradova, pohlepni algoritam bi uvek birao najbliˇzi susedni grad u nadi da c´ e se na taj naˇcin naći najkraća putanja do cilja. Primer 6.2 Problem trgovaˇckog putnika podrazumeva da je dat graf u kome su ivicama grafa pridruˇzene njihove duˇzine. Cilj je nalaći najkraću putanju koja kroz sve cˇ vorove grafa prolazi taˇcno jednom. Pohlepni algoritam bi mogao biti formulisan tako da u svakom koraku bira ivicu najkraće duˇzine. Iako je ovo popularan pristup konstruisanju putanja i dobro se ponaˇsa za neke specifiˇcne probleme, u opˇstem sluˇcaju ˇ je dokazano da za svaki broj cˇ vorova n, postoji instanca predstavlja loˇs pristup. Cak problema trgovaˇckog putnika sa n cˇ vorova za koju ovako formulisan pohlepni algoritam bira jedinstvenu najgoru putanju.

110

6 Pohlepna pretraga

Pohlepna pretraga se obiˇcno ponaˇsa dobro u sluˇcaju problema kod kojih kvalitet odluke u nekom stanju pretrage ne zavisi od budućih odluka ili ako se dati problem moˇze aproksimirati problemom za koji ovo vaˇzi. Ako navedeno svojstvo vaˇzi, lokalno optimalna odluka je stvarno optimalna. Navedeno svojstvo se moˇze i drugaˇcije formulisati — pohlepna pretraga c´ e se ponaˇsati dobro ukoliko se optimalno reˇsenje problema gradi neposredno od optimalnih reˇsenja podproblema. Osnovni kvaliteti pohlepne pretrage su jednostavnost formulisanja i sˇ to cˇ esto moˇze dati praktiˇcno prihvatljiva reˇsenja. S druge strane, mane ovakvog pristupa su sledeće: Opasnost od lokalnih maksimuma: Lokalni mksimumi su taˇcke u prostoru pretrage cˇ iji susedi imaju manju vrednost funkcije cilja od nje, ali je njena vrednost manja od vrednosti globalnog maksimuma. Algoritmim penjanja uzbrdo nemaju naˇcina da primete da se nalaze u lokalnom maksimumu. Grebeni: Grebeni predstavljaju nizove nadovezanih lokalnih maksimuma kod kojih najstrmije penjanje uzbrdo vodi ka jednom lokalnom maksimumu umesto u pravcu rasta niza lokalnih maksimuma. Ovakva situacija se ¯ moˇze razreˇsiti kretanjem u stranu umesto najstrmije uzbrdo, medutim, trenutak u kome je takvo kretanje potrebno primeniti se ne moˇze lako prepoznati. Platoi: Platoi predstavljaju oblasti prostora pretrage u kome funkcija cilja ima konstantnu vrednost. Zbog toga je nemoguće odrediti koji potez je na¯ izlaz sa jbolji, a samim tim se moˇze desiti da pohlepna pretraga ne nade platoa. Postoje razne varijacije osnovnog penjanja uzbrdo koje pokuˇsavaju da se izbore sa navedenim problemima. Takvo je na primer stohastiˇcko penjanje uzbrdo koje ne bira uvek susedno stanje sa najvećom vrednoˇsc´ u, ali verovatnoća da ¯ odredeno stanje bude izabrano je utoliko veća sˇ to je veća njegova vrednost. Druga varijacija je penjanje uzbrdo sa sluˇcajnim restartovanjem kod koga se posle nalaˇzenja lokalnog maksimuma proces pretrage ponovo pokreće iz sluˇcajno generisanog polaznog stanja. Ovaj metod omogućava nalaˇzenje globalnog maksimuma sa verovatnoćom koja se pribliˇzava 1 sa povećanjem broja pokuˇsaja.

6.1

Penjanje uzbrdo u sluˇcaju diferencijabilne funkcije cilja

Metode pretrage i matematiˇcke optimizacije cˇ esto pokuˇsavaju da iskoriste neku zakonitost u strukturi prostora pretrage, odnosno prostora dupustivih reˇsenja. Tako, penjanje uzbrdo u sluˇcaju diferencijabilne funkcije cilja poˇciva na koriˇsc´ enju koncepta gradijenta. Ukoliko je data diferencijabilna funkcija cilja f : Rn → R gradijent se definiˇse kao vektor parcijalnih izvoda te funkcije: ∇f =

∂f ∂f ∂f , ,..., ∂x1 ∂x2 ∂xn

6.1 Penjanje uzbrdo u sluˇcaju diferencijabilne funkcije cilja

111

¯ Gradijent izraˇcunat u odredenoj taˇcki A ∈ Rn predstavlja vektor u prosn toru R u cˇ ijem pravcu funkcija f najstrmije raste u okolini taˇcke A. Stoga se kretanjem u ovom pravcu moˇze doći do lokalnog maksimuma. Ovaj princip je osnova algoritma najstrmijeg uspona. Analogno, kretanjem u suprotnom pravcu se dolazi do lokalnog minimuma. Prethodne konstatacije omogućavaju skiciranje algoritma najstrmijeg uspona: 1. n ← 0. 2. Izabrati polaznu taˇcku x0 . 3. Izraˇcunati gradijent funkcije ∇f (xn ) u trenutnoj taˇcki. 4. Izvrˇsiti kretanje u pravcu gradijenta do sledeće taˇcke xn+1 . 5. n ← n + 1. 6. Ukoliko xn nije maksimum, nastaviti od koraka 3. 7. Vratiti xn kao reˇsenje. Da bi se dati algoritam u potpunosti definisao potrebno je precizirati neke njegove korake. U koraku 2, polazna taˇcka se cˇ esto bira sluˇcajnim izborom. Poznavanje gradijenta i kretanje u njegovom pravcu u prkasi ipak ne garantuje nalaˇzenje maksimuma, tako da je u koraku 4 u zavisnosti od duˇzine koraka moguće preći preko maksimuma, nastaviti dalje i time ga promaˇsiti. Stoga je u svakom koraku potrebno odrediti konstantu λn takvu da se umesto samog gradijenta koristi vektor λn ∇f (xn ). Dobra aproksimacija ove konstante je: λn = −

∇f (xn )∇f (xn )> ∇f (xn )H(xn )∇f (xn )>

pri cˇ emu je H matrica parcijalnih izvoda drugog reda funkcije f : 2 ∂ f (xn ) H(xn ) = ∂xi ∂xj Oˇcito, ova aproksimacija za λn se moˇze koristiti samo kada su parcijalni izvodi drugog reda funkcije definisani. U koraku 6 se u praksi ne moˇze oˇcekivati nalaˇzenje same taˇcke lokalnog maksimuma s obzirom da se ne radi o diskretnom prostoru. Zbog toga se pos¯ vrednosti dva uzastopna tupak cˇ esto prekida u trenutku kada razlika izmedu reˇsenja ne prelazi neku unapred zadatu vrednost . Sada se algoritam najstrmijeg uspona moˇze formulisati na sledeći naˇcin: 1. n ← 0. 2. Izabrati polaznu taˇcku x0 . 3. Izraˇcunati gradijent funkcije ∇f (xn ) u trenutnoj taˇcki. 4. izraˇcunati vrednost λn . 5. xn+1 = xn + λn ∇f (xn ). 6. n ← n + 1.

112

6 Pohlepna pretraga

7. Ukoliko vaˇzi |f (xn+1 ) − f (xn )| ≥ , nastaviti od koraka 3. 8. Vratiti xn kao reˇsenje. Primer 6.3 Pretpostavimo da je potrebno da se data hemijska reakcija izvrˇsi u sto kraćem vremenskom roku. Na brzinu hemijske reakcije utiˇcu koliˇcine dva katalizatora oznaˇcene sa k1 i k2 . Poznato je da je brzina date reakcije obrnuto proporcionalna veliˇcini (k1 − 1)2 + k24 . Stoga je potrebno naći maksimum funkcije f (k1 , k2 ) = −(k1 − 1)2 − k24 Odoka se vidi da se taj maksimum postiˇze u taˇcki (1, 0), ali je primer dobar za ilustraciju metode najstrmijeg uspona. Za vrednost moˇze se uzeti na primer broj 0.01. Gradijent ∇f se lako moˇze izraˇcunati: ∇f (k1 , k2 ) = (−2k1 + 2, −4k23 ) Matrica H parcijalnih izvoda drugog reda je −2 0 H(k1 , k2 ) = 0 −12k22 Za polaznu taˇcku se moˇze uzeti na primer taˇcka x0 = (0.5, 0.5). Vrednost gradijenta u toj taˇcki je ∇f (x0 ) = (1, −0.5). Zato je 1 ∇f (x0 ) · ∇f (x0 ) = 1 −0.5 = 1.25 −0.5 >

∇f (x0 )H(x0 )∇f (x0 ) =

1

−0.5

−2 0

0 −3

1 −0.5

= −2.75

5 ≈ 0.45. Stoga, sledeća taˇcka u preOtuda je vrednost koeficijenta λ0 jednaka 11 trazi je x1 = (0.5, 0.5) + 0.45 · (1, −0.5) = (0.95, 0.275)

Moˇze se primetiti da su se vrednosti k1 i k2 pribliˇzile odgovarajućim vrednostima u reˇsenju. Razlika vrednosti novog i starog reˇsenja je 0.0025 |f (x1 ) − f (x0 )| ≈ | − 0.3125 − (−0.0082)| ≈ 0.3 sˇto je veće od zadatog broja , pa se nastavlja sa sledećom iteracijom. Dalje iteracije se izvode po istom principu. Kako data funkcija ima samo jedan maksimum, optimalna vrednost dobijena lokalnom otimizacijom je i globalni maksimum, pa je u ovom primeru metoda najstrmijeg uspona adekvatna. Kao sˇ to je reˇceno, problem nalaˇzenja maksimuma u prethodnom primeru ¯ je lak. Reˇsenje je oˇcigledno i problem se lako reˇsava i analitiˇcki. Medutim, ovo nije uvek sluˇcaj. Funkcije cˇ iji je maksimum, odnosno minimum potrebno naći mogu biti previˇse komplikovane da bi se reˇsenje traˇzilo analitiˇcki i u takvim sluˇcajevima je koriˇsc´ enje algoritma najstrmijeg uspona vrlo korisno. Treba imati u vidu da algoritam ne garantuje nalaˇzenje globalnog maksimuma. U sluˇcaju da funkcija ima veći broj maksimuma, u zavisnosti od izabrane polazne ¯ taˇcke reˇsenja koja algoritam daje mogu biti razliˇcita i pronadeni maksimum moˇze biti samo lokalni.

Glava 7

Odredivanje puteva u grafu ¯ U mnogi problemima veˇstaˇcke inteligencije potrebno je obići neki graf ili odred¯ dva cˇ vora grafa. iti najkraći put izmedu Opˇsti problem nalaˇzenja puta (eng. path finding) moˇze se opisati na sledeći ¯ nekih od njih; ovim naˇcin: dat je graf svojim cˇ vorovima i granama izmedu ¯ dva data granama pridruˇzene su nenegativne cene; zadatak je naći put izmedu cˇ vora (polazni cˇ vor i ciljni cˇ vor) takvu da je zbir svih cena svih grana na stazi minimalan. Postoji nekoliko algoritama za reˇsavanje ovog problema [?, ?]. Oni imaju mnoge primene, ukljuˇcujući primene u planiranju obilazaka i putovanja, dizajniranju cˇ ipova, rutiranju u raˇcunarskim mreˇzama, navigaciji robota, inudstriji igara, itd. Algoritam A* pretraga ili kraće samo algoritam A* je jedan, verovatno najpopularniji, od algoritama iz te familije. On je uopˇstenje Dejkˇ strinog algoritma iste namene. Cesto se koriste i algoritam Belmana i Forda, kao i algoritam Flojda i Varˇsala.

7.1

Obilazak grafa u dubinu i sˇ irinu

Oblizak grafa u dubinu (eng. depth-first search — DFS) i u sˇ irinu (eng. breadthfirst search — BFS) su ,,neinformisane“ (eng. uninformed) metode pretrage koje ispituju sve cˇ vorove u grafu traˇzeći reˇsenje (na primer, neki specifiˇcan cˇ vor). Oni sistematski pretraˇzuju ceo graf, bez ikakve heuristike, tj. bez ikakvog ¯ specifiˇcnog navodenja ¯ ci najpre polazni cˇ vor i zatim njeDFS je pretraga koja napreduje obraduju´ ¯ na traˇzeni cˇ vor i sve dok je ti potomci gove potomke i sve dok se ne naide postoje. Ukoliko viˇse nema potomaka koje treba ispitati, pretraga se vraća unazad do cˇ vora cˇ iji svi potomci nisu ispitani i nastavlja dalje. U nerekurzivnoj verziji, cˇ vorovi se obiˇcno cˇ uvaju u LIFO listi. Da ne bi doˇslo do beskonaˇcne petlje, potrebno je cˇ uvati informaciju o cˇ vorovima koji su već posećeni. Slika 7.1 ilustruje obilazak grafa primenom algoritma DFS. BFS ,,otvara“ sve cˇ vorove koji su susedni tekućem cˇ voru i kasnije, otvara, redom, sve njihove potomke. U traganju za cˇ vorom koji zadovoljava neki ˇ ¯ onaj na najmanjem rastojanju od polaznog cˇ vora. Cvorovi uslov, biće pronaden koji se razmatraju obiˇcno se cˇ uvaju u redu, tj. u FIFO listi. I u ovom pristupu, da ne bi doˇslo do beskonaˇcne petlje, potrebno je cˇ uvati informaciju o cˇ vorovima koji su već posećeni. Slika 7.2 ilustruje obilazak grafa primenom algoritma BFS.

114

7 Odredivanje puteva u grafu ¯

1

2

5

6

3

4

Figure 7.1: Primer obilaska grafa primenom algoritma DFS (oznake cˇ vorova ukazuju na poredak obilaska cˇ vova) 1

2

5

4

3

6

Figure 7.2: Primer obilaska grafa primenom algoritma BFS (oznake cˇ vorova ukazuju na poredak obilaska cˇ vova) Prostorna sloˇzenost pretrage DFS je manja nego pretrage BFS. Dodatno, ona je pogodnija za usmeravanje nekom heuristikom koja bira cˇ vorove koji viˇse obećavaju. Vremenska sloˇzenost oba algoritma je propocinalna zbiru cˇ vorova i grana grafa koji se pretraˇzuje: (O(|V | + |E|)).

7.2

Dejkstrin algoritam

Dejksrin algoritam, koji je razvio holandski informatiˇcar Edzger Dejkstra 1959. godine je algoritam za pretragu grafa koji nalazi najkraće puteve u grafu za nenegativnim cenama koje su pridruˇzene granama. Algoritam se moˇze koristiti za ¯ odredivanje najkraćeg puta od datog polaznog cˇ vora do datog ciljnog cˇ vora, ¯ ali i za odredivanje najkraćih puteva od svih cˇ vorova grafa do datog ciljnog cˇ vora. Ideja Dejkstrinog algoritma moˇze se ilustrovati na sledeći naˇcin. Pretpostavimo da je niz cˇ vorova vezan nitima (i da cenom puta od jednog do drugog cˇ vora smatramo duˇzinu niti koja ih vezuje). Uzmimo cˇ vor koji je izabran za polazni i poˇcnimo da podiˇzemo celu konfiguraciju (tako da nikoje dve niti nisu upletene). Postepeno se cˇ vorovi, jedan po jedan, odvajaju od tla. Najmanje rasto¯ nekog od tih cˇ vorova i polaznog cˇ vora je upravo direktno rastojanje izmedu

7.3 A*

115

¯ njih. Opˇsta ideja algoritma je sliˇcna: postoje cˇ vorovi koji su već janje izmedu podignuti sa tla i oni koji su joˇs uvek na tlu. Za one koji su podignuti sa tla već znamo najkraće puteve od polaznog cˇ vora. U svakom koraku moˇzemo joˇs jedan cˇ vor ,,podići sa tla“ i izraˇcunati njegovo najmanje rastojanje od polaznog cˇ vora (ramatrajući samo one cˇ vorove koji su mu susedni i koji su već iznad tla). Ukoliko na kraju ovog postupa na tlu ostanu joˇs neki cˇ vorovi, to znaˇci da do njih ne postoji put od polaznog cˇ vora. Dejkstrin algoritam je dat na slici 7.3. U algoritmu, komanda u := izaberi\_najblizi\_cvor\_cvoru\_source($Q$) traga za cˇ vorom u u skupu cˇ vorova Q (to su cˇ vorovi koji su ,,na tlu“) takvim da je vrednost dist[u] (tekuće najmanje rastojanje od polaznog cˇ vora) najmanja. Taj cˇ vor se tada briˇse iz skupa Q. Ukoliko je to ciljni cˇ vor, onda se konstruiˇse traˇzeni put od polaznog cˇ vora (koristeći informaciju o roditeljskim cˇ vorovima). Inaˇce, za svaki cˇ vor v iz Q koji je susedan cˇ voru u proverava se da li se (preko u) moˇze popraviti tekuće najmanje rastojanje od polaznog cˇ vora i, ako moˇze, cˇ vor u se postavlja za roditelja cˇ vora v. Primer 7.1 Sledeća tabela prikazuje efekat primene Dejkstrinog algoritma na graf ilustrovan na slici 7.4: cˇ vor A je polazni, a cˇ vor F ciljni cˇ vor. korak 1 2 3 4 5 6

B ∞ 3 3 3 3 3

C ∞ 2 2 2 2 2

D ∞ 6 6 6 5 5

E ∞ 4 3 3 3 3

F ∞ ∞ ∞ 8 7 6

cˇ vor u A C B E D F

U najjednostavnijoj implementaciji Dejkstrinog algoritma, skup Q se implementira kao obiˇcna povezana lista ili niz. Sloˇzenost takve implementacije je O(|V |2 +|E|) = O(|V |2 ), gde je |E| broj grana, a |V | broj cˇ vorova grafa. Za retke grafove (koji imaju mnogo manje grana od |V |2 ), Dejkstrin algoritam se moˇze implementirati efikasnije. Na primer, varijanta koja koristi binarni min-hip1 za ¯ odredivanje tekućeg najbliˇzeg cˇ vora ima sloˇzenost O((|E| + |V |) log |V |).

7.3

A*

¯ ¯ dva cˇ vora grafa je jedan Algoritam A* za odredivanje najkraćeg puta izmedu od fundamentalnih i najpopularnijih algoritama veˇstaˇcke inteligencije. Zasnovan je na koriˇsc´ enju heuristika, ali ipak ima dobra svojstva kao sˇ to su potpunost i optimalnost. Prvu verziju algoritma A* su razvili Har, Nilsson i Raphael 1968. godine [?], ¯ a u narednim godinama uvedeno je nekoliko unapredenja [?, ?]. ˇ Koriˇsc´ enje algoritma A* nije uvek jednostavno. Cesto je algoritam potrebno prilagoditi specifiˇcnom problemu a uvek je, u kontekstu aplikacija koje rade u realnom vremenu, vaˇzno imati u vidu vremensku sloˇzenost, prostornu sloˇzenost, 1 Min-hip je specifiˇ cna stablolika struktura koja zadovoljava hip-svojstvo: ako je B potomak cˇ vora A, onda je vrednost pridruˇzena cˇ voru A manja od vrednosti pridruˇzene cˇ voru B. U skladu sa tim, najmanji element je uvek koren stabla. Max-hip se definiˇse analogno.

116


Algoritam: Dejkstrin algoritam Ulaz: Graf G, polazni ˇcvor source i ciljni ˇcvor target Izlaz: najkraći put od ˇcvora source do ˇcvora target u grafu G (ako postoji put izmeu ova dva ˇcvora 1. Za svaki ˇcvor v grafa G: • rastojanje[v] := ∞ • prethodni[v] := nedefinisano 2. rastojanje[source] := 0 3. Q := G 4. Dok skup Q nije prazan: • u := izaberi najblizi cvor cvoru source(Q) • Obriˇsi u iz Q • Ako je (u = target) – konstruiˇsi put S na sledeći naˇcin i prijavi uspeh ∗ S := prazan niz ∗ u := target ∗ Dok god je definisano prethodni[u] · dodaj u na poˇcetak S · u := prethodni[u] • Za svaki sused v ˇcvora u takav da v koji pripada Q: – alt := rastojanje[u] + cena(u, v) – Ako je alt < dist[v] ∗ rastojanje[v] := alt ∗ prethodni[v] := u 5. prijavi neuspeh Figure 7.3: Dejkstrin algoritam upravljanje memorijom i razliˇcite dodatne faktore. Neka od dodatnih svojstava algoritma zahtevaju dodatno matematiˇcko znanje i izraˇcunavanja, specifiˇcne implementacione tehnike i strukture. Svi ti moduli treba da budu uklopljeni u kompaktan i efikasan sistem za nalaˇzenje puta. Postoji mnogo varijanti algo¯ ritma A* prilagodenih specifiˇcnim problemima [?]. Algoritam A* je uopˇstenje Dejkstrinog algoritma i obiˇcno smanjuje broj cˇ vorova grafa koje treba ispitati. To smanjivanje je zasnovano na koriˇsc´ enju heuristike koja procenjuje donju granicu daljine do ciljnog cˇ vora. Kao i u Dejkstrinom algoritmu, cˇ vorove koji tek treba obraditi cˇ uvaju se u redu, sortiranom prema nekom kriterijumu. Sve vreme se odrˇzavaju lista otvorenih cˇ vorova — ¯ cˇ vorova koji su već posećeni ali nisu obradeni svi njihovi susedi i zatvorenih ¯ cˇ vorova — cˇ vorova koji su posećeni i kojima su obradeni svi njihovi susedi.

7.3 A*

117 3

A 2

B 5

6 4

C

5

D 2

1

1 E

4

F

Figure 7.4: Primer primene Dejkstrinog algoritma

Kljuˇcna razlika je u tome sˇ to Dejkstrin algoritam (kao ,,neinformisani algoritam“) uzima u obzir samo cenu od polaznog do tekućeg cˇ vora, dok A* (kao ,,informisani algoritam“) koristi funkciju evaluacije f nad cˇ vorovima grafa, definisanu na sledeći naˇcin: f (n) = g(n) + h(n), gde je g(n) cena puta od polaznog cˇ vora do cˇ vora n, a h(n) je procenjena (heuristiˇcka) cena najjeftinijeg puta od cˇ vora n do ciljnog cˇ vora. Dok tragamo za najkraćim putem, uvek znamo tekuću minimalnu cenu od polaznog cˇ vora do cˇ vora n (tj. tekuću vrednost za g(n)), ali se vrednost h(n) moˇze samo procenjivati. Da bi se obezbedila optimalnost A* pretrage, funkcija h mora da bude konzistentna (eng. consistent), tj. da za bilo koja dva susedna cˇ vora u i v vaˇzi: h(u) ≤ c(u, v) + h(v) gde je c(u, v) cena pridruˇzena grani (u, v). U nekim specijalnim sluˇcajevima dovoljno je da funkcija h bude dopustiva (eng. admissible), tj. da nikada ne precenjuje cenu stizanja do cilja. Svojstvo konzistentnosti ima za posledicu svojstvo dopustivosti. Dodatno, dopustive funkcije su cˇ esto i konzistentne. Opis algoritma A* dat je na slici 7.5. Sa ravnomernom pretragom (sa funkcijom h = 0), skup otvorenih cˇ vorova c´ e se sˇ iriti ravnomerno, u ,,koncentriˇcnim krugovima“ oko polaznog cˇ vora. S druge strane, sa preciznijom heuristikom, skup otvorenih cˇ vorova c´ e se sˇ iriti ka ciljnom cˇ voru i biće bolje usmerena kao optimalnom putu.

7.3.1

Primer upotrebe algoritma A*

U sledećem grafu zadatak je naći najkraći put od A do E. Pored cˇ vorova grafa zapisane su procenjene duˇzine puta do cˇ vora E, tj. vrednosti funkcije h.

118


Algoritam: Algoritam A* Ulaz: Graf G, polazni ˇcvor source i ciljni ˇcvor target Izlaz: najkraći put od ˇcvora source do ˇcvora target u grafu G (ako postoji put izmeu ova dva ˇcvora 1. Inicijalno je zatvorena lista prazna. 2. Dodaj polazni ˇcvor (zajedno sa procenjenom cenom do ciljnog ˇcvora, koja je odreena funkcijom h) u otvorenu listu ˇcvorova koje je potrebno razmotriti. 3. Izvrˇsavaj sledeću petlju dok god ima elemenata u otvorenoj listi: • Izaberi ˇcvor n (zvaćemo ga tekući ˇcvor) iz otvorene liste koji ima najmanju vrednost f (n). • Ako je tekući ˇcvor ciljni ˇcvor, izvesti o uspehu, konstruiˇsi put od polaznog do ciljnog ˇcvora (idući unazad — od ciljnog ˇcvora) i zaustavi izvrˇsavanje petlje. • Ispitaj sve ˇcvorove koji su direktno dostupni iz tekućeg ˇcvora i pri tome ne pripadaju zatvorenoj listi. Za svaki takav ˇcvor m uradi sledeće: – Ako on nije u otvorenoj listi, dodaj ga u otvorenu listu. Oznaˇci tekući ˇcvor kao roditelja ovog ˇcvora (ˇsto je vaˇzno za konstruisanje staze na kraju). Izraˇcunaj i zapamti vrednosti f (m), g(m) i h(m) za ˇcvor. (Primetimo da se vrednosti g(m) mogu izraˇcunati na inkrementalan i efikasan naˇcin: vrednost g(m) jednaka je zbiru vrednosti funkcije g za roditelj ˇcvora m i ceni puta od roditelja do m.) – Ako je on već u otvorenoj listi, proveri da li je odgovarajući put od polaznog ˇcvora do m bolji od tekućeg puta (preko ˇcvora n). Za tu proveru koristi se vrednost g(m). Manja vrednost g znaˇci da je taj put bolji. Ako je tekući put bolji, promeni informaciju o roditelju ˇcvora m na ˇcvor n i aˇzuriraj vrednosti g(m) i f (m). • Izbriˇsi tekući ˇcvor iz otvorene liste i dodaj ga u zatvorenu listu ˇcvorova (on ne treba da ponovo bude ispitivan). 4. Na kraju, ako je petlja zavrˇsena a da nije prijavljen uspeh (tada je otvorena lista prazna), onda ne postoji traˇzeni put. Inaˇce, put je pronaen i on se konstruiˇse od dete-roditelj veza (idući unazad od ciljnog ˇcvora). Figure 7.5: Algoritam A* 5

A

G

6

6

6

4 3

D

5 4

5

1 3

F

6

B

4 3

C

2

H

2

E

3

0

7.3 A*

119

Sledeća tabela ilustruje primenu algoritma A*. tekući cˇ vor A D G F B H E

stanje otvorene lista [ˇcvor(roditelj,g+h)] A(null 0+6) D(A,6+5), G(A,5+6) G(A,5+6), F(D,9+3), H(D,9+4), C(D,10+6) F(D,9+3), H(D,9+4), C(D,10+6) B(F,12+1), H(D,9+4), C(D,10+6) H(D,9+4), E(B,14+0), C(D,10+6) E(B,14+0), C(D,10+6) C(D,10+6)

cˇ vor(roditelj) dodaje se u zatvorenu listu A(-) D(A) G(A) F(D) B(F) H(D) E(B)

Na kraju primene algoritma, kada je cˇ vor E postao tekući cˇ vor, konstruiˇse se traˇzeni put (koristeći informacije o roditeljma za cˇ vorove iz zatvorene liste: A − D − F − B − E. Ovo jeste put od cˇ vora A do cˇ vora E, ali nije najkraći mogući: naime, kraći je sledeći put: A − D − H − B − E. Ovaj problem je nastao zbog toga sˇ to koriˇse´ na funkcija h nije konzistentna (iako jeste dopustiva): vaˇzi h(H) > 2 + h(B). Ukoliko se za isti zadatak koristi konzistenta funkcija, rezultat c´ e biti optimalan, najkraći mogući put od A do E. U narednom primeru se koristi funkcija h cˇ ija se vrednost razlikuje u odnosu na prethodnu samo za cˇ vor H. 5

A

G

6

6

6

4 3

D

5 4

3

7.3.2

5

1 3

F

6

A D G H B F E

B

3

C

tekući cˇ vor

2

H

2

E

3

0

stanje otvorene lista [ˇcvor(roditelj,g+h)] A(null 0+6) D(A,6+5), G(A,5+6) G(A,5+6), H(D,9+3), F(D,9+3), C(D,10+6) H(D,9+3), F(D,9+3), C(D,10+6) B(H,11+1), F(D,9+3), C(D,10+6) F(D,9+3), E(B,13+0), C(D,10+6) E(B,13+0), C(D,10+6) C(D,10+6)

cˇ vor(roditelj) dodaje se u zatvorenu listu A(-) D(A) G(A) H(D) B(H) F(D) E(B)

Specijalni sluˇcajevi

Obilasci grafa u dubinu i sˇ irinu mogu se smatrati specijalnim sluˇcajevima algoritma A*.

120


Za obilazak grafa u dubinu, moˇze se koristiti algoritam A* sa g = 0 i pogodno odabranom funkcijom h. Na primer, neka je brojaˇc C inicijalizovan na ¯ neku veoma veliku vrednost. Kad god obradujemo neki cˇ vor dodajemo vrednost C svim njegovim susedima. Nakon svake dodele smanjujemo vrednost C za jedan. Time c´ e vrednost h(x) da bude veća za cˇ vorove na koje se ranije naiˇslo. Primetimo da ovako definisana funkcija h nije nuˇzno dopustiva. ¯ je Dejkstrin algoritam, kao specijalni sluˇcaj obilaska grafa u sˇ irinu takode specijalni sluˇcaj algoritma A* gde je h(x) = 0 za svaki cˇ vor x. Ovakva funkcija h je dopustiva i konzistentna i garantuje nalaˇzenje optimalnog puta. Za g = 0, algoritam A* ponaˇsa se u skladu sa najpre-najboljim, pohlep¯ nim pristupom koji najpre obraduje cˇ vorove sa najpovoljnijom heursitiˇckom vrednoˇsc´ u. Ova varijanta algoritma nije nuˇzno optimalna. Opˇsti algoritam A* cˇ esto se primenjuje za nalaˇzenje puta na uniformnoj mreˇzi cˇ vorova (koja odgovara, na primer, diskretizovanoj mapi). Tada on dobija specifiˇcnu formu. Pretpostavimo da je mreˇza pravilna (saˇcinjena od kvadrata) i da ima pravougaonu formu. Dodatno, pretpostavljamo da neki cˇ vorovi (tj. neki kvadrati, neka polja mreˇze) nisu dostupni i da oni predstavljaju prepreke. Svako polje je povezano sa svakim susednim poljem (osim sa preprekama), te ima (izuzev polja na rubu) osam susednih polja (ali neka od njih mogu biti prepreke i kao takve nedostupne). U ovoj varijanti problema, cene su pridruˇzene cˇ vorovima ¯ susednih cˇ vorova). U ovom (poljima), a ne granama grafa (vezama izmedu kontekstu, funkcija g(n) je zbir svih cena polja duˇz puta od polaznog do polja n. Na primer, svakom ,,horizontalnom“ ili ,,vertikalnom“ pokretu moˇze se √ pridruˇziti cena 1 a svakom dijagonalnom cena 1.414 ≈ 2 (ovakva cena odgo¯ srediˇsta polja). Funkcija h moˇze se opisati vara euklidskom rastojanju izmedu ¯ dva cˇ vora, a na razliˇcite naˇcine. Jedan od njih je euklidsko rastojanje izmedu ¯ jedan metod Menhetn u kojem se broji ukupan broj polja predenih horizontalno ili vertikalno da bi se doˇslo od polaznog polja do tekućeg polja2 . Primetimo da ukoliko su dozvoljeni dijagonalni potezi, onda Menhetn metod potencijalno precenjuje rastojanje do ciljnog cˇ vora i zbog toga ne garantuje nalaˇzenje na¯ jkraćeg puta. No, ovaj metod u praksi obiˇcno daje dobre rezultate i nadeni ¯ putevi su obiˇcno dovoljno dobri, cˇ ak i ako nisu najkraći. Kada se odreduje vrednost h, mogu da se ignoriˇsu sve prepreke jer vrednost h(n) je procenjeno a ne stvarno rastojanje. Kada se algoritam A* primenjuje za nalaˇzenje puta na uniformnoj mreˇzi, on daje korake u osam mogućih smerova sˇ to kasnije cˇ esto dovodi do neprirodnih puteva saˇcinjenih od segmenata sa jednim od osam nagiba. Omekˇsavanje ¯ (eng. smoothing) je tehnika za unapredivanje takvih puteva tako da oni izgledaju prirodnije.

7.3.3

Primer upotrebe algoritma A* na uniformnoj mreˇzi

Naredni primer3 ilustruje primer upotrebe algoritma A* na uniformnoj mreˇzi. Vrednosti funkcija f , g i h su napisane u svakom polju koje se ispituje: vrednost funkcije f je zapisana gore-levo, vrednost funkcije g dole-levo, a vrednost funkcije h dole-desno. Vrednost funkcije f za svako polje je, kao i obiˇcno, zbir 2 Metod se zove Menhetn, jer podse´ ca na brojanje gradskih blokova od jednog mesta do drugog, pri cˇ emo nije moguće prolaziti blokove dijagonalno. 3 Ovaj primer preuzet je iz teksta Patrick Lester: A* Pathfinding for Beginners, 2005, http://www. policyalmanac.org/games/aStarTutorial.htm.

7.3 A*

121

vrednosti funkcija g i h. Polazni cˇ vor oznaˇcen je zelenom, a ciljni crvenom bojom. Otvorena polja su oznaˇcena tankim zelenim kvadratima, a zatvorena debljim crvenim kvadratima u okviru polja. Strelice ukazuju na tekućeg roditelja polja. Postupak je isti kao kod opˇsteg algoritma: u svakoj iteraciji bira se polje iz otvorene liste sa najmanjom vrednoˇsc´ u funkcije f . To, tekuće polje izbacujemo iz otvorene liste i dodajemo u zatvorenu listu. Proveravamo sve susedna polja, ne razmatrajući polja koja su u zatvorenoj listi ili nisu dostupna. Ako susedno polje nije već u otvorenoj listi, izraˇcunavamo vrednosti funkcija g, h i f za njega i oznaˇcavamo da je tekuće polje njegov roditelj. Ako je susedno polje već u otvorenoj listi, proveravamo da li je put preko tekućeg polja bolji, tj. proveravamo da li je vrednost funkcije g za to susedno polje manja ako se do njega dolazi preko tekućeg polja. Ukoliko to nije taˇcno, ne preduzima se niˇsta, a ako jeste tekuće polje postaje novi roditelj tog susegnog polja i njemu se pridruˇzuju nove vrednosti g i f . Pretraga kreće od polaznog polja jer je na poˇcetku samo ono u otvorenoj listi. U poljima levo, desno, gore i dole od polaznog polja, vrednost funkcije g je 10. U dijagonalnim poljima vrednost funkcije g je 14. Ove vrednosti odgovaraju pribliˇznom euklidskom rastojanju (pomnoˇzenom sa 10 i zaokruˇzenom). Vrednosti funkcije h se izraˇcunavaju na osnovu Menhetn rastojanja (pomnoˇzenog sa 10) do ciljnog polja i zanemarujući prepreku.

f g

h 74

60

54

14 60 10 50 14 40 60

40

10 50 74

10 30 60

54

14 60 10 50 14 40

Polazno polje briˇse se iz otvorene liste i dodaje u zatvorenu listu. U otvorenoj listi je samo njegovih osam susednih polja. Od svih njih, bira se ono sa najmanjom vrednoˇsc´ u funkcije f (40), to je polje neposredno desno od polaznog polja i ono c´ e biti sledeće tekuće polje.

122


74

60

54

14 60 10 50 14 40 60

40

10 50 74

10 30 60

54

14 60 10 50 14 40

To polje izbacujemo iz otvorene liste, dodajemo ga u zatvorenu listu i onda proveravamo njegova susedna polja (naravno, samo ona koja nisu u zatvorenoj listi i nisu prepreke). Preostala cˇ etiri polja su već u otvorenoj listi, pa je potrebno proveriti da li put preko tekućeg cˇ vora popravlja njihove trenutne ocene. Razmotrimo, na primer, polje neposredno iznad tekućeg polja: vrednost funkcije g za njega je 14. Ukoliko bi se do njega dolazilo preko tekućeg polja, vrednost funkcije g bila bi 20 (10 je cena od polaznog do tekućeg cˇ vora i 10 je cena prelaska od tekućeg polja). Dakle, na ovaj naˇcin se ne moˇze popraviti vrednost funkcije g u polju iznad i ona ostaje nepromenjena. Opisani postupak sprovodimo za sva cˇ etiri susegna polja i, u ovom sluˇcaju, ¯ utvrdujemo da ocena nijegnog ne moˇze da se popravi. Time je obrada tekućeg polja zavrˇsena i traˇzimo novo tekuće polje. Od preostalih sedam polja u otvorenoj listi biramo ono sa najmanjom vrednoˇsc´ u funkcije f . Ukoliko postoji viˇse takvih svejedno je koji izabrati. Neka je, na primer, izabrano polje neposredno ispod prethodnog tekućeg polja.

74

60

54

14 60 10 50 14 40 60

40

10 50 74

10 30 60

54

14 60 10 50 14 40 88

74

28 60 24 50

Za tekuće polje neće se razmatrati susedna polja koja su u zatvorenoj listi i koja su nedostupna (tj. prepreke). No, moˇze se (iako to nije nuˇzno i zavisi od konkretne primene) zabraniti ispitivanje polja koje je desno-dole od tekućeg polja. Naime, moˇze se smatrati da je dijagonalni potez od tekućeg do tog polja nemoguć zbog prepreke koja se nalazi desno od tekućeg polja.

7.3 A*

123

Ukoliko prihvatimo takvo ograniˇcenje, ostaje joˇs tri susednih polja koja treba razmotriti. Dva polja ispod tekućeg polja nisu u otvorenoj listi, pa ih dodajemo zajedno sa izraˇcunatim vrednostima funkcija i informacijom da im je roditelj tekuće polje. Za polje levo od tekućeg polja se proverava da li se moˇze smanjiti vrednost funkcije g (odgovor je — ne) i time je zavrˇsena obrada tekućeg polja. Opisani postupak se nastavlja dok ciljno polje ne postane tekuće. 108

94

80

74

28 80 24 70 20 60 24 50 94

74

60

54

24 70 14 60 10 50 14 40 80

60

20 60 10 50 94

74

60

40

82

10 30

72 10 68

54

74

94

80

74

82 0 72 10

68

88

54 20 58 10 68 20

24 70 14 60 10 50 14 40 108

68

74

74

74

102

28 80 24 70 20 60 24 50 34 40 44 30 54 20 72 30 108

94

88

88

88

38 70 34 60 38 50 48 40 58 30

Primetimo da su se, nakon nekoliko iteracija, vrednosti funkcija g i f , kao i roditeljsko polje promenili za polje dva polja ispod polaznog polja. Ranije je ovo polje imalo vrednost funkcije g jednaku 28 (i vrednost funkcije f jednaku 88) i roditeljsko polje je bilo gore-desno. Kasnije, ovo isto polje ima vrednost funkcije g jednaku 20 (i vrednost funkcije f jednaku 80), a roditeljsko polje ¯ je gore. Ova izmena dogodila se u nekoj iteraciji u meduvremenu. U ovom ¯ sluˇcaju ona ne utiˇce na pronadeni put, ali su ovakve izmene u opˇstem sluˇcaju veoma cˇ este i utiˇcu na konaˇcno reˇsenje. Kada se tokom pretrage ciljno polje postane tekuće, traˇzeni put od polaznog cˇ vora se konstruiˇse jednostavno. Kreće se od ciljnog cˇ vora i prelazi ¯ do polaznog cˇ vora. Ovako odreden ¯ niz polja na roditeljski sve dok se ne dode u suporotnom poretku daje traˇzeni put od polaznog do ciljnog polja. 108

94

80

74

28 80 24 70 20 60 24 50 94

74

60

54

24 70 14 60 10 50 14 40 80

60

20 60 10 50 94

74

60

40

82

10 30

72 10 68

54

74

24 70 14 60 10 50 14 40 108

94

80

74

68

82 0 72 10

68

88

54 20 58 10 68 20 74

74

74

102

28 80 24 70 20 60 24 50 34 40 44 30 54 20 72 30 108

94

88

88

88

38 70 34 60 38 50 48 40 58 30

124

7.3.4


Svojstva algoritma A*

¯ Moˇze se dokazati da je algoritam A* potpun i da je, pod odredenim uslovima optimalan [?]: ¯ dva cˇ vor, algoritam A* c´ e naći jedan takav Potpunost: Ako postoji put izmedu (naravno, ukoliko je raspoloˇzivo dovoljno vreme i memorijski prostor). ˇ Cak i ako je heuristiˇcka funkcija veoma loˇsa, ciljni cˇ vor c´ e biti dostignut u konaˇcnom broju koraka. ¯ dva data cˇ vora, biće izabran najkraći Optimalnost: Od svih puteva izmedu put, ukoliko je funkcija heuristike h konzistentna. Ukoliko funkcija h nije dopustiva, ali ne precenjuje stvarno cenu za viˇse od d, onda je cena puta koji c´ e pronaći algoritam A* skuplji od najkraćeg za ne viˇse od d. Ukoliko se ne koristi lista zatvorenih cˇ vorova (tj. ukoliko se razmatraju i susedni cˇ vorovi koji su već bili tekući), da bi algoritam bio optimalan dovoljno je da funkcije h bude dopustiva (nije neophodno da bude konzistentna). Ukoliko se koristi nad stablima, da bi algoritam bio optimalan dovoljno je da funkcije h bude nenegativna i dopustiva. ¯ Ukoliko funkcija f ∗ odgovara optimalnom putu, onda algoritam A* obraduje sve cˇ vorove za koje vaˇzi f (n) < f ∗ (n); i neke cˇ vorove n za koje vaˇzi f (n) = f ∗ (n). Vremenska sloˇzenost algoritma A* zavisi od heuristike. U najgorem sluˇcaju, ¯ broj obradenih cˇ vorova je eksponencijalan u odnosu na duˇzinu najkraćeg puta, ali je polinomijalan ako funkcija heuristike h zadovoljava sledeći uslov: |h(x) − h∗ (x)| ≤ O(log h∗ (x)) gde je h∗ optimalna heuristika, tj. funkcija koja vraća taˇcnu cenu puta od cˇ vora x do ciljnog cˇ vora. Drugim reˇcima, greˇska funkcije h ne treba da raste brˇze od logaritma idealne heuristike. ¯ Prethodna dva tvrdenja sugeriˇsu da algoritam A* najbolje performanse (na¯ jmanji broj obradenih cˇ vorova) daje kada je funkcija heuristike bliska idealnoj funkciji heuristike. S druge strane, optimalnost je garantovana samo ako funkcija heuristike nikada ne precenjuje stvarnu cenu puta. Zajedno, to govori da dobra funkcija heuristke mora da bude veoma paˇzljivo konstruisana, tako da bude sˇ to bliˇza idealnoj funkciji, ali da je nikada ne premaˇsuje. Za viˇse detalja o svojstvima algoritma A* videti, na primer, [?].

7.3.5

Implementaciona pitanja

Algoritam A* se obiˇcno primenjuje u aplikacijama koje rade u realnom vremenu, te je neohodno da je efikasno implementiran (koriˇsc´ enjem pogodnih struktura podataka, efikasnim upravljanjem memorijom, izbegavanjem mnoˇzenja i drugih skupih operacija itd.) U ovom poglavlju ukratko c´ emo prokomentarisati nekoliko naˇcina koji popravljaju efikasnost implementacije algoritma A*. Otvorena lista se cˇ esto implementira kao binarni min-hip (kako bi se brzo dolazilo do elementa sa najmanjom vrednoˇsc´ u funkcije f ), a zatvorena lista kao

7.3 A*

125

heˇs tabela4 . Koriˇsc´ enjem ovih fukcija operacije za dodavanje u i brisanje elemenata iz otvorene liste zahteva vreme O(log V ), gde je V broj cˇ vorova grafa, a dodavanje cˇ vora u zatvorenu listu i proveravanje da li je već u zatvorenoj listi zahteva vreme O(1). Zahtevi za memorijskim prostorom su za algoritam A* cˇ esto joˇs veći problem nego vremenska sloˇzenost. Ipak, ukoliko broj cˇ vora grafa nije preveliki, moˇze da bude isplativo i statiˇcko alociranje potrebnog prostora (ili dinamiˇcko alociranje većih blokova) koji onda moˇze da se koristi u savezu sa min-hip strukturom, kako bi se izbegle cˇ este i skupe operacije dinamiˇckog alociranje (i dealociranje) za pojedinaˇcne cˇ vorove. Dodatno, ako se algoritam primenjuje za nalaˇzenje puta na uniformnoj mapi dimenzija M · M i ako se statiˇcki rezerviˇse prostor za svaki cˇ vor, pristupanje cˇ vorovima je brˇze ako je M oblika 2m . Potrebno je eliminisati raˇcun sa decimalnim brojevima i koristiti samo celobrojnu aritmetiku. Ukoliko cene imaju decimelne vrednosti (npr. 1.414) potrebno ih je pomnoˇziti sa, na primer, 1000 i koristiti samo zaokruˇzene vrednosti. ¯ polaznog i Najgori sluˇcaj za algoritam A* je kada ne postoji put izmedu ciljnog cˇ vora. U tu svrhu moˇze se implementirati brza provera da li uopˇste ¯ dva cˇ vora: dva cˇ vora su povezana ako i samo ako pripadaju postoji put izmedu povezanim delovima grafa. Ako se za svaki cˇ vor moˇze lako proveriti kom delu grafa pripada, onda je i navedena provera jednostavna. Algoritam A* cˇ esto se koristi kao komponenta sˇ irih sistema koji treba da rade u realnom vremenu. Zbog toga je obiˇcno potrebno implementirati tako da se na zahteva izvrˇsavanje u jednom neprekinutom vremenskom periodu, ¯ kojih se izvrˇsavaju druge komponente već u vremenskim intervalima izmedu sistema. Ovakav pristup se cˇ esto zove deljenje vremena na kriˇske (eng. time slicing).

4 Heˇ s tabela je struktura podataka koja povezuje vrednosti i kljuˇceve. Ona omogućava efikasno nalaˇzenje vrednosti na osnovu kljuˇca. To se postiˇze preslikavanjem kljuˇca heˇs funkcijom u heˇs vrednost koja sluˇzi kao indeks niza na kojem se nalazi odgovarajuća vrednost.

126


Glava 8

Programiranje logiˇckih igara Programiranje logiˇckih igara jedan je od klasiˇcnih problema veˇstaˇcke inteligencije i verovatno jedan od najatraktivnijih. Kako logiˇcke igre zahtevaju odluˇcivanje koje se moˇze smatrati inteligentnim, ova problematika je predmet interesovanja mnogih istraˇzivaˇca u oblasti veˇstaˇcke inteligencije (i ne samo njih). Moˇzda su zbog toga neki od najvećih dometa veˇstaˇcke inteligencije upravo u ovom domenu: raˇcunari su već pobedili svetske sˇ ampione u igrama bekgemon i dame, a nedavno je u brzopoteznoj igri sa raˇcunarom, partiju sˇ aha izgubio i svetski sˇ ampion Gari Kasparov. Uprkos tim dometima, joˇs uvek treba zadrˇzati oprez prema programima za logiˇcke igre, jer njihovi principi odluˇcivanja kvalitativno (po pitanjima apstrahovanja, analogija, pravljenja planova i sl.) joˇs uvek nisu dovoljno blizu ljudskim. Mogućnosti reˇsavanja ovih problema i primene tih tehnika u drugim domenima upravo i motiviˇsu dalja istraˇzivanja veˇstaˇcke inteligencije u ovom pravcu. U ovoj glavi biće reˇci o razvoju strategija za automatsko igranje logiˇckih igara, a zatim i o samim strategijama. Neće biti upuˇstanja u teorijske analize pojedinaˇcnih igara, već c´ e biti opisani opˇsti pojmovi i algoritmi koji mogu da se koriste za sˇ irok spektar igara. Razmatraćemo algoritme za igre dva igraˇca bez nepoznate informacije, dakle — igre kod kojih svaki igraˇc zna koje poteze na raspolaganju ima protivnik (u ovu kategoriju ne spadaju, na primer, igre u kojima igraˇc ne zna karte koje ima protivnik, nepoznati broj koji treba pogoditi itd). Za oznake u sˇ ahu, koji c´ e biti jedna od igara najˇceˇsc´ e uzimanih za primer, prihvatićemo engleske oznake. Tako c´ emo kralja oznaˇcavati sa K (King), kraljicu sa Q (Queen), topa sa R (Rook), lovca sa B (Bishop), konja sa N (Knight) i peˇsaka sa P (Pawn). Shodno tome oznaˇcavaćemo i sˇ ahovske zavrˇsnice (npr. zavrˇsnicu ”kralj i kraljica protiv kralja i topa” oznaˇcavaćemo sa KQKR).

8.1

Razvoj automatskog igranja logiˇckih igara i osnovni koncepti

Istorija automatskog igranja logiˇckih igara poˇcinje u devetnaestom veku: sˇ panski pronalazaˇc Tores Kevedo (Torres y Quevedo) konstruisao je 1890. godine (i ¯ koji je prikazao 1900. na svetskoj izloˇzbi u Parizu) elektro-mehaniˇcki uredaj

128

8 Programiranje logiˇckih igara

igrao sˇ ahovsku zavrˇsnicu KRK. Opˇsta teorijska razmatranja zapoˇceo je Von Nojman (Von Neuman) postavljanjem opˇsteg problema (1928): Igraˇci S1 , S2 , . . . , Sn igraju datu igru Γ. Kako treba da igra igraˇc Sm da bi ostvario najbolji mogući rezultat? Odgovor na ovako postavljeno pitanje teˇsko je dati za većinu igara. Naravno, nije bilo teˇsko naslutiti da je za puno igara, cˇ ak i ako on postoji, teˇsko ili gotovo nemoguće efektivno realizovati optimalni algoritam za proizvoljnu poziciju. U svakom sluˇcaju, ova problematika postala je predmet interesovanja mnogih matematiˇcara i, posebno, matematiˇcke discipline teorija igara. Moderna istorija programiranja igara poˇcinje ”klasiˇcnim” tekstom Programming a digital computer for playing Chess (Philosophical Magazine, 41) koji je ˇ ˇ 1950. godine objavio Klod Senon (Claude Shannon). U tom tekstu Senon je opisao dve opˇste strategije za izbor poteza: strategije A i B tipa (danas cˇ esto ˇ oznaˇcavane kao Senonova A i B strategija): ¯ A: Minimaks procedurom vrˇsi se pretraˇzivanje stabla igre sa odredenom vrednosnom funkcijom i ocenjivanje legalnih poteza; bira se potez sa najboljom ocenom (videti poglavlje 8.4.3). B: Potez se bira na osnovu trenutne pozijice/situacije u igri i na osnovu odgovarajuće, unapred pripremljene tabele. ˇ Koncept zasnovan na Senonovoj A strategiji naziva se i gledanje unapred ili gledanje u dubinu (eng. lookahead) pristupom, a ponegde i ,,sistematskim pretraˇzivanjem“, ,,dubinskim pretraˇzivanje“ ili ,,najpre najdublji“. Ako bi se koriˇsc´ enjem ove strategije, minimaks algoritmom, pretraˇzivanje stabla igre vrˇsilo do zavrˇsnih stanja igre, ispitivanjem svih mogućih tokova partije zaista bi bio izabran najbolji legalan potez i taj izbor bi imao savrˇseno obrazloˇzenje u samom ¯ primenjenom algoritmu. Medutim, za većinu igara nije praktiˇcno moguće preˇ traˇziti kompletno stablo igre. Cak i pretraˇzivanje stabla igre do dubine od svega nekoliko poteza u igrama sa proseˇcno deset ili dvadeset legalnih poteza, ˇ zahteva ispitivanje miliona pozicija. Zbog toga, efikasna primena Senonove A strategije svodi se na pretraˇzivanje stabla igre do relativno male dubine algoritmima koji su ubrzani heuristikama1 (umesto najjednostavnijim minimaks algoritmom) i uz dobro osmiˇsljenu, ali jednostavnu funkciju evaluacije za ocenu nezavrˇsnih pozicija igre (umesto jednostavne ,,trovrednosne“ funkcije za ocenu zavrˇsnih pozicija). Ovakvim pristupom gubi se svojstvo po kome se pretraˇzivanjem dobija zaista najbolji potez, a obim pretraˇzivanja i razliˇcitih izraˇcunavanja ostaje, najˇceˇsc´ e, i dalje veoma velik. Opisani koncept cˇ esto se naziva konceptom ,,gruba sila plus jednostavna vrednosna funkcija“ (eng. bruteforce method plus simple evaluation function). Precizni opisi funkcije evaluacije, algoritama minimaks i srodnih dati su u poglavlju 8.4. ˇ Senonovoj strategiji B tipa odgovara koncept koji zovemo gledanje uvis ili moˇzda adekvatnije trenutni pogled (eng. lookup). Ovaj pristup zahteva postojanje unapred pripremljene tabele sa dve kolone: u jednoj su moguće pozicije/situacije igre, a u drugoj optimalni potezi. Jedna od ,,klasiˇcnih“ implemetacija 1 Heuristike su (aproksimativne) metode za usmeravanje i suˇ zavanje pretrage u problematici gde se javlja kombinatorna eksplozija. Kvalitet i mogućnosti njihove primene zavise od specifiˇcnosti domena i njegove ”neprekidnosti” (malim promenama problema treba da odgovaraju male promene reˇsenja).

8.2 Legalni potezi i stablo igre

129

ovog pristupa je program za igranje sˇ ahovske zavrˇsnice KQKR koji je 1977. godine napravio Kenet Tompson (Kenneth Thompson, Bell Telephone Laboratories), poznat kao tvorac operativnog sistema UNIX). Tabela koju je koristio program sadrˇzavala je sve moguće pozicije za oba igraˇca i optimalne poteze za sve te pozicije (pri cˇ emu se pod optimalnim potezom za jaˇceg igraˇca (koji ima kralja i kraljicu) smatra potez koji vodi pobedi u najmanjem broju poteza, a za slabijeg, potez koji maksimalno odlaˇze poraz). Tabela je imala oko tri miliona vrsta i program koji se na njoj zasnivao bio je, i u pozicijama koje su teorijski izgubljene, praktiˇcno nepobediv cˇ ak i za vrhunske sˇ ahiste. U ovoj strategiji, znanje o igri (u ovom primeru, o sˇ ahu) ne nalazi se niti u samom programu koji igra, niti u tabeli, već u programu koji je tabelu generisao. Opisani pristup zahteva, pored adekvatne procedure za generisanje lookup tabele i veliku memoriju (za smeˇstanje svih mogućih pozicija), ali u samom procesu igre program zahteva najˇceˇsc´ e jako malo vremena za pronalaˇzenje odgovarajućeg poteza. ˇ Senonova B strategija moˇze se primenjivati i u modifikonvanim varijantama po kojima se, na primer, ne bi prepoznavale sve moguće pozicije, već cˇ itave klase pozicija i na sliˇcan naˇcin nalazili optimalni potezi. ˇ ¯ ci Senonove Uporeduju´ strategije A i B (odnosno pristupe lookahead i lookup) vidimo da prva u samom procesu izbora poteza zahteva malo memorije i mnogo izraˇcunavanja (deep mentality), a druga, obrnuto, malo izraˇcunavanja (shallow mentality) i mnogo memorije. Na toj skali odnosa koliˇcine podataka koji se ¯ ovih krakoriste i obima izraˇcunavanja, cˇ ovekov naˇcin zakljuˇcivanja je izmedu jnosti, a najˇceˇsc´ e se bitno razlikuje i po svojoj prirodi. Upravo priroda cˇ ovekovog naˇcina razmiˇsljanja i zˇ elja da se on oponaˇsa, vodi ka novim pristupima u formalizaciji igara i njihovom programiranju. Neki od njih su koncept skupovi pozicija kao klase ekvivalencije i koncept advice texts (tekstovi saveta). Po ovom kon¯ ceptu, za odredenu klasu problema (odnosno klasu pozicija u igri) formuliˇsu se pravila (odnosno saveti) koja treba slediti i to obliku reˇsenja (jednostavnijih) potproblema. Takav naˇcin reprezentacije znanja o problemu i o naˇcinima njegovog reˇsavanja moˇze biti jako blizak ljudskom i pripadati onom segmentu skale obim izraˇcunavanja – koliˇcina koriˇsc´ ene memorije koji odgovara cˇ oveku. U nastavku teksta, za izbor poteza u otvaranjima razmatraće se strategije ˇ ˇ koje su u osnovi Senonovog tipa B tipa, za srediˇsnicu strategije Senonovog tipa A i za zavrˇsnicu pristupe tipa ”skupovi pozicija kao klase ekvivalencije” ili ”advice texts”.

8.2

Legalni potezi i stablo igre

¯ terLegalne poteze definiˇsu pravila igre. Naglasimo da pravimo razliku izmedu mina mogući potezi i legalni potezi: mogućim potezima nazivamo one koji su legalni u bar jednoj regularnoj poziciji igre. Pretpostavka je da se u svakom trenutku igre moˇze jednoznaˇcno odred¯ iti skup legalnih poteza. Dodatno, poˇzeljno je da postoji (cikliˇcno) uredenje poteza, pa se za svaki legalan potez moˇze jednoznaˇcno odrediti sledeći legalan potez. Stablo igre je stablo u kojem cˇ vorovima odgovaraju regularne pozicije u igri (u skladu sa pravilima date igre), a granama legalni potezi (u smislu date igre). ˇ Cvor x stabla igre je neposredni predak cˇ vora y ako se iz pozicije/ˇcvora x nekim

130


legalnim potezom dobija pozicija/ˇcvor y (tada kaˇzemo i da je cˇ vor y neposredni potomak cˇ vora x). Za cˇ vor x stabla kaˇzemo da je predak cˇ vora y ako postoji niz cˇ vorova stabla x = z0 , z1 , . . . , zn = y (n ≥ 1) takvih da je za svako i, 0 ≤ i ≤ n − 1 cˇ vor zi neposredni predak cˇ vora zi+1 . Tada kaˇzemo i da je cˇ vor y potomak cˇ vora x. Legalnim potezom smatramo i prazan potez (u engleskom jeziku cˇ esto se koristi termin pass) u situaciji kada igraˇc koji je na redu nema na raspolaganju legalnih poteza i preskaˇce svoj red (takve situacije nisu regularne, na primer, u sˇ ahu, ali regularne, na primer, u igri reversi). U igri za dva igraˇca, u ovako definisanom stablu igre, od korena do bilo kog lista naizmeniˇcno se smenjuju grane koje odgovaraju potezima prvog i drugog igraˇca. Sliˇcno, ako se radi o igri za viˇse igraˇca, od korena do bilo kog lista redom se smenjuju grane koje odgovaraju potezima svih igraˇca. Na slici 8.1 ilustrovano je stablo igre za igru iks-oks.

x

xo

x o

...

x

...

. ................ .

o xox

o x

...

...

...

o o x x

o o o xo ... ... ... o x x ... xox xox xox xxx

. ................ .

x

...

...

...

o x x

...

...

...

...

...

...

...

...

oo x x

... ... ... ...

zavrˇsno stanje . ....... .

Figure 8.1: Stablo igre za igru iks-oks Kompletnim stablom igre zovemo stablo u kojem je koren poˇcetna pozicija igre (u skladu sa pravilima date igre), a listovi su zavrˇsne pozicije igre. Kompletno stablo igre ima onoliko listova koliko data igra ima razliˇcitih regularnih tokova. Taj broj je kod većine igara (ˇcak i kod veoma jednostavnih) ogroman i onemogućava kompletno pretraˇzivanje u cilju izbora optimalne strategije. Zato se u programima za igre (najˇceće u srediˇsnici) za izbor poteza primenjuju algoritmi koji pretraˇzuju samo delove ovog stabla (videti poglavlje 8.4). Za potpuni opis stabla u raˇcunarskoj implementaciji nije potrebno cˇ uvati informaciju i cˇ vorovima/pozicijama i o granama/potezima. Naime, kako granama odgovaraju legalni potezi i kako oni na osnovu tekuće pozicije jednoznaˇcno ¯ odreduju sledeću poziciju, za opis stabla dovoljan je opis korena stabla (tj. polazne pozicije) i opis grana/legalnih poteza za odgovarajuće cˇ vorove. Na taj naˇcin implicitno moˇze biti opisano/generisano celo stablo, a zauzeti memorijski prostor daleko je manji nego kada bi se eksplicitno pamtile i pozicije koje odgovaraju cˇ vorovima stabla. Takav naˇcin opisa stabla moˇze da se koristi i za

8.3 Otvaranje i biblioteka partija

131

opis biblioteke partija, o cˇ emu govori naredno poglavlje.

8.3

Otvaranje i biblioteka partija

¯ Potreba za skladiˇstenjem (i koriˇsc´ enjem) opisa partija odredene igre moˇze da proistiˇce bilo iz potrebe da se ti podaci koriste za izbor poteza u samom programu, bilo iz potrebe da se omogući jednostavnija analiza pojedinih situacija/pozicija ili cˇ itavih partija. Opisi partija mogu biti posebne, nezavisne celine, ali mogu biti i organizovani tako da korisniku omogućavaju laku uporednu analizu sliˇcnih varijanti u igri i da su istovremeno upotrebljivi za pomoć u automatskom izboru poteza. Jedna od najpogodnijih reprezentacija biblioteke partija je u obliku stabla igre. U takvoj reprezentaciji biblioteke partija, dovoljno je da odgovarajuće stablo igre sadrˇzi informacije o potezima (koji odgovaraju granama stabla), jer su ¯ njima odredene i odgovarajuće pozicije (koje odgovaraju cˇ vorovima stabla). U programima za logiˇcke igre cˇ esto je izuzetno znaˇcajna biblioteka otvaranja (opening book) — koja je zasnovana na ljudskom iskustvu i koja sadrˇzi informacije o poznatim i kvalitetnim potezima koji se cˇ esto javljaju u otvaranju. Biblioteka otvaranja, kao i biblioteka partija, najˇceˇsc´ e se reprezentuje stablom ¯ igre. Ta struktura moˇze biti statiˇcka (sadrˇzi odreden, konaˇcan broj varijanti ¯ u svakom potezu i informacije o potezima samo do odredene dubine) ili se proˇsirivati tokom samog izvrˇsavanja programa. U igri programa sledi se tok partije iz biblioteke dok je to moguće (dok o tome postoje odgovarajuće informacije u biblioteci otvaranja), a onda se prelazi na druge strategije izbora poteza. Ukoliko za neku poziciju postoji u biblioteci ¯ viˇse mogućih nastavaka, izbor moˇze da se naˇcini po odredenim verovatnoćama koje mogu da se koriguju tokom rada programa (u skladu sa ,,stilom igre“ programa koji proistiˇce iz prirode funkcije evaluacije) ili jednim delom i prema ¯ duˇzini koja u stablu sledi iza odredenog poteza (kao teˇznja da se sˇ to duˇze ostane u poznatim varijantama). Pomenuta strategija moˇze da se realizuje na sledeći naˇcin: neka je, na osnovu biblioteke otvaranja, u nekom trenutku na raspolaganju n poteza. Svakom od njih neka je pridruˇzena ocena mi (1 ≤ i ≤ n) na osnovu empirijske procene i na osnovu dubine biblioteke partija koja sledi za i-tim potezom (te ocene predstavljaju karakteristiˇcan, dodatni deo biblioteke partija). Ukoliko emprijske procene govore da je i-ti potez bolji, to je ocena mi ¯ ocena mi je veća ukoliko je veća dubina biblioteke partija koja veća. Takode, sledi za i-tim potezom. Tada se, u toj poziciji, i-ti potez (1 ≤ i ≤ n) bira sa verovatnoćom mi . pi = Pn j=1 mj Na taj naˇcin izbegava se deterministiˇcko ponaˇsanje programa u otvaranju: bolji potezi (u smislu neke procene) se biraju cˇ eˇsc´ e, ali ne uvek. Ocene mi mogu se tokom igre korigovati na sledeći naˇcin: ukoliko je posle izbora i-tog poteza (na nekoj dubini d) program dobio (izgubio) partiju, oceni mi dodaje se (oduzima se) neka karakteristiˇcna pozitivna vrednost c. Te korekcije ocena u biblioteci partija vrˇse se na svim nivoima d na kojima izbor poteza nije bio jed¯ noznaˇcno odreden. Na taj naˇcin program ,,uˇci“, popravlja kvalitet svoje igre i ¯ prilagodava je specifiˇcnim znanjima o igri koje primenjuje u daljem toku partije.

132


Poseban problem u otvaranju je situacija u kojoj protivnik svojim potezom primora program da napusti biblioteku otvaranja, a potom se u igri ponovo ¯ do neke pozicije koja postoji u biblioteci otvaranja. Prepoznavanje pozidode cije koja postoji u razliˇcitim delovima stabla moˇze da predstavlja problem i iziskuje kompleksniju reprezentaciju podataka o poznatim otvaranjima. Takav ˇ zahtev moˇze da vodi i ka reˇsenju koje je tipiˇcno za Senonovu B strategiju: u lookup tabeli traˇzi se tekuća pozicija i njoj odgovarajući potez (ili potezi). Reˇsenje ovog tipa u većini igara je neprimereno zbog velikog obima podataka koji zahteva (umesto samo pojedinaˇcnih poteza, sve pozicije se predstavljaju kompletno i posebno) i vremena potrebnog za izvrˇsavanje (u lookup tabeli, za neke igre, morali bi da budu smeˇsteni podaci o hiljadama, ili milionima relevantnih pozicija).

8.4

Srediˇsnjica

Velika većina savremenih programa za logiˇcke igre u srediˇsnjici koristi strateˇ giju dubinskog pretraˇzivanja stabla igre koja odgovara Senonovoj A strategiji. Zbog obima izraˇcunavanja koje zahteva, kao i zbog razlika u odnosu na strategije tipiˇcne za cˇ oveka, ovaj pristup cˇ esto se naziva i ,,metod grube sile sa jednostavnom funkcijom evaluacije“ (eng. brute-force method plus simple evaluation function). U narednim poglavljima opisaćemo smisao i ulogu funkcije evaluacije, kao i neke od algoritama koji se koriste u pretraˇzivanju stabla igre.

8.4.1

Statiˇcka ocena pozicije i funkcija evaluacije

¯ U cilju odredivanja najboljeg poteza za igraˇca koji je na potezu, cˇ vorovima stabla igre se mogu dodeliti neke ocene, na osnovu koje cˇ vorovi tj. pozicije i potezi mogu da se porede po kvalitetu. Statiˇcka ocena je vrednost koja se, u skladu sa specifiˇcnim karakteristikama konkretne igre, dodelje poziciji pri cˇ emu se ne ispituju mogući nastavci koji joj odgovaraju. Funkcija evaluacije (eng. evaluation function) je funkcija F koja mogućim, regularnim pozicijama u nekoj igri dodeljuje njihove ocene: F : P 7→ <. Radi efikasnosti, funkcija evaluacije obiˇcno se implementira kao racionalna ili celobrojna funkcija. Smisao funkcije evaluacije za protivnike u igri za dva igraˇca je suprotan — ono sˇ to je najbolje stanje za jednog igraˇca najloˇsije je za drugog i obratno. Funkcije evaluacije razlikuju se od igre do igre (i od programa do programa). Gotovo sve znanje o igri koje se koristi u srediˇsnjici partije sadrˇzano je u funkciji evaluacije i u najvećoj meri od nje zavisi kvalitet igre programa. Potrebno je da sadrˇzi sˇ to viˇse relevantnih informacija, ali s druge strane, kako se izraˇcunava mnogo puta, potrebno je da bude jednostavna, pa je poˇzeljno da se funkcija ¯ poˇzeljno je evaluacije raˇcuna jednostavno i u celobrojnoj aritmetici. Takode, da funkcija evaluacije za simetriˇcne pozicije (za zamenjene uloge igraˇca) daje vrednosti koje se razlikuju samo po znaku. Najjednostavnija je tzv. trovrednosna funkcija: ona se primenjuje samo na zavrˇsne pozicije igre i ima samo tri razliˇcite vrednosti – za pobedu prvog, za pobedu drugog igraˇca i za nereˇsen ishod (npr. 1, -1 i 0). Trovrednosna funkcija zahteva pretraˇzivanje stabla igre

8.4 Srediˇsnjica

133

do zavrˇsnih cˇ vorova, pa je, zbog potencijalno velike dubine pretraˇzivanja, ova funkcija za većinu igara praktiˇcno neupotrebljiva. Generalno, funkcija evaluacije obiˇcno preslikava skup svih mogućih pozicija preslikava u segment celih ili racionalnih brojeva: F : P 7→ [−M, M ] Vrednost M dodeljuje se samo zavrˇsnim cˇ vorovima u kojima je pobednik prvi igraˇc, a vrednost vrednost −M samo zavrˇsnim cˇ vorovima u kojima je pobednik drugi igraˇc. Ocene zavrˇsnih pozicija igre mogu se korigovati dodavanjem (odnosno oduzimanjem) dubine odgovarajućeg cˇ vora u pretraˇzivanju, kako bi se od svih varijanti koje vode u pobedu izabrala ona koja vodi pobedi u najmanjem broju koraka (odnosno kako bi se, ukoliko je poraz neizbeˇzan, taj poraz maksimalno odgodio). Funkcija evaluacije moˇze biti i sloˇzene strukture, sastavljena od modula koji odgovaraju razliˇcitim fazama partije (npr. srediˇsnjici i zavrˇsnici) ili razliˇcitim statiˇckim parametrima (npr. u sˇ ahu: vrednost ukupnog materijala, pokretljivost figura, peˇsaˇcka struktura, rokada i dr.).

8.4.2

Pretraˇzivanje stabla igre

Kod većine programa za kompleksnije logiˇcke igre, pored kvalitetne funkcije evaluacije, od kljuˇcne vaˇznosti su algoritmi koji se koriste za pretraˇzivanje stabla igre. Pri pretraˇzivanju stabla igre u srediˇsnjici, funkcija evaluacije se ¯ izraˇcunava samo za cˇ vorove na nekoj odredenoj dubini, a ostalim cˇ vorovima se pozicija ocenjuje na osnovu ocena nekih od cˇ vorova-potomaka. Pretraˇzivanje ¯ stabla igre u cilju odredivanja najboljeg mogućeg poteza iz datog cˇ vora, kod razliˇcitih logiˇckih igara (i razliˇcitih programa) realizuje se na razliˇcite naˇcine. Realizacije se razlikuju po algoritmu pretraˇzivanja, po dubini pretraˇzivanja stabla, po heuristikama koje se primenjuju (nekad se, zbog brzine, odustaje od ¯ najbolji potez za datu dubinu, već se traˇzi ,,dovoljno zahteva da se pronade dobar“ potez) itd. Kod kompleksnijih logiˇckih igara stablo igre najˇceˇsc´ e je ogromno i njegovo pretraˇzivanje zahteva puno vremena. Zato su heuristike koje ubrzavaju to pretraˇzivanje od izuzetnog znaˇcaja. Stablo igre se pri pretraˇzivanju ne realizuje statiˇcki, već se dinamiˇcki realizuje samo put od poˇcetnog cˇ vora do pozicije koja se trenutno ispituje. Kako se za pretraˇzivanje stabla igre koristi rekurzija, to znaˇci da se za potez dubine d pamte samo podaci proistekli iz d-tostrukog pozivanja funkcije za pretraˇzivanje (sa povratnim adresama i sl).

8.4.3

Algoritam minimaks

ˇ Algoritam minimaks je kljuˇcni element Senonove A strategije i on je u osnovi skoro svih algoritama za izbor poteza pretraˇzivanjem stabla igre. Minimaks al¯ goritam pretraˇzivanjem stabla igre za igraˇca koji je na potezu odreduje najbolji mogući potez u datoj situaciji (za zadati cˇ vor, zadatu dubinu pretraˇzivanja i za izabranu funkciju evaluacije). Pretraˇzivanje celog stabla garantuje nalaˇzenje zaista najboljeg poteza (u navedenom smislu — ako se menja dubina pretraˇzivanja ne mora da se dobija isti rezultat), ali zbog odsustva heuristika (koje bi to pretraˇzivanje ubrzale) to pretraˇzivanje moˇze da traje jako dugo. Pretpostavimo, jednostavnosti radi, da se pretraˇzivanje vrˇsi do fiksne dubine (tj. da su iste

134


duˇzine svih puteva iz datog do zavrˇsnih cˇ vorova u pretraˇzivanju). Pretpostavimo joˇs da funkcija evaluacije za igraˇca koji je na potezu ima pozitivan smisao ¯ (tj. bolji je potez ako obezbeduje veću vrednost funkcije). Funkcijom evaluacije ocene se dodeljuju samo ,,najdubljim“ cˇ vorovima u pretraˇzivanju (pretraˇzivanje se vrˇsi do fiksne dubine i ,,najdublji“ cˇ vorovi ne moraju da predstavljaju zavrˇsna stanja igre); dalji postupak je rekurzivan: kao ocena cˇ voru dodeljuje se minimum ocena cˇ vorova-potomaka, ako je u tom cˇ voru na potezu protivnik, a kao maksimum ocena cˇ vorova potomaka, u suprotnom (slika 8.2). Ocena poˇcetnog cˇ vora je maksimum ocena cˇ vorova–neposrednih potomaka i rezultat je potez kojem odgovara taj maksimim. Dakle, algoritam karakteriˇse maksimizovanje ocene kada je na potezu sam igraˇc i minimizovanje kada je na ˆ ovog algoritma potezu njegov protivnik, pa otuda i ime algoritma. Pseudokod dat je na slici 8.3. 5

max 5

−2

1

min 5

7

1

−2

2

−2

2 −1

max 5

7

1

1

−2

2 −1

5

7

1

1

Figure 8.2: Stablo pretrage sa ilustracijom algoritma minimax Algoritam minimaks (kao i ostali algoritmi zasnovani na minimaksingu) vrˇsi izbor poteza samo na osnovu vrednosti koje su pridruˇzene cˇ vorovima na maksimalnoj dubini pretraˇzivanja. To znaˇci da se ne ispituju potezi koji dalje slede i da se ne koriste informacije o njima (a te informacije mogu biti veoma vaˇzne i cˇ esto bi promenile odluku o izabranom potezu). Pored toga, kada je neki potez odabran na osnovu cˇ vorova na nekoj dubini, u sledećem koraku (pri izboru sledećeg poteza) te informacije se ne koriste i ,,zaboravlja se“ zaˇsto je odabran taj put (npr. ako je u sˇ ahu neki potez izabran zato sˇ to mu odgovara cˇ vor dubine tri u kojem se protivniku daje sˇ ah, u sledećem potezu pretraˇzivanje kreće iznova i cˇ esto neće biti izabran potez kojim se protivniku daje sˇ ah — potez koji je motivisao izbor prethodnog). Dakle, pri pretraˇzivanju stabla igre ,,vide se“ samo cˇ vorovi na nekoj fiksnoj dubini – ni oni posle, ni oni pre njih. Ovaj fenomen cˇ esto se naziva efekat horizonta (eng. horizon effect).

8.4.4

Algoritam alfa-beta

Algoritam alfa-beta otkriven je sredinom dvadesetog veka nezavisno od strane nekoliko istraˇzivaˇca. Artur Semjuel sa jedne strane i Riˇcards, Hart, Levin i Edvards (svi iz SAD) formulisali su nezavisno ranu verziju algoritma poˇcetkom

8.4 Srediˇsnjica

135

Algoritam: Minimax Ulaz: pozicija Izlaz: potez 1. v := M ax(pozicija) 2. vrati potez kojem odgovara vrednost v Funkcija: Max Ulaz: pozicija, funkcija evaluacije f Izlaz: vrednost pozicije 1. Ako je zavrˇsna pozicija vrati f (pozicija) 2. v := −∞ 3. Za svaku poziciju s do koje se moˇze doći u jednom potezu: • Ako je M in(s) > v onda v := M in(s) 4. vrati v Funkcija: Min Ulaz: pozicija, funkcija evaluacije f Izlaz: vrednost pozicije 1. Ako je zavrˇsna pozicija vrati f (pozicija) 2. v := +∞ 3. Za svaku poziciju s do koje se moˇze doći u jednom potezu: • Ako je M ax(s) < v onda v := M ax(s) 4. vrati v Figure 8.3: Algoritam minimaks pedesetih godina. Makarti je sliˇcne ideje predstavio 1956. godine, tokom znamenite konferencije u Darmutu. Aleksander Brudno je, ponovo nezavisno, otkrio alfa-beta algoritam i objavio ga 1963. godine. Alfa-beta algoritam zasnovan je na tzv. alfa i beta odsecanju stabla igre i predstavlja heuristikama ubrzan algoritam minimaks. Osnovni postupak ocenjivanja cˇ vorova je minimaks tipa: vrednosnom funkcijom ocenjuju se samo cˇ vorovi na nekoj odabranoj dubini, a zatim se rekurzivnim postupkom (minimaksingom) ocenjuju cˇ vorovi prethodnici. Postupak ,,alfa odsecanje“ bié opisan pretpostavljajući da funkcija evaluacije za igraˇca koji je na potezu ima pozitivan smisao (bolje su veé ocene). Neka je u tekućem cˇ voru na potezu igraˇc A koji traˇzi najbolji potez; neka je ocenjeno n od m (n < m) njegovih legalnih poteza i neka su dobijene ocene w1 , w2 ... wn i neka je wk najveća od njih. Razmatramo n + 1-i legalni potez (slika 8.4); nakon tog poteza protivnik (igraˇc B) ima viˇse mogućnosti i igraˇc

136


wn+1 < wk

5

−2 < 5

max wk

wn

wn+1

5

wj0

−2

1

α odsecanje

7>5

5

7

α odsecanje

min 1

−2

2

−2

2 −1

β odsecanje

max

5

7

1

1

Figure 8.4: Stablo pretrage sa ilustracijom algoritma alfa-beta

A traˇzi onu sa najmanjom ocenom; za svaku ocenu wi0 legalnih poteza u tom 0 cˇ voru, svakako vaˇzi da je veća ili jednaka zajedniˇckom minimumu wmin (wi0 ≥ 0 ¯ do wmin ) koji predstavlja ocenu cˇ vora; dakle, ako se u tom pretraˇzivanju dode ocene wj0 koja je manja ili jednaka oceni wk (wj0 ≤ wk ) sigurno je da je i ocena 0 cˇ vora manja ili jednaka oceni wk (wmin ≤ wk ). S obzirom da se u poˇcetnom cˇ voru traˇzi maksimum ocena mogućih poteza, to znaˇci da taj cˇ vor (sa ocenom 0 0 wmin ≤ wk ) ne utiˇce na ocenu poˇcetnog cˇ vora (jer je wmin ≤ wk ≤ wmax ), pa se dalje pretraˇzivanje poteza protivnika u tekućem cˇ voru moˇze prekinuti bez uticaja na rezultat pretraˇzivanja — moˇze da se izvrˇsi ”odsecanje stabla” (slika 8.4). ,,Beta odsecanje“ je potpuno analogno i primenjuje se na cˇ vorove u kojima je na potezu protivnik. Naravno, s obzirom na smisao vrednosne funkcije, maksimumi pominjani u ,,alfa odsecanju“ zamenjuju se minimumima ˆ algoritma alfa-beta dat je na slici 8.5. i obratno (slika 8.4). Pseudokod Kako stablo pretraˇzivanja cˇ esto moˇze biti jako veliko, ubrzanje minimaks algoritma heuristikama ,,alfa-odsecanje“ i ,,beta-odsecanje“ ima izuzetan znaˇcaj. Posebno je vaˇzna cˇ injenica da i alfa-beta algoritam nalazi zaista najbolji mogući potez za zadati cˇ vor i zadatu dubinu pretraˇzivanja, sˇ to znaˇci da heuristike koje se primenjuju ne naruˇsavaju tu osobinu minimaks algoritma. Ukoliko se u svakom cˇ voru potezi ispituju od najloˇsijeg ka najboljem (u smislu tekućeg cˇ vora), tada nema nijednog alfa ili beta odsecanja, pa se alfabeta algoritam svodi na algoritam minimaks. Obratno, najviˇse alfa i beta odsecanja ima kada su potezi ispituju od najboljeg ka najloˇsijem u smislu tekućeg cˇ vora i tada algoritam alfa-beta daje najbolji efekat (tj. ispituje najmanji broj cˇ vorova stabla). Naravno, takav poredak poteza nije moguće generisati egzaktno u toku pretraˇzivanja stabla igre, ali se dobrim procenama efekat alfa-beta algoritma tako moˇze bitno popraviti. Upravo na toj ideji zasnivaju se i neka poboljˇsanja alfa-beta algoritma.

8.4 Srediˇsnjica

137

Algoritam: Alfa-beta Ulaz: pozicija Izlaz: potez 1. v = M ax(pozicija, −∞, +∞) 2. vrati potez kojem odgovara vrednost v Funkcija: Max Ulaz: pozicija, alfa vrednost α, beta vrednost β, funkcija evaluacije f Izlaz: vrednost pozicije 1. Ako je zavrˇsna pozicija vrati f (pozicija) 2. v := −∞ 3. Za svaku poziciju s do koje se moˇze doći u jednom potezu: • Ako je M in(s, α, β) > v onda v := M in(s, α, β) • Ako je v ≥ β onda vrati v • Ako je v > α onda α := v 4. vrati v Funkcija: Min Ulaz: pozicija, alfa vrednost α, beta vrednost β, funkcija evaluacije f Izlaz: vrednost pozicije 1. Ako je zavrˇsna pozicija vrati f (pozicija) 2. v := ∞ 3. Za svaku poziciju s do koje se moˇze doći u jednom potezu: • Ako je M ax(s, α, β) < v onda v := M in(s, α, β) • Ako je v ≤ α onda vrati v • Ako je v < β onda β := v 4. vrati v Figure 8.5: Algoritam alfa-beta

8.4.5

Heuristika killer

U prethodnom poglavlju reˇceno je da se efikasnost algortima moˇze popraviti ako se u svakom cˇ voru potezi ispituju, po nekoj proceni, od najboljeg ka najlosˇ ijem. Sliˇcno, algoritam alfa-beta daje dobre razultate ako se u svakom cˇ voru najpre ispituje najbolji potez. Naravno, nije moguće unapred znati koji je potez najbolji u datom cˇ voru, ali se i dobrim procenama (izborom jednog od boljih poteza) postiˇzu dobri efekti. Heuristika killer (ponekad se naziv i w-killer) zasniva se na navedenim cˇ injenicama i ne koristi specifiˇcna znanja o igri (da bi se

138


procenilo koji potezi su dobri). Neka se u pretraˇzivanju stabla alfa-beta algoritmom prvi put ocenjuje neki ¯ cˇ vor na dubini d (d ≥ 1) i neka je W najbolji pronadeni potez u smislu tog cˇ vora. Taj potez zvaćemo killer potezom za dubinu d. U svakom sledećem cˇ voru na dubini d, ispitivanje poteza poˇcinjemo sa killer potezom za tu dubinu. Ukoliko se pokaˇze da je za taj cˇ vor bolji neki drugi potez (W 0 ), taj potez postaje killer potez za dubinu d. Ukoliko se pretraˇzivanje stabla igre vrˇsi do dubine dmax , opisana heuristika primenjuje se za sve dubine d takve da je 1 ≤ d ≤ dmax − 1. Alfa-beta algoritam proˇsiren killer heuristikom zovemo alfa-beta/killer algortimom. Primetimo da se primenom killer heuristike ne menja rezultat alfa-beta algoritma (za istu vrednosnu funkciju i istu dubinu pretraˇzivanja) — tj. dobija se potez sa istom ocenom (ne nuˇzno i isti potez) kao primenom algoritama alfa-beta ili minimaks, i to najˇceˇsc´ e sa bitno manjim brojem ispitanih cˇ vorova stabla. Smisao killer heuristike je sledeći: ukoliko je u jednoj grani stabla na dubini d najbolji potez W , ima izgleda da je on najbolji (ako je legalan) i u drugim granama stabla na istoj dubini. Ilustrujmo to na primeru sˇ aha: neka igraˇcu koji je na redu preti mat u sledećem potezu i neka nijedan njegov potez ne moˇze da otkloni tu pretnju. Pretraˇzivanjem stabla, u cˇ voru u kojem je na potezu protivnik, otkriva se matni potez i on postaje killer potez (za dubinu 1). Pri daljem pretraˇzivanju stabla, na dubini 1 najpre se ispituje taj potez i kako on vodi pobedi protivnika, alfa odsecanje cˇ ini nepotrebnim dalje ispitivanje poteza u tom cˇ voru. Time se broj cˇ vorova stabla koje u ovakvoj situaciji treba ispitati drastiˇcno smanjuje. U poglavlju 8.2 reˇceno je da mogući (ne samo legalni) potezi treba da budu ¯ organizovani u cikliˇcni niz, tj. da se je za svaki potez jednoznaˇcno odreden sledeći. Taj zahtev je u direktnoj vezi sa killer heuristikom, jer se ispitivanje poteza u skladu sa njom, vrˇsi poˇcev od killer poteza i, ispitavˇsi (eventaulno) ¯ kako je moguće da killer sve ostale, cikliˇcno vraća do tog istog poteza. Takode, potez u nekom cˇ voru odgovarajuće dubine nije legalan, generator treba da za svaki mogući potez, bio on u konkretnoj poziciji legalan ili ne, jednoznaˇcno ¯ odreduje sledeći legalan potez.

8.4.6

Iterativni alfa-beta/killer algoritam

Za dubinu pretraˇzivanja dmax iterativni alfa-beta/killer algoritam se realizuje na sledeći naˇcin: najpre se vrˇsi pretraˇzivanje stabla igre do dubine 1 (svejedno je kojim algoritmom, jer do dubine 1 nema alfa i beta odsecanja) i najbolji ¯ pronadeni potez postaje killer potez za nivo 0 — za poˇcetni cˇ vor. Dalje se, redom za dubine d (2 ≤ d ≤ dmax ) primenjuje algoritmom alfa-beta/killer. i dobijeni najbolji potez postaje killer potez za poˇcetni cˇ vor. Kao najbolji potez bira se onaj dobijen zavrˇsnom primenom alfa-beta/killer algoritma za dubinu dmax . Efekti iterativnog algoritma su, u svakoj iteraciji, sliˇcni efektima alfa-beta/killer algoritma, s tim sˇ to u iterativnom algoritmu postoji i killer potez za poˇcetni cˇ vor u pretraˇzivanju. Ima izgleda da je u svakoj iteraciji taj killer potez bolje odabran i da daje bolje rezultate (veći broj alfa i beta odsecanja). Druga vaˇzna i dobra osobina iterativnog algoritma je to sˇ to za sluˇcaj prekida pretraˇzivanja, ¯ praktiˇcno u svakom trenutku ima smisleni rezultat kao najbolji pronadeni potez za neku kompletno zavrˇsenu iteraciju (videti poglavlje 8.4.8). Ono sˇ to izgleda

8.4 Srediˇsnjica

139

kao mana algortima — viˇsestruko pretraˇzivanje nekih cˇ vorova — ne utiˇce bitno na perofrmanse algoritma. Naime, u odnosu na vreme utroˇseno za zavrˇsnu iteraciju, vreme utroˇseno na sve ostale iteracije praktiˇcno je zanemarljivo. Pored toga, s obzirom na (najˇceˇsc´ e) dobro odabran killer potez za poˇcetni cˇ vor, zavrˇsna iteracija c´ e obiˇcno zahtevati ispitivanje manjeg broja cˇ vorova od alfa-beta/killer algoritma za istu dubinu. Naglasimo da se i primenom iterativnog alfa-beta/killer algoritma dobija najbolji potez (potez sa najboljom ocenom) za datu vrednosnu funkciju i datu dubinu pretraˇzivanja sˇ to je vaˇzno svojstvo algoritama minimaks, alfa-beta i alfa-beta/killer. Kao modifikacija ovog algoritma, moˇze se vrˇsiti samo prva i poslednja iteracija, jer se i prvom iteracijom cˇ esto dobija dovoljno dobar killer potez za dubinu 0. U razliˇcitim konkretnim situacijama, nekad je bolji jedan, a nekad drugi algoritam, s tim sˇ to je, zbog mogućnosti prekida, u praksi prihvatljiviji kompletni iterativni algoritam.

8.4.7

Stabilno pretraˇzivanje

U prethodnim algoritmima se uvek govorilo o pretraˇzivanju do fiksne dubine. Nedostatak takvog pristupa je u tome sˇ to funkcija evaluacije, koja se primenjuje na cˇ vorove na najvećoj dubini, ne razmatra moguće nastavke za pozicije na najvećoj dubini. Te ocene, ma koliko funkcija evaluacije bila dobra, mogu da budu varljive i da vode loˇsem izboru poteza (u sˇ ahu se npr. moˇze izabrati potez zbog nekog, naizgled dobrog, zavrˇsnog cˇ vora u kojem se zarobljava protivnikov top, ali se ne zna da nakon toga moˇze da bude izgubljena kraljica ili da sledi mat). Zbog toga se primenjuje ,,stabilno pretraˇzivanje“(eng. quiscence searching): vrˇsi se pretraˇzivanje do neke fiksne dubine, ali se pretraˇzivanje nastavlja i dalje ukoliko je, po nekom kriterijumu, zavrˇsni cˇ vor ,,nestabilan“. ¯ moˇze da bude ograniˇcena. Maksimalna dubina dodatnog pretraˇzivanja takode Stabilno pretraˇzivanje moˇze se primenjivati u kombinaciji sa bilo kojim od do sada opisanih algoritama. ¯ Kriterijumi stabilnosti poteza odreduju se u skladu sa specifiˇcnostima konkretne igre, ali i za istu igru mogu biti razlikiˇciti. U sˇ ahu, na primer, pozicija se moˇze smatrati stabilnom ukoliko igraˇc koji je na potezu nije pod sˇ ahom, ukoliko mu kraljica ne ,,visi“, ukoliko ne ,,visi“ nijedna protivnikova figura i ukoliko ne ¯ preti neposredno izvodenje nekog protivnikovog peˇsaka. Savremeni programi za sˇ ah cˇ esto pretraˇzuju stablo igre do dubine 4 (4 polupoteza tj. dva poteza) sa dodatnim, stabilnim pretraˇzivanjem do dubine 16 ili viˇse.

8.4.8

Prekidi i vremenska ograniˇcenja

Vaˇzan problem u programiranju logiˇckih igara su i prekidi: potrebno je da program izabere smislen i dobar potez i ukoliko se pretraˇzivanje stabla igre prekine pre nego sˇ to se izvrˇsi kompletan algoritam. Potrebno je, dakle, da algoritam, i ukoliko je prekinuto njegovo normalno izvrˇsavanje, vrati neki legalan potez. Naravno, poˇzeljno je i da taj potez bude sˇ to bolji. Prekidi mogu biti izazvani akcijom korisnika ili ograniˇcenjima vremena raspoloˇzivog za jedan

140


potez ili za celu partiju2 . Većina algoritama koji su do sada opisani u situacijama prekida moˇze da izabere tekući najbolji potez. Ipak, kad algoritam nije kompletno izvrˇsen (i, na primer, ispitani su samo neki, povoljni odgovori protivnika), tako odabran potez moˇze biti veoma loˇs. Za reˇsavanje ovog problema najpogodniji je iterativni alfa-beta/killer algoritam, jer praktiˇcno u svakom trenutku3 ima neku kompletno zavrˇsenu iteraciju i njen rezultat cˇ esto jeste dovoljno dobar potez (iako, naravno, obiˇcno slabiji nego potez koji bi bio dobijen kompletno izvrˇsenim algoritmom).

8.4.9

Sloˇzenost algoritama za pretraˇzivanje stabla igre

¯ Za formulisanje tvrdenja u vezi sa kompleksnoˇsc´ u algoritama za pretraˇzivanje stabla igre, potrebno je uvesti nekoliko definicija. Definicija 8.1 Uniformno stablo stepena n je stablo cˇ iji svi cˇ vorovi sem zavrˇsnih imaji taˇcno po n neposrednih potomaka. Definicija 8.2 (d, n, F )-stablo je uniformno stablo dubine d, gde je d paran broj i stepena n sa zavrˇsnim cˇ vorovima kojima su pridruˇzene vrednosti po raspodeli F . Definicija 8.3 Neka je A deterministiˇcki algoritam za pretraˇzivanje (d, n, F )-stabla i neka je IA (d, n, F ) oˇcekivani broj zavrˇsnih cˇ vorova koje algoritam A ispituje. Tada vrednost RA (n, F ) = lim [IA (d, n, F )]1/d d→∞

zovemo faktor grananja algoritma A. Faktor grananja je kljuˇcna karakteristika algoritama za pretraˇzivanje stable igre jer govori o oˇcekivanom broju zavrˇsnih cˇ vorova koje nekim algoritmom treba ispitati. Naime, ukoliko je R faktor grananja nekog algoritma, onda je oˇcekivani broj ispitanih cˇ vorova za dubinu pretraˇzivanja d jednak Rd . Ako se uniformno stablo stepena n i dubine d pretraˇzuje minimaks algoritmom, biće ispitano nd zavrˇsnih cˇ vorova stabla, pa je faktor grananja algoritma minimaks oˇcigledno jednak n, tj. Rminimax (n, F ) = n. ¯ Problem odredivanja faktora grananja alfa-beta algoritma mnogo je sloˇzeniji. Slagle i Dixon pokazali su 1969. godine da alfa-beta algoritam mora da ispita viˇse od 2n[d/2] − 1 zavrˇsnih cˇ vorova uniformnog stabla stepena n i dubine d, ali da u najloˇsijoj situaciji moˇze da ispita i svih nd [?]. Knuth i Moore su 1975. godine [?] dokazali da faktor grananja za jednu pojednostavljenu verziju algoritma alfa-beta (bez dubokih odsecanja) pripada klasi funkcija O(n/ log n). Konaˇcan odgovor na pitanje o faktoru grananja alfa-beta algoritama daje sledeće teorema Judea Pearl-a iz 1982. godine [?]. 2 Ukoliko je ograniˇ ceno vreme raspoloˇzivo za celu partiju, program mora i da ga ekonomiˇcno deli na procenjeni broj poteza. 3 Prva iteracija, za gotovo sve igre i na gotovo svim raˇ cunarima, moˇze biti zavrˇsena u deliću sekunde.

8.5 Zavrˇsnica

141

Teorema 8.1 Faktor grananja alfa-beta algoritma za neprekidno-vrednosno uniformno stablo stepena n jednak je ξn Rα−β = 1 − ξn gde je ξn pozitivni koren jednaˇcine xn + x − 1 = 0. Za n ≤ 1000 vrednost nosti n3/4 , tj.

ξn 1−ξn

Rα−β =

pribliˇzno je jednaka (0.925)n0.747 i, grubo, vred-

ξn ≈ (0.925)n0.747 ≈ n3/4 . 1 − ξn

¯ Posledicu navedene teoreme je i sledeće, izuzetno vaˇzno tvrdenje [?]). Teorema 8.2 Alfa-beta algoritam je asimptotski optimalan algoritam za pretraˇzivanje stabla igre. ¯ Navedeno tvrdenje znaˇci da ne postoji algoritam za pretraˇzivanje stabla igre koji, u opˇstem sluˇcaju, asimptotski ispituje manje zavrˇsnih cˇ vorova nego algoritam alfa-beta. Algoritmi, koji su opisani u prethodnom delu teksta i ¯ koji predstavljaju unapredenja algoritma alfa-beta u praksi zaista najˇceˇsc´ e daju bolje rezultate nego algoritam alfa-beta i to je uslovljeno prirodom stabla igre i funkcijom koja ocenjuje zavrˇsne cˇ vorove (koja nije sluˇcajna). Ipak, faktori grananja ovih algoritama se ne razlikuju od faktora grananja alfa-beta algoritma i u opˇstem sluˇcaju oni ne garantuju manje ispitanih zavrˇsnih cˇ vorova stabla nego algoritam alfa-beta. U praksi, faktor grananja alfa-beta algoritma za većinu diskretno-vrednosnih stabala jednak je Rα−β = n1/2 .

8.5

Zavrˇsnica

U igrama kao sˇ to je sˇ ah zavrˇsnica se, po svojim karakteristikama i po znanjima koje se koriste, bitno razlikuje od srediˇsnjice, pa iziskuje i posebne pristupe. U nekim od takvih igara, i u zavrˇsnici se uspeˇsno mogu koristiti algoritmi i tehnike koje se koriste u srediˇsnjici, ali uz koriˇsc´ enje posebne ili viˇse posebnih funkcija evaluacije. U onim drugim igrama, reˇsenja koja se zasnivaju na dubinskom pretraˇzivanju ne daju dobre rezultate u zavrˇsnici jer kvalitetna igre iziskuje jako veliku dubinu pretraˇzivanja. Problem zavrˇsnice je joˇs teˇzi ako se postavi zahtev za korektnom ili optimalnom igrom/taktikom4 . Ukoliko se, tehnikama koje se koriste u srediˇsnici, sistematsko pretraˇzivanje vrˇsi do ¯ zavrˇsnih cˇ vorova time se obezbeduje optimalna strategija (naravno, za većinu igara to je u praksi nemoguće izvesti). Tako, na primer, optimalnu igru u sˇ ahovskoj zavrˇsnici praktiˇcno je nemoguće obezbediti (za uobiˇcajena vremenska ograniˇcenja), jer su moguće zavrˇsnice u kojoj igraˇc ima dobijenu poziciju, ali ne moˇze da matira protivnika u manje od dvadeset poteza, pa takva 4 Za

taktiku kaˇzemo da je korektna ukoliko u dobijenoj poziciji sigurno vodi do pobede i ukoliko pri (teorijskoj) remi–poziciji sigurno vodi bar remiju. Za taktiku kaˇzemo da je optimalna ukoliko u dobijenoj poziciji vodi pobedi u najmanjem broju poteza, odnosno ukoliko u izgubljenoj poziciji poraz maksimalno odlaˇze. Oˇcigledno, ako je taktika optimalna, onda je i korektna, ali ne vaˇzi obratno.

142


zavrˇsnica za optimalnu igru zahteva dubinu pretraˇzivanja veću od dvadeset. Sliˇcni problemi vaˇze i za korektnu taktiku. Neprimenljivost dubinskog pretraˇzivanja u zavrˇsnici uslovljava razvoj kval¯ itativno novih tehnika prilagodenih konkretnim igrama. Neke od njih zasnovane su na tehnikama koje se koriste u reˇsavanju problema (u razliˇcitim domenima veˇstaˇcke inteligencije) ili u automatskom dokazivanju teorema. Kako u ovoj problematici (joˇs) nisu data opˇsta valjana reˇsenja, kako postojeća reˇsenja predstavljaju primene cˇ itavih matematiˇckih teorija na domen igara, u nastavku c´ e biti opisani samo neki od algoritama i ideja koji se mogu efikasno primenjivati u automatskom izboru poteza u sˇ ahovskim zavrˇsnicama.

8.5.1

Skupovi pozicija kao klase ekvivalencija

M.A.Bramer (Faculty of Mathematics, Milton Keynes, England) je 1975. (v. [?]) fomulisao sledeći opˇsti algoritam za zavrˇsnicu: (a) generiˇsi skup svih legalnih poteza — skup Q; (b) odaberi najbolje ocenjeni elemenat skupa Q — element q; (c) odigraj potez q; Kljuˇcni korak algoritma (korak (b)) zasnovan je na sledećoj ideji: neka je skup Q∗ skup svih regularnih pozicija u igri i neka je svaka od tih pozicija svrstana u taˇcno jedan od podskupova koji razlaˇzu Q∗ (to razlaganje definiˇse se u skladu sa prirodom konkretne igre tako da istom skupu pripadaju suˇstinski sliˇcne pozicije – npr. u sˇ ahu, sve pozicije KPK); svakom od tih skupova (odnosno klasa ekvivalencije) pridruˇzena je jedinstvena ocena i jedinstvena funkcija evaluacije. Ocenjivanje koje se pominje u koraku (b) Bramerovog algoritma svodi se na sabiranje ocene klase pozicija i ocene pozicije koja toj klasi pripada. Na taj naˇcin ocenjuju se svi legalni potezi iz datog cˇ vora i to bez ikakvog pretraˇzivanja preko dubine 1. Kao najbolji bira se potez kojem odgovara najveća zbirna ocena. Opisani algoritam ima brojne varijacije (ukljuˇcujući vari¯ jacije uporedivanja elemenata iz razliˇcitih klasa ekvivalencije, provere izabranog poteza pretraˇzivanjem u dubinu itd.). Bramerov algoritam, razlaganjem skupa problema na klase sliˇcnih problema, u priliˇcnoj meri prirodno odgovara cˇ ovekovom naˇcinu razmiˇsljanja. Pored ¯ toga, algoritam moˇze biti i veoma efikasan, jer poredenje poteza vrˇsi po kljuˇcnim ¯ dva parametrima za konkretnu zavrˇsnicu (npr, u sˇ ahu, po rastojanju izmedu kralja), a ne po opˇstim kriterijumima koji se koriste u srediˇsnici. Algoritam zahteva kompleksno definisanje svih relevantnih klasa pozicija u zavrˇsnici i svih odgovarajućih funkcija evaluacije, ali je i pored toga verovatno najprihvatljivije i najˇceˇsc´ e koriˇsc´ eno reˇsenje za automatski izbor poteza u zavrˇsnici.

8.5.2

Tekstovi saveta

Jedan od koncepata koji se primenjuju u sˇ ahovskim zavrˇsnicama je i tzv. koncept tekstova saveta (eng. advice texts; autor Ivan Bratko, Ljubljana, Slovenija; v. [?]). Navedimo, kao ilustraciju, tekst saveta za zavrˇsnicu KRK – kralj i top protiv kralja:

8.6 Implementaciona pitanja

143

1. ,,MAT“: Proveri da li je moguće matirati protivnika u dva poteza; ¯ naˇcin da topom smanjiˇs 2. ,,STEZANJE“: Ako (1) nije moguće, pronadi prostor na tabli dostupan protivniˇckom kralju; ˇ ¯ naˇcin da svog 3. ,,PRIBLIZAVANJE“: Ako (1) i (2) nije moguće, pronadi kralja pribliˇziˇs protivniˇckom; ˇ ¯ 4. ,,ZADRZAVANJE“: Ako nisu primenljivi delovi saveta (1), (2) i (3), pronadi potez koji zadrˇzava trenutno stanje u smislu (2) i (3) (tj. odaberi ”potez cˇ ekanja”); 5. ,,RAZDVAJANJE“: Ako nisu primenljivi delovi saveta (1), (2), (3) i (4), ¯ potez kojim se dobija pozicija u kojoj top razdvaja dva kralja, pronadi bilo vertikalno ili horizontalno. Nedostatak koncepta ilustrovanog navedenim primerom je u tome sˇ to iziskuje posebne tekstove saveta za sve suˇstinski razliˇcite zavrˇsnice. Pored toga, za sve tipove zavrˇsnica nije jednostavno (ili nije moguće) napraviti koncizan i efikasan tekst saveta.

8.6


U ovom poglavlju biće reˇci o polaznim pitanjima u pravljenju programa za ¯ logiˇcke igre: o strukturama podataka koje se koriste, o njihovim medusobnim ¯ biće reˇci i o proveri legalvezama i organizaciji na nivou programa. Takode, nosti (korektnosti) poteza i o generatorima legalnih poteza. Izbor reˇsenja ovih problema od kljuˇcne je vaˇznosti za svaki pojedinaˇcni program i on determiniˇse gotovo cˇ itav koncept programa. Kao kod gotovo svih oblasti programiranja, i kod programiranja igara izbor struktura podataka je najˇceˇsc´ e pitanje od izuzetne vaˇznosti. Od pravilnog izbora struktura podataka neposredno zavisi ne samo jednostavnost programa, već i njegova efikasnost. Pored toga, dobra poˇcetna organizacija podataka ¯ cˇ esto prirodno odreduje cˇ itav koncept programa i reˇsavanje mnogih drugih suˇstinskih problema. U programima za većinu logiˇckih igara, zbog velikog broja poteza koje je potrebno ispitivati, neophodna je velika brzina izvrˇsavanja pojedinih modula (i pored sve brˇzih raˇcunara). Zato je potrebno podatke organizovati tako da izraˇcunavanja (u sˇ irem smislu te reˇci) koja se koriste budu sˇ to jednostavnija i brˇza. U tom smislu, kao dobar okvir nameće se organizacija podataka koja se oslanja na bitovsku aritmetiku (umesto na celobrojnu ili realnu). I za sva izraˇcunavanja poˇzeljno je koristiti bitovsku aritmetiku, a tamo gde je to nemoguće ili nepodesno — celobrojnu. Kod svih igara, jedna od osnovnih struktura podataka je struktura koja odgovara potezu. Kod igara koje se igraju na tabli, ta struktura je, oˇcigledno, u neposrednoj vezi sa strukturom koja opisuje tablu. Tablu igre n×m u programu moˇzemo opisati kao tabelu, odnosno matricu n×m cˇ iji su elementi tipa char ili int5 . U skladu sa navedenom idejom o upotrebi bitovske aritmetike, moˇze se 5 U daljem tekstu c ´ emo, kada govorimo o nekim konkretnim realizacijama na raˇcunaru, ako ne naglasimo drugaˇcije, podrazumevati da se radi o reˇsenjima u okviru programskog jezika C.

144


kao prihvatljivo reˇsenje za opis table izabrati i niz bitovskih matrica. Tako npr. u sˇ ahu moˇze se za svaki tip figura (i to za oba igraˇca) koristiti po jedna bitovska tabela 8 × 8 u kojoj bi vrednost 1 oznaˇcavala da igraˇc na tom polju ima figuru tog tipa, a vrednost 0 sve ostale mogućnosti. Na taj naˇcin jedna tabela 8 × 8 bila bi zamenjena sa 12 (svaki igraˇc ima po sˇ est tipova figura) tabela 8 × 8 cˇ iji su elementi bitovskog tipa. Dodatna pogodna okolnost u ovom pristupu je sˇ to opisana bitovska tabela moˇze da se opiˇse jednostavno kao niz osam karaktera (jer tipu karakter odgovara jedan bajt, odnosno osam bita). Ovakav pristup (i analogni u drugim igrama), mada na prvi pogled moˇzda komplikovaniji, omogućava brojna jednostavna i brza reˇsenja kod provere legalnosti poteza, generisanja legalnih poteza i sl. Struktura koja opisuje potez treba da sadrˇzi informacije dovoljne da bi se potez odigrao, ali poˇzeljno je (mada ne i neophodno) i da bi se eventualno ”vratio”. Kod jednostavnih igara, kao sˇ to je npr. igra iks-oks dovoljne su informacije o tome koji je igraˇc potez odigrao6 i na kojem polju. Kod igre reversi, to viˇse nisu dovoljne informacije, jer na osnovu njih ne moˇze biti vraćen potez. Naime, na osnovu informacije o igraˇcu i polju ne moˇze se rekonstruisati pozicija pre tog poteza, pa struktura koja opisuje potez mora da sadrˇzi i listu zˇ etona koji pri tom potezu menjaju boju. Kod sˇ aha je situacija joˇs sloˇzenija, jer figure se pomeraju (a ne dolaze ”niotkuda” kao u igrama iks-oks i reversi), pa pored oznake igraˇca, struktura koja opisuje potez mora da sadrˇzi informacije i o polaznom i o odrediˇsnom polju. Pored toga, radi mogućnosti vraćanja poteza, ta struktura mora da sadrˇzi i informaciju o (eventualno) ”pojedenoj” figuri, o (eventualno) ”izvedenom” peˇsaku (i o figuri u koju je promovisan), kao i informaciju o (eventualno) primenjenom pravilu ”en-passant”7 . Naˇcin na koji c´ e navedeni podaci da budu opisani direktno je uslovljen strukturom koja opisuje tablu igre. Ukoliko je odabran pristup sa bitovskom reprezentacijom table i poteza, operacije odigravanja i vraćanja poteza i sliˇcne svodiće se na jednostavne i brze logiˇcke operacije AND, OR, XOR, NOT i njihove kombinacije. Program za igru moˇze biti tako koncipiran da se potezi koji se odigravaju ¯ ne pamte niti povezuju na bilo koji naˇcin. Medutim, ukoliko se zˇ eli mogućnost vraćanja poteza (i ako je ta mogućnost pripremljena pravilnim izborom strukture koja opisuje potez tako da sadrˇzi sve potrebne informacije), potezi se tokom partije smeˇstaju u povezanu listu (LIFO tipa, tj. stek). Pored toga, ukoliko se zˇ eli i mogućnost ponovnog reprodukovanja partije ili njenog memorisanja, poteze tokom partije treba smeˇstati u dvostruko povezanu listu. Na nivou programa, opisane strukture treba da budu organizovane tako ¯ dva igraˇca, kao i mogućnost da program zameni da omogućavaju igru izmedu bilo kog igraˇca (u celom toku partije, u pojedinaˇcnom potezu ili samo za davanje preporuke). Provera legalnosti poteza vrˇsi se u skladu sa pravilima pojedine igre, a u konkretnom programu, i u skladu sa izabranim strukturama podataka. Na ¯ termina mogući potezi samom poˇcetku, naglasimo da pravimo razliku izmedu i legalni potezi: mogućim potezima nazivamo one koji su legalni u bar jednoj regularnoj poziciji igre. Ako sam program uˇcestvuje u partiji kao jedan od igraˇca i ako treba da 6 Podatak o tome koji je igraˇ c odigrao potez cˇ esto nije neophodan, jer se potezi prvog i drugog igraˇca smenjuju naizmeniˇcno. 7 Rokade se mogu opisati samo preko poteza kralja, pa nije potrebno da informacija o rokadi bude sadrˇzana u strukturi potez.

8.6 Implementaciona pitanja

145

odabere svoj potez, koristi se tzv. generator legalnih poteza. Pre svega u strategijama koje se koriste u srediˇsnjici partije, vrˇsi se pretraˇzivanje legalnih poteza i po nekom kriterujumu bira se najbolji potez. Kako se pri tome ide i po nekoliko poteza u dubinu, oˇcigledna je neophodnost da generator legalnih poteza (koji se oslanja na modul za proveru legalnosti) radi izuzetno brzo. Moduli za proveru legalnosti i generisanje poteza treba, dakle, da budu sˇ to je moguće jednostavniji i brˇzi. Ukoliko izabrane strukture podataka to dozvoljavaju, poˇzeljno je da ovi moduli rade koristeći bitovsku aritmetiku. Poˇzeljno je da se legalni potezi generiˇsu cikliˇcno tj. da se za svaki legalan potez moˇze jednoznaˇcno odrediti sledeći legalan potez. Ovo je potrebno kako bi se obezbedilo brzo ispitivanje svih legalnih poteza bez obzira na to od kojeg poteza je ispitivanje poˇcelo. Takva organizacija legalnih poteza biće koriˇsc´ ena u algoritmima za srediˇsnjicu partije, o cˇ emu c´ e biti reˇci u narednim poglavljima.

146


Glava 9

Genetski algoritmi Genetski algoritmi (GA) su familija opˇstih heuristiˇckih algoritama globalne pretrage zasnovanih na Darvinovoj ideji evolucije. Oni pripadaju sˇ iroj grupi evolucionih algoritama koji koriste tehnike inspirisane evolucionom biologi¯ jom, kao sˇ to su nasledivanje, mutacija, selekcija, ukrˇstanje itd. Genetski algoritmi se mogu koristiti za nalaˇzenje taˇcnog ili pribliˇznog reˇsenja nekog problema optimizacije ili pretrage. Mada je joˇs pedesetih godina dvadesetog veka bilo raˇcunarskih simulacija zasnovanih na evoluciji, smatra se da je moderne genetske algoritme uveo Dˇzon Holand sedamdesetih godina dvadesetog veka [?], a postali su popularni kasnih osamdesetih godina. Tokom prethodnih dvadesetak godina ostvaren je veliki napredak u razvoju genetskih algoritama. Genetski algoritmi se uspeˇsno primenjuju na sˇ irokom skupu problema, cˇ esto NP-kompletnih ili teˇzih problema, za koje ne postoje efikasna reˇsenja. Neki od tih problema su problem nalaˇzenja najkraćeg puta u grafu, problem trgovaˇckog putnika, logiˇckim igrama itd. Genetski algoritmi imaju uspeˇsne primene u ekonomiji, tehnici, bioinformatici, hemiji, fizici itd. Popularnost genetskih algoritama potiˇce iz njihove uspeˇsnosti, ali i jednostavnosti. Naime, ideje na kojima su genetski algoritmi zasnovani su jednostavne za razumevanje i implementiranje, a daju opˇsti sistem pretrage primenjljiv na veliki broj problema. Uporedo sa nalaˇzenjem brojnih novih primena i ¯ unapredivanjem algoritma, razvijaju se i teorijski osnove genetskih algoritama, ali joˇs uvek sa nedovoljno uspeha. Genetski algoritmi uspeˇsno se primenjuju u optimizacionim problemima u kojima postoji viˇse lokalnih ekstremuma. Ipak, iako cˇ esto nalaze globalne eksremume, za genetske algoritme ne postoji nikakva garancija o tome da li je ¯ u pitanju lokalni estremum niti o tome sa kolikom greˇskom je odredeno reˇsenje.

9.1

Motivacija za genetske algoritme

Genetski algoritmi motivisani su prirodnim evolucionim procesima. U prirodi, ¯ evolucija je proces u kojem jedinke koje su najbolje prilagodene okolini preˇzivljavaju ¯ i ostavljaju potomstvo koje je, najˇceˇsc´ e isto tako ili bolje prilagodeno okolini. Svaka c´ elija svakog zˇ ivog organizma sadrˇzi hromozome. Svaki hromozom ¯ sadrˇzi skup gena — blokove DNK. Svaki gen odreduje neku osobinu organizma. Familija gene se cˇ esto naziva genotip, a familija osobina fenotip. Re-

148

9 Genetski algoritmi

produkcija organizama ukljuˇcuje kombinovanje gena roditelja i, pored toga, ¯ okolini. male koliˇcine mutacije. Jedinka moˇze biti manje ili viˇse prilagoden ¯ Jedinka koja je bolje prilagoddena okolini u kojoj zˇ ivi ima veću verovatnoću preˇzivljavanja i ostavljanja potomstva, a time i prenoˇsenja svog genetskog ma¯ terijala. Genetski materijal prilagodenih jedinki uglavnom opstaje, dok genet¯ ski materijal neprilagodenih jedinki uglavnom nestaje kroz generacije. Dakle, ¯ evolucioni procesi u prirodi su, u odredenom smislu, optimizacioni procesi — procesi u kojima se kroz generacije optimizuje genetski materijal (tj. osobine ¯ okolini. organizama) tako da bude sˇ to bolje prilagoden

9.2

Osnovni genetski algoritam

Genetski algoritmi se implementiraju kao raˇcunarska simulacija u kojoj populacija apstraktno reprezentovanih jedinki (nazvanih hromozomi ili genotip) koje su kandidati za reˇsenje za optimizacioni problem (to moˇze biti numeriˇcka vrednost, matematiˇcka funkcija, put u grafu itd.), treba da se postupno pribliˇzava boljim reˇsenjima. Jedinke su obiˇcno reprezentovane nizovima nula i jedinica, ali su moguće i druge reprezentacije (za probleme u kojem binarna reprezentacija nije pogodna). Postupak se odvija kroz generacije. Poˇcetna generacija obiˇcno cˇ ine sluˇcajno generisane jedinki ali moˇze da se zasniva i na jedinkama koje su (grubi) rezultat neke druge optimizacione metode. Obiˇcno u svakoj generaciji postoji isti broj jedinki i za svaku od njih se ¯ raˇcuna njen kvalitet (analogon prilagodenosti okolini). Funkcija koja pridruˇzuje ¯ te vrednosti jedinkama naziva se funkcija prilagodenosti, funkcija kvaliteta, funkcija evaluacije1 ili funkcija cilja. Ova funkcija ima kljuˇcnu ulogu u algoritmu. ¯ Iz jedne generacije se stohastiˇcki, na osnovu vrednosti funkcije prilagodenosti, biraju jedinke (sa većom verovatnoćom se biraju one kvalitetnije) koje c´ e biti prenete u sledeću generaciju i biti iskoriˇsc´ ene za stvaranje novih jedinki (potomstva). Ovaj postupak izbora jedinki se naziva selekcija. Nad izabranim jedinkama primenjuju se genetski operatori ukrˇstanja2 i mutacije i tako dobijaju nove jedinke. Ukrˇstanjem se od dve jedinke dobija nova (ili dve nove) sa genetskim materijalom koji je dobijen neposredno od roditelja, tj. od polaznih jedinki. Mutacijom se modifikuje deo polazne jedinke (i ona oponaˇsa mutacije koje se u prirodi javljaju pod uticajem spoljnih faktora). U svakoj generaciji, dakle, dolazi do rekombinacije gena zbog koje se javlja sliˇcnost sa roditeljskim ¯ jedinkama iste generacije. Generalno, neke jedinkama, ali i razliˇcitost medu jedinke u novoj generaciji mogu biti bolje ali neke mogu biti loˇsije od jedinki ¯ iz prethodne generacija, ali se oˇcekuje da se proseˇcna prilagodenost popravlja. Tako dobijena nova generacija koristi se za sledeću iteraciju algoritma. Postupak se zauastavlja kada je dostignut zadati broj generacija, kada je ¯ dostignut zadati nivo kvaliteta populacije (najprilagodenije jedinke u njoj ili ¯ nekog procenta najprilagodenijih jedinki) ili kada je ispunjen neki drugi uslov. Ukoliko je dostignut zadati broj generacija, nema nikakvih garancija da tekuća ¯ najkvalitetnija jedinka ima zadovoljavajuću prilagodenost. Opˇsti genetski algoritam prikazan je na slici . 1 Ponekad se termin funkcija evaluacije koristi za funkciju koja meri performanse genetskog algoritma sa nekim fiksiranim parametrima. 2 Ovaj termin nije sasvim u skladu sa znaˇ cenjem koji ima u biologiji.

9.3 Reprezentacija jedinki

149

Algoritam: Opˇsti genetski algoritam Ulaz: — Izlaz: najkvalitetnija jedinka u tekućoj populaciji 1. Generiˇsi poˇcetnu populaciju potencijalnih reˇsenja; 2. Izraˇcunaj prilagoenost svake jedinke u populaciji; 3. Izvrˇsavaj sledeću petlju sve dok nije zadovoljen uslov zaustavljanja: • Izaberi iz populacije skup jedinki za reprodukciju; • Generiˇsi novu generaciju, primenivˇsi nad izabranim jedinkama proces reprodukcije (tj. genetske operatore ukrˇstanje i mutaciju); • Izraˇcunaj prilagoenost novogenerisanih jedinki; • Zameni najloˇsije jedinke u populaciji novogenerisanim jedinkama. 4. vrati najkvalitetniju jedinku u tekućoj populaciji Figure 9.1: Opˇsti genetski algoritam Da bi navedeni opˇsti algoritam bio specifikovan potrebno je definisati reprezentaciju domena tj. skupa jedinki i funkciju kvaliteta. Postoje mnoge varijante genetskih algoritama, pa i navedeni opˇsti algori¯ moˇze biti variran. Na primer, moguće je ne prenositi jedinke iz tam takode jedne generacije u drugu, već cˇ itavu novu generaciju dobiti ukrˇstanjem od izabranih jedinki iz prethodne generacije.

9.3

Reprezentacija jedinki

Jedinke mogu biti reprezentovane proizvoljnom strukturom podataka koja opisuje njihova svojstva (koju zovemo hromozom). Neophodno je da hromozom moˇze da opiˇse moguće reˇsenje razmatranog problema i da se nad njim definiˇsu genetski operatori (ukrˇstanje i mutacija). Genetski operatori treba da budu definisani tako da se njima ne dobijaju jedinke koje ne predstavljaju moguća reˇsenja (na primer, nelegalne puteve u grafu), jer bi one samo naruˇsavale performanse algoritma. Pogodno odabrana reprezentacija moˇze bitno uticati na efikasnost algoritma.

9.3.1

Binarna reprezentacija

Najˇceˇsc´ e i najuspeˇsnije koriˇsc´ ena reprezentacija jedinki je u vidu nizova bitova. Svaki bit u takvoj reprezentaciji zovemo gen. Dublja priroda binarne reprezentacije zavisi od konkretnog problema. Na primer, ako je duˇzina hromozoma n (bitova) i ako je prostor mogućih reˇsenja interval realnih brojeva [a, b], onda je potrebno ¯ nizova n bitova i realnih brojeva iz datog intervala. uspostaviti vezu izmedu Tako c´ e binarna reprezentacija 000 . . . 0} odgovarati broju a, a binarna reprezentacija | {z n

150


¯ 000 . . . 1} broju b. Broju x sa binarnom reprezentacijom izmedu . . . 0} i 111 . . . 1} |111{z | {z | {z n

n

odgovara realni broj a+

n

x (x − a) 2n − 1

S druge strane, realnom broju x iz intervala [a, b] pridruˇzujemo vektor koji predstavlja binarnu reprezentaciju broja x−a n (2 − 1) . b−a Primer 9.1 Pretpostavimo da naftnu platformu treba postaviti na pogodnom mestu na ¯ taˇcaka A i B, koji je duˇzine 5000m. Lokacija platofrme je pogodnija ukoputu izmedu liko na tom mestu postoje veće rezerve nafte. U biranju lokacije moguće je meriti pos¯ A i B. Moguća reˇsenja mogu se reprezentojeće rezerve nafte na bilo kojoj taˇcki izmedu tovati nizovima bitova duˇzine 10, tj. brojevima od 0 do 1023. Taˇcki A tada odgovara broj 0 i reprezentacija 0000000000, a taˇcki B broj 1023 i reprezentacija 1111111111. Taˇcki C na rastojanju 1320m od taˇcke A odgovara vrednost 1023 · (1320/5000) ≈ 270 i reprezentacija 0100001110, a taˇcki D na rastojanju 3128m od taˇcke A odgovara vrednost 1023 · (3128/5000) ≈ 640 i reprezentacija 1010000000.

A (0000000000) 0

0

1000

100

D (1010000000)

C (0100001110) 1320

200 270 300

2000

400

3000 3128

500

600 640 700

B (1111111111) 4000

800

5000

900

1000

¯ Za vrednost funkcije prilagodenosti jedne taˇcke moˇze se uzeti rezerva nafte izmerena u toj taˇci.

9.4

Funkcija prilagodenosti ¯

¯ Funkcija prilagodenosti daje ocenu kvaliteta jedinke. Ukoliko je zadatak odred¯ iti maksimum neke funkcije, onda je prirodna funkcija prilagodenosti sâma ¯ ta funkcija. Pogodan izbor funkcije prilagodenosti je od izuzetne vaˇznosti

9.5 Inicijalizacija i zaustavljanje

151

za efikasnost algoritma. Ne postoje nikakvi opˇsti uslovi koje funkcija pri¯ lagodenosti treba da zadovoljava (sem da je definisana za sve moguće jedinke), mada je algoritam cˇ esto efikasniji za funkcije koje zadovoljavaju neke specifiˇcne ˇ je vrednost funkcije prilagodenosti ¯ uslove. Sto za neku jedinku veća, to c´ e bit veća verovatnoća da se ta jedinka koristi za generisanje sledeće generacije. Tokom rada algoritma (tj. tokom ,,procesa evolucije“) generiˇsu se nove gen¯ eracije, pri cˇ emu se oˇcekuje da je ukupna prilagodenost (pa i proseˇcna pri¯ lagodenost, jer je broj jedinki u svim generacijama jednak) sve bolji i bolji. Primer 9.2 Potrebno je odrediti maksimum funkcije f (x) na intervalu [a, b]. Funkcija je definisana za sve elemente datog intervala, ali nije nuˇzno ni neprekidna, ni diferen¯ cijabilna. Genetski algoritam moguće je primeniti tako da se za funkciju prilagodenosti koristi upravo funkcija f , a da se za reprezentaciju koristi bitovska reprezentacija (na naˇcin opisan u poglavlju 9.3.1). Ukoliko je potrebno odrediti minimum funkcije f (x), ¯ onda bi za funkciju prilagodenosti mogla da se koristi funkcija −f .

9.5

Inicijalizacija i zaustavljanje

Populaciju jedinki jedne generacije, ukoliko se koristi bitovska reprezentacija, cˇ ini vektor binarnih vektora. U toku reˇsavanja jednog problema, obiˇcno sve generacije imaju isti broj jedinki. Taj broj, veliˇcina populacije, je parametar algoritma i on je cˇ esto nekoliko desetina ili stotina. Proces inicijalizacije, tj. proces generisanja poˇcetne populacije je jednostavan. Najˇseće se poˇcetna populacija generiˇse sluˇcajno (tako da pokriva cˇ itav prostor pretrage). Ukoliko se koristi bitovska reprezentacija, jedinke poˇcetne generacije se generiˇsu kao sluˇcajni brojevi u intervalu [0, 2n −1], gde je n duˇzina hromozoma u izabranoj reprezentaciji. Dodatno, u poˇcetnu populaciju mogu biti dodate neke specifiˇcne jedinke (na primer, iz delova prostora pretrage za koje se veruje da sadrˇzi optimalna reˇsenja) ili cˇ itava poˇcetna populacija moˇze biti generisana koristeći neki drugi optimizacioni metod.

9.6

Selekcija

¯ Selekcija obezbeduje cˇ uvanje i prenoˇsenje dobrih osobina populacije (tj. dobrog genetskog materijala) na sledeću generaciju. U svakoj generaciji, deo jedinki se izdvaja za reprodukciju i generisanja nove generacije. Izdvajanje ¯ jedinki koje c´ e uˇcestovavati u reprodukciji zasniva se na funkciji prilagodenosti ¯ i, generalno, prilagodenije jedinke imaju veću verovatnoću da imaju potomstvo. U najjednostavnijim pristupima biraju se jedinke sa najvećom vrednoˇsc´ u ¯ funkcije prilagodenosti. U drugim pristupima se se jedinke biraju sluˇcajno, ¯ ali sa verovatnoćama koje su izvedene iz prilagodenosti, pri cˇ emu je moguće ¯ da budu izabrane i neke loˇsije prilagodene jedinke (to moˇze da pomogne u odrˇzvanju genetske raznolikosti i, dalje, u spreˇcavanju prerane konvergencije ka nekom lokalnom optimumu). Najpopularnije strategije selekcije su ruletska i turnirska selekcija. U bilo kojoj strategiji selekcije postoji opasnost da se neka kvalitetna jedinka izgubi tokom evolucionog procesa. Elitizam je varijacija procesa selekcije u kojoj se najbolja jedinka (ili nekoliko najboljih jedinki) u generaciji sˇ titi od eliminisanja ili bilo kakvih izmena i takva prenosi u sledeću generaciju.

152


9.6.1

Ruletska selekcija

Ruletska selekcija (eng. roulette wheel selection) je proces selekcije u kojem ¯ veće sˇ anse da uˇcestvuju u reprodukciji imaju prilagodenije jedinke. ¯ Ako je f (i) vrednost funkcije prilagodenosti za jedinku i, a N broj jedinki u populaciji, verovatnoća da c´ e jedinka i biti izabrana da uˇcestvuje u reprodukciji jednaka je f (i) pi = PN j f (j) Naziv ruletske selekcije potiˇce od analogije koje se moˇze napraviti sa ruletom. Ukoliko polja ruleta imaju sˇ irine proporcionalne verovatnoćama jedinki populacije, onda je proces biranja m jedinki za reprodukciju analogan odigravanja m partija ruleta. Primer 9.3 Pretpostavimo da populacija ima osam jedinki: a, b, c, d, e, f, g, h i da su ¯ njihove prilagodenosti redom 0.10, 0.30, 0.06, 0.10, 0.40, 0.24, 0.60, 0.20. Ukupna ¯ prilogodenost generacije jednaka je 2.00. Sledeća tabela prikazuje verovatnoće izbora jedinki u ruletskoj selekciji: jedinka ¯ prilagodenost verovatnoća izbora

a 0.10 0.05

b 0.30 0.15

c 0.06 0.03

d 0.10 0.05

e 0.40 0.20

f 0.24 0.12

g 0.60 0.30

h 0.20 0.10

Sledeća slika ilustruje, u formi ruleta, verovatnoće izbora koje su pridruˇzene jedinkama.

0.05

0.03

d c

0.20

e

0.15

b a

0.12

f

h

0.05

0.10

g 0.30

¯ U opisanom pristupu, podrazumeva da funkcija prilagodenosti ima samo pozitivne vrednosti. Ukoliko funkcija ne ispunjava taj uslov, mora se trans¯ formisati u drugu funkciju prilagodenosti. Alternativno, jedinke se mogu sor¯ tirati (opadajuće) po vrednosti funkcije prilagodenosti i onda verovatnoće izbora mogu da im budu pridruˇzene po nekoj (opadajućoj) distribuciji.

9.7 Reprodukcija i genetski operatori

153

U ruletskoj selekciji moguće je da jedna jedinka bude viˇse puta izabrana da uˇcestvuje u sledećoj generaciji i reprodukciji. Prevelik broj ponavljanja istih jedinki loˇse utiˇce na performanse algoritma.

9.6.2

Turnirska selekcija

U turnirskoj selekciji, jedinke ,,odigravaju turnire“ u kojima veće sˇ anse za pobedu ¯ (tj. za prelazak u narednu generaciju) imaju one sa boljom prilagodenoˇ sc´ u. Veliˇcina turnira k i verovatnoća p su parametari procesa turnirske selekcije. Za jedan turnir bira se sluˇcajno k jedinki iz populacije. Nakon toga, one se ¯ sortiraju po vrednosti funkcije prilagodenosti i i-ta jedinka u tako sortiranom nizu se bira sa verovatnoćom p(1 − p)i−1 . Ukoliko se u procesu selekcije koristi veća veliˇcina turnira, onda nekvalitetne jedinke imaju manje sˇ anse da budu izabrane. Selekcija sa veliˇcinom turnira 1 ekvivalentna je sluˇcajnoj selekciji. U deterministiˇckoj turnirskoj selekciji (p = 1) bira se najbolja jedinka u svakom turniru. Jedinkama koje su jednom izabrane moˇze se zabraniti uˇcestvovanje u daljim turnirima. Turnirska selekcija se moˇze efikasno implementirati na paralelnim arhitekturama.

9.7

Reprodukcija i genetski operatori

U reprodukciji uˇcestvuju jedinke koje su izabrane u procesu selekcije. Proces reprodukcije kontroliˇsu dva genetska operatora: ukrˇstanje i mutacija.

9.7.1

Ukrˇstanje

U ukrˇstanju (eng. crossover) uˇcestvuju dve jedinke koje se nazivaju roditelji. Rezultat ukrˇstanja je jedna nova jedinka ili dve nove jedinke koje zovemo deca. ¯ ¯ Oˇcekivano je da deca nasleduju osobine roditelja, ukljuˇcujući njihovu prilagodenost, ¯ pa i da imaju bolju prilagodenost od svojih roditelja. Postoji viˇse jednostavnih varijanti ukrˇstanja kada se koristi binarna reprezentacija. U jednoj varijanti dovoljno je izabrati taˇcke prekida i prekombinovati ni¯ zove bitova — jedno dete deo od jedne taˇcke prekida do sledeće nasleduje od jednog roditelja, a naredni deo od drugog. Ukrˇstanje moˇze koristiti proizvoljan broj taˇcaka prekida (s tim da je manji od duˇzine hromozoma). Slike 9.2 i 9.3 ilustruju ukrˇstanje sa jednom i sa dve taˇcke prekida. roditelj 1 roditelj 2 taˇcka prekida dete 1 dete 2

Figure 9.2: Ukrˇstanje sa jednom taˇcke prekida

154


roditelj 1 roditelj 2 taˇcke prekida dete 1 dete 2

Figure 9.3: Ukrˇstanje sa dve taˇcke prekida Uniformno ukrˇstanje tipiˇcno daje dva deteta. Kod ovog ukrˇstanja svaki bit prvog roditelja se sa verovatnoćom p prenosi na prvo dete i sa verovatnoćom ¯ 1 − p na drugo dete (pri cˇ emu dete koje nije izabrano nasleduje bit drugog roditelja). Verovatnoća p je obiˇcno jednaka 0.5, ali moˇze biti i drugaˇcija. U poluuniformnom ukrˇstanju, kombinuju se taˇcno pola bitova koji se razlikuju kod roditelja. Dakle, najpre se raˇcuna Hamming rastojanje (broj razliˇcitih ¯ roditelja i deli se sa dva. Dobijena vrednost daje broj bitova koji bitova) izmedu c´ e se prenositi na decu kao u shemi uniformnog ukrˇstanja. Ukrˇstanje se primenjuje na sledeći naˇcin: iz skupa jedinki izabranih u procesu selekcije biraju se dve razliˇcite i ukrˇstaju sa zadatom verovatnoćom (obiˇcno ¯ 0.6 i 0.9. Taˇcke prekida se biraju sluˇcajno iz skupa svih mogućih taˇcaka izmedu prekida.

9.7.2

Mutacija

Mutacija je operator koji u binarnoj reprezentaciji menja jedan ili viˇse sluˇcajno odabranih gena. Od jedne jedinke dobija se jedna nova jedinka. Verovatnoća da c´ e neki bit neke jedinke populacije biti promenjen je parametar algoritma i ¯ 0.01 i 0.001. Mutacija se primenjuje nakon procesa ukrˇstanja. cˇ esto je izmedu Uloga mutacija u genetskim algoritmima je da spreˇci da jedinke u populaciji postanu suviˇse sliˇcne i da pomogne u obnavljanju izgubljenog genetskog materijala. Na primer, ukoliko u jednoj generaciji sve jedinke imaju istu vrednost jednog gena, onda taj gen samo ukrˇstanjem nikada ne bi mogao da se promeni. Kontrolisano podsticanje genetske raznolikosti mutacijom cˇ esto omogućava izbegavanje lokalnih ekstremuma. Mutacije, naime, omogućavaju razmatranje novih delova prostrora pretrage u nadi da c´ e se naići na globalnim ekstremum. Dovoljno je da se jedna jedinka pribliˇzi globalnom ekstremumu, pa da za nekoliko generacija sve jedinke budu u tom delu prostora pretrage. Ukoliko je verovatnoća mutacije za svaki bit jednaka jedinici, onda se algoritam pretvara u sluˇcajnu pretragu. Ukoliko je ta verovatnoća jednaka nuli, onda nema mutacije i algoritam c´ e verovatno brzo dospeti do nekog lokalnog ekstremuma.

9.8

Zaustavljanje

Genetski algoritam se izvrˇsava, tj. evolucioni proces stvaranja novih generacija se ponavlja, sve dok nije zadovoljen neki uslov zaustavljanja. Najˇceˇsc´ e se koriste sledeći uslovi zaustavljanja:

9.9 Parametri algoritma

155

¯ • Pronadeno je reˇsenje koje zadovoljava unapred zadate (minimalne) kriterijume. • Dostignut je zadati broj generacija. ¯ • Funkcija prilagodenosti je upotrebljena zadati broj puta. ¯ • Vrednost prilagodenosti najboljih jedinki se u nekoliko generacija ne popravlja. • Kombinacija nekoliko uslova.

9.9

Parametri algoritma

Za većinu varijanti genetskog algoritma potrebno je specifikovati veliˇcinu populacije, verovatnoću ukrˇstanja i verovatnoću mutacije. Verovatnoća ukrˇstanja je u direktnoj vezi sa procentom jedinki koje se na kraju jedne iteracije eliminiˇsu, tako da je dovoljno zadati jedan od njih. Ukoliko je zadata verovatnoća ukrˇstanja, onda c´ e za svaki par razliˇcitih jedinki iz skupa dobijenog selekcijom da budu generisani njihovi potomci sa tom verovatnoćom ¯ i sve tako generisane jedinke zameniće najloˇsije prilagodene jedinke iz prethodne generacije. Ukoliko je zadat procenat jedinki koje se na kraju jedne iteracije eli¯ 25% i 50%), onda se u fazi ukrˇstanja parovi razliˇcitih miniˇsu (obiˇcno izmedu jedinki biraju i ukraˇstaju sve dok nije generisano dovoljno jedinki da zameni one koje c´ e biti eliminisane. Izbor parametara genetskog algoritma je cˇ esto od kljuˇcne vaˇznosti za njegove performanse (brzina dolaˇzenja do reˇsenja i kvalitet reˇsenja). Optimizovanje parametara genetskog algoritma je kompleksan problem koji se najˇceˇsc´ e ¯ reˇsava izvodenjem velikog broja eksperimenata. Za izbor pogodnih parametara cˇ esto se koriste sâmi genetski algoritmi. Parametri genetskog algoritma ¯ ne moraju biti fiksirani, već mogu da se menjaju i prilagodavaju tokom rada (na primer, ukoliko su tekuće jedinke raznolike, onda treba povećati verovatnoću ukrˇstanja, a smanjiti mutaciju, a ukoliko su sliˇcne onda treba uraditi obratno, kako bi se povećale sˇ anse za pribliˇzavanje globalnom optimumu).

9.10

Svojstva genetskih algoritama

Genetski algoritmi imaju sˇ irok domen i uspeˇsno se primenjuju na velikom broju optimizacionih problema, cˇ esto onih koji su NP-kompletni ili teˇzi. S druge strane, joˇs uvek nema mnogo teorijskih rezultata koji govore o svojstvima genetskih algoritama, o kvalitetu reˇsenja koja daju, pa cˇ ak ni o tome zaˇsto su genetski algoritmi uspeˇsni. U daljem tekstu, biće reˇci o nekim dobrim i loˇsim stranama genetskih algoritama. Funkcija koja se optimizuje. Funkcija f koja se optimizuje moˇze biti potpuno proizvoljna i ne mora da zadovoljava nikakve uslove (na primer, da bude neprekidna ili diferencijabilna). Ipak, cˇ esto nije lako konstruisati odgo¯ varajuću funkciju prilagodenosti. Genetski algoritmi se ne mogu uspeˇsno primeniti na probleme za koje se moˇze reći samo da li je neˇsto reˇsenje ili nije. Dodatno, cˇ esto, posebno u primenama u veˇstaˇckoj inteliegenciji (na

156

9 Genetski algoritmi primer, kretanje robota), funkcija koju treba optimizovati nije zadata eksplicitno već implicitno, kroz veći broj kriterijuma.

Parametri algoritma. Parametri genetskih algoritama daju mogućnost uspeˇsnog ¯ prilagodavanja specifiˇcnom problemu. No, upravo ta sloboda izbora parametara je istovremeno i pretnja da mogu da budu koriˇsc´ eni parametri koji daju veoma loˇse performanse. Domen genetskih algoritama. Genetski algoritmi primenljivi su na veoma sˇ irok skup problema. Ipak, uspeˇsno reˇsavanje spefiˇcnih problema zahteva izbor pogodne reprezentacije, kao i izbor pogodnih parametara, sˇ to je teˇzak ˇ problem. Staviˇ se, cˇ ak i ako su parametri dobro izabrani, genetski algoritam c´ e najˇceˇsc´ e davati loˇsija reˇsenja od pristupa koji je specijalizovan za problem koji se reˇsava. Otuda i zapaˇzanje da su ,,neuronske mreˇze i genetski algoritmi drugo i treće najbolje reˇsenje za skoro bilo koji optimizacioni problem“. Kvalitet reˇsenja. Ponavljanjem postupka moˇze se dobiti veća pouzdanost reˇsenja. ¯ ¯ Ukoliko nije nadeno reˇsenje koje je globalni optimum, cˇ esto je nadeno reˇsenje koje je dovoljno dobro. Dodatno, kao rezultat algoritma moˇze se smatrati neki skup najboljih reˇsenja, sˇ to je cˇ esto veoma pogodno. S druge ¯ strane, genetski algoritam ne daje nikakvu garanciju da je pronadeno reˇsenje globalni optimum. I zaista, genetski algoritmi cˇ esto imaju tendenciju da idu ka lokalnim optimumima. Zahtevani resursi. Genetski algoritmi se jednostavno implementiraju, a postoji i mnoˇstvo raznolikih dostupnih implementacija. Iako su algoritmi i implementacije jednostavni, izvrˇsavanje genetskih algoritama je cˇ esto veoma vremenski i memorijski zahtevno.

9.11

Primer primene genetskih algoritama — evolucija agenta

Kao sˇ to je već reˇceno, genetski algoritmi predstavljaju heuristiˇcku metodu za optimizaciju funkcija. Kako na ovako apstraktno opisanom domenu nije oˇcigledna sˇ irina primenljivosti genetskih algoritama, u ovom poglavlju biće dat jedan konkretan, jednostavan, ali ilustrativan primer. Neka je potrebno opisati agenta koji je u stanju da brzo vozi automobil po stazi za karting. Staza ima start koji je ujedno i cilj i ima krivine ulevo i udesno. Staza je izdeljena na polja. Voˇznju je potrebno zavrˇsiti sˇ to brˇze. Agent raspolaˇze sa nekoliko akcija — prebacivanje u brzu voˇznju, prebacivanje ¯ je moguće da agent u sporu voˇznju, skretanje ulevo i skretanje udesno. Takode ne preduzme nikakvu akciju. Bilo koju akciju da preduzme, agent nastavlja da se kreće (i) napred. Agent raspolaˇze skupom senzora — jednim koji meri brzinu (sporo, brzo) i senzorima za prepreke — levo, desno, jedno polje napred i dva polja napred. Pretpostavljamo da staza nema slepih krakova niti grananja, pa ako postoji prepreka na polju ispred, onda postoji taˇcno jedno slobodno polje levo ili desno. U toku kretanja, agent ne moˇze skretati ukoliko se kreće brzo.

9.11 Primer primene genetskih algoritama — evolucija agenta

157

Kako bi voˇznja bila sˇ to pre zavrˇsena, poˇzeljno je da agent ubrza kada su oba polja ispred njega slobodna, da uspori kad primeti prepreku dva polja ispred i da skrene na slobodno polje kada primeti prepreku na polju neposredno ispred. Prilikom modelovanja ovog problema, potrebno je specifikovati osnovne elemente genetskog algoritma, poˇcev od reprezentacije hromozoma. Zarad jednostavnosti, koristićemo modifikovanu binarnu reprezentaciju. Svaki senzor kojim agent raspolaˇze moˇze da daje dve vrednosti. Stoga agent ne moˇze razlikovati viˇse od 25 = 32 stranja. Neka od tih stanja se neće pojavljivati u toku voˇznje (na primer, prepreke i neposredno napred i levo i desno), ali neće biti unapred odbaˇcena radi jednostavnosti kodiranja i dekodiranja hromozoma. Svako od mogućih stanja predstavljaće jednu poziciju u hromozomu na kojoj se beleˇzi akcija koju agent u tom stanju preduzima. Akcije se mogu kodirati celim brojevima od 0 do 4, na primer, 0 — ne preduzimati niˇsta, 1 — ubrzati, 2 — usporiti, 3 — skrenuti levo i 4 — skrenuti desno. Na osnovu ovoga, hromozom agenta koji u svakom stanju samo skreće desno bio bi predstavljen pomoću niza od 32 cˇ etvorke. Dekodiranje hromozoma moˇze da se realizuje tako sˇ to bi se svakom od senzora dodelio jedan bit pri cˇ emu bi njegova vrednost u sluˇcaju postojanja prepreke bila 0, a u suprotnom 1 i u sluˇcaju sporog kretanja 0, a u ¯ u fiksiranom poretku, na primer, brzina, suprotnom 1. Ovi bitovi bi se poredali polje neposredno ispred, dva polja ispred, polje levo i polje desno. Tada bi se akcija u sluˇcaju brzog kretanja i sa preprekama levo i desno, a bez prepreka na sledeća dva polja nalazila zapisana u hromozomu na mestu sa indeksom (10011)2 = 19. Ukrˇstanje moˇze da bude sa jednom taˇckom prekida, a mutacija moˇze da se realizuje tako sˇ to bi na svakoj poziciji svakog hromozoma sa nekom unapred zadatom malom verovatnoćom trenutna vrednost bila zamenjena nekom sluˇcajno izabranom od preostalih. Time su definisani genetski operatori. Selekcija moˇze da bude jednostavna ruletska. Funkcija koja se optimizuje u ovom sluˇcaju nije eksplicitna, jer se njena vrednost ne moˇze izraˇcunati direktno na osnovu samog hromozoma. Stoga ¯ c´ e funkcija prilagodenosti da se izraˇcunava simuliranjem ponaˇsanja agenta na nekoj stazi koja ukljuˇcuje sve pomenute aspekte voˇznje (skretanje, ubrzavanje, itd.). Vo’ˇznja c´ e biti simulirana tako sˇ to c´ e agenta u svakom koraku da se pomera po jedno polje duˇz staze u pravcu kretanja. Pri tome se u svakom ¯ koraku dekodira hromozom i odreduje se akcija koju agent preduzima. Svako ¯ sporo boduje se sa 1, a svako polje koje se prede ¯ brzo, polje koje agent prede boduje se sa 2. Na taj naˇcin c´ e prilikom selekcije biti favorizovani agenti koji brˇze prelaze stazu. Kako je najvaˇznije da agent uopˇste zavrˇsi trku, a tek onda da je zavrˇsi sˇ to brˇze, svaki agent koji zavrˇsi trku dobija dodatne poene (na primer, onoliko koliko staza ima polja). Na taj naˇcin se agenti koji zavrˇsavaju trku favorizuju u selekciji u odnosu na ostale, pa se evolucija ubrzava ka njima. Na navedeni naˇcin je zavrˇseno dizajniranje svih aspekata genetskog algoritma.

9.11.1


158


Deo III

Maˇsinsko uˇcenje

Glava 10

Uvod Maˇsinsko uˇcenje je oblast veˇstaˇcke inteligencije koja se moˇze definisati na razliˇcite naˇcine. Jedna definicija bi mogla biti da je to disciplina koja se bavi izgradnjom prilagodljivih raˇcunarskih sisitema koji su sposobni da poboljˇsavaju svoje performanse koristeći informacije iz iskustva. Maˇsinsko uˇcenje bi se moglo definisati i kao disciplina koja se bavi prouˇcavanjem generalizacije i konstrukcijom i analizom algoritama koji generalizuju. Prva definicija je bliˇza inˇzinjerskom i praktiˇcnom raˇcunarskom naˇcinu razmiˇsljanja sa akcentom na reˇsavanju konkretnih problema i implementaciji. Druga je bliˇza cˇ istom matematiˇckom razmiˇsljanju i statistici. Mi se nećemo ograniˇciti na samo jedan od njih. Preciznu definiciju je nezahvalno traˇziti, kako zbog cˇ estog preklapanja sa drugim disciplinama, tako i zbog cˇ injenice da se radi o oblasti koja je ponikla iz nevezanih razmatranja problema uˇcenja u razliˇcitim domenima, bez zajedniˇcke teorijske osnove. Iako su se prva teorijska razmatranja pojavila joˇs kasnih 60ih u radovima Golda, univerzalne teorijske osnove su se poˇcele uˇcvrˇsc´ ivati tek tokom 80-ih godina proˇslog veka. Najvaˇzniji teorijski pristupi su Goldov model graniˇcnog uˇcenja (learning in the limit), Valiantov PAC (Probably Approximately Correct) model i verovatno najkompletnija — statistiˇcka teorija uˇcenja. ¯ ostalog, i zbog svoje teˇznje da se Maˇsinsko uˇcenje je zanimljivo, izmedu pribliˇzi ljudskom uˇcenju po efikasnosti, kao i da ga objasni, odnosno pruˇzi teorijski model za njega. Naravno, oba cilja su za sada daleko od ostvarenja u punom smislu. Neka od najvaˇznijih pitanja maˇsinskog uˇcenja su: ˇ se moˇze nauˇciti i pod kojim uslovima? • Sta • Kako se povećava efikasnost uˇcenja u zavisnosti od obima iskustva? • Koji su algoritmi pogodni za koje vrste problema? Odgovore na ova pitanja treba traˇziti upravo kroz teorijske modele uˇcenja u okviru kojih se u ovom pogledu već doˇslo do znaˇcajnih rezultata. Razlog zbog kojeg su praktiˇcni rezultati prethodili teorijskim bi lako mogao biti taj sˇ to je ova oblast duboko motivisana praktiˇcnim primenama. Postignuti su rezultati u raznim oblastima.

162

10 Uvod

Jedan od zanimljivijih praktiˇcnih rezultata je postignut od strane sistema ALVINN zasnovanog na neuronskoj mreˇzi, krajem osamdesetih godina dvadesetog veka, koji je nauˇcen da vozi javnim putem u prisustvu drugih vozila bez ljudske pomoći brzinom od oko 110km/h. Uspeˇsno je vozio na putu duˇzine oko 140km. ¯ koriste maˇsinsko uˇcenje u nekoj Sistemi za prepoznavanje govora takode ¯ sa kraja osamdesetih, se oslanja na neuronske formi. Sistem Sphinx, takode ¯ mreˇze i skrivene Markovljeve modele u prilagodavanju izgovoru razliˇcitih ljudi, karakteristikama mikrofona, pozadinskoj buci i sliˇcno. Jedan od najpoznatijih primera primene maˇsinskog uˇcenja je sistem TDGammon za igranje igre Backgammon konstruisan devedesetih godina. Igrajući protiv sebe preko milion partija i nastavljajući da uˇci u igri sa ljudskim igraˇcima, dostigao je nivo igre u rangu svetskog sˇ ampiona. On kombinuje uˇcenje uslovljavanjem (eng. reinforcement learning) sa neuronskom mreˇzom koju koristi za internu reprezentaciju nauˇcenog znanja. Jedan od skorijih rezultata je uˇcenje sistema koji kontroliˇse robotsku ruku da cˇ itanjem napona miˇsića preko povrˇsine koˇze izvodi zˇ eljenje pokrete. Poslednjih godina Microsoft razvojni centar u Srbiji radi na razvoju sistema za prepoznavanje rukom pisanog teksta koji su zasnovani na maˇsinskom ¯ uˇcenju. Sistem se trenira na osnovu uzoraka koje su pisali razliˇciti ljudi. Takode, ¯ radi se na prilagodavanju sistema rukopisu korisnika. Posebna paˇznja je posvećena prepoznavanju u specijalizovanim domenima. Neki od njih su prepoznavanje matematiˇckih formula, hemijskih dijagrama i arhitektonskih crteˇza. ¯ jedna od najskorijih primena maˇsinskog uˇcenja je sistem koji je u Takode stanju da vodi dijalog sa korisnikom u cilju pruˇzanja informacija koje se odnose na primer na ugostiteljske objekte u gradu u kome se korisnik nalazi. U ovom ¯ problemu je potrebno da sistem u odredenom smislu razume zahteve korisnika, da se prilagodi izgovorima razliˇcitih ljudi, da razlikuje pozadinsku buku od reˇci koje korisnik izgovara i sliˇcno. Ovaj sistem se zasniva na uˇcenju uslovljavanjem. ¯ razliˇcitih ljudi, razlike Problemi koji se pri ovome javljaju su razlike izmedu u poloˇzajima i pokretima ruke u vreme uˇcenja i u vreme koriˇsc´ enja, zamor miˇsića, znojenje i sliˇcno. U ovom problemu su se pokazali uspeˇsni pristupi bazirani na neuronskim mreˇzama i metodi potpornih vektora. ¯ Koliko god primene maˇsinskog uˇcenja bile raznovrsne, postoje odredene karakteristike zadataka koje se cˇ esto ponavljaju. Stoga je moguće govoriti o vrstama zadataka uˇcenja koje se cˇ esto sreću. Klasifikacija je verovatno najˇceˇsc´ i zadatak uˇcenja u praksi. Ona predstavlja prepoznavanje vrste objekata. Na ¯ primer da li odredeno elektronsko pismo predstavlja neˇzeljenu poˇstu (eng. spam) ili ne. Regresija je zadatak uˇcenja u kome objektima odgovaraju vrednosti iz ¯ skupa realnih brojeva. Na primer, predvidanje duˇzine zˇ ivota osobe u zavisnosti od njenih zˇ ivotnih navika (bavljenjem sportom, puˇsenje, i sliˇcno).

10.1

Generalizacija i apstrakcija

¯ Deduktivno zakljuˇcivanje, vodeno zakonima logike, moˇze se smatrati osnovnom karakteristikom inteligentnog ponaˇsavanja. Ovakvo zakljuˇcivanje jedan je od osnovnih naˇcina zakljuˇcivanja kod ljudi. Druga karakteristika inteligentnog ¯ ponaˇsanja koja se moˇze primetiti i kod zˇ ivotinja je prilagodavanje ponaˇsanja

10.2 Primer problema uˇcenja

163

jedinke okolini u kojoj se ona nalazi. Kroz evolutivne procese, prilagodljivost se postiˇze i kod niˇzih organizama, ali je ova sposobnost sa taˇcke glediˇsta veˇstaˇcke inteligencije posebno zanimljiva kod zˇ ivotinja i ljudi kod kojih se manifes¯ tuje u toku zˇ ivota jedinke. Kod njih se prilagodavanje postiˇze uˇcenjem na osnovu primera iz iskustva i primenom nauˇcnog znanja u sliˇcnim situacijama u budućnosti. Primera radi, za zˇ ivi organizam je znaˇcajno da uoˇci kljuˇcne karakteristike neke situacije ili skupa situacija u kojima preduzimanje neke akcije dovodi do poˇzeljnih odnosno nepoˇzeljnih posledica po organizam. Prepoznavanje sliˇcnih situacija u budućnosti omogućava organizmu da preduzimanjem adekvatne akcije u situaciji u kojoj se nalazi predupredi ishode nepovoljne po njega ili dovede do ishoda koje su za njega povoljni. Apstraktnije razmatrano, moguće je govoriti o donoˇsenju zakljuˇcaka o nepoznatim sluˇcajevima, na osnovu znanja o nekim drugim, poznatim, sluˇcajevima. Proces u kome se znanje koje vaˇzi za neki skup sluˇcajeva prenosi na neki njegov nadskup, naziva se generalizacijom ili induktivnim zakljuˇcivanjem. Generalizacija predstavlja jedan od osnovnih koncepata maˇsinskog uˇcenja. Koncept generalizacije je direktno povezan sa konceptom apstrakcije. Naime, ¯ da bi generalizacija bila uspeˇsna, odredeni apsekti entiteta o kojima se rezonuje moraju biti zanemareni ukoliko nisu od suˇstinskog znaˇcaja za generalizaciju. Primera radi, ukoliko je potrebno nauˇciti veˇstaˇcki sistem da prepoznaje rukom pisani tekst i da ga prevodi u elektronski tekstualni zapis, potrebno je da sistem zanemari specifiˇcnosti koje postoje kod razliˇcitih ljudi u visini i nagibu slova ili brzini i oˇstrini poteza prilikom pisanja. Kontrola generalizacije i apstrakcije je jedna od kljuˇcnih tema u teorijskom razmatranju maˇsinskog uˇcenja. Za jednostavan primer generalizacije moˇze se uzeti sledeći primer. Sistem koji prepoznaje rukom pisani tekst bi na osnovu nekoliko primera mogao da zakljuˇci da se broj 0 piˇse kao elipsa ili krug koji prilikom pisanja mogu evenutalno biti malo otvoreni. U ovom sluˇcaju, generalizacija je korektna. Za razliku od deduktivnog zakljuˇcivanja, proces generalizacije ne pruˇza garancije da su zakljuˇcci ispravni. Tako, na primer, zakljuˇcak da se broj 1 uvek piˇse podvuˇcen crticom potkrepljen nekolicinom takvih primera ne bi bio korektan iako je kao induktivni zakljuˇcak moguć. Iako zakljuˇcci dobijeni generalizacijom ne moraju biti taˇcni, induktivno zakljuˇcivanje je i dalje veoma znaˇcajno. To je jedan od osnovnih naˇcina za formiranje predstava o okruˇzenju, situacijama ili uzroˇcno poslediˇcnim odnosima ili formalnije reˇceno — za pravljenje modela podataka iz iskustva. Ukoliko su u nekom domenu greˇske u zakljuˇcivanju prihvatljive, algoritmi induktivnog zakljuˇcivanja omogućavaju zakljuˇcivanje i bez temeljnog poznavanja i kompletnog formalnog opisivanja domena na koji se primenjuju. ¯ mogu biti efikasniji od algoritama deduktivnog zakljuˇcivanja. Takode,

10.2

Primer problema uˇcenja

Pretpostavimo da smo zapoˇceli izgradnju specijalizovanog pretraˇzivaˇca Interneta i da zˇ elimo da omogućimo korisnicima da pretraˇzuju samo raˇcunarske cˇ lanke. Da bi ovo bilo moguće potrebno je da sistem bude u stanju da razlikuje cˇ lanke iz oblasti raˇcunarstva od ostaliih cˇ lanaka. Moˇzemo primetiti da se radi o problemu klasifikacije. Kako bi sistem nauˇcio da ispravno klasifikuje, prvo ¯ mu je potreban odredeni skup primera koji bi sadrˇzao kako raˇcunarske, tako i cˇ lanke iz drugih oblasti. Recimo da je unapred sakupljeno 3000 cˇ lanaka — po

164

10 Uvod

0

Figure 10.1: Plavi krugovi predstavljaju raˇcunarske cˇ lanke, a crveni ostale. X koordinata predstavlja frekvenciju reˇci ”raˇcunar”, a koordinta Y predstavlja frekvenciju reˇci ”datoteka”.

1500 iz obe klase. Iz obe klase c´ emo izdvojiti po 500 cˇ lanaka kako bismo posle uˇcenja procenili kvalitet sistema. Da bi sproveli uˇcenje, potrebno je da ove cˇ lanke pretstavimo u nekom obliku koji je pogodan za algoritam uˇcenja i koji bi mogao na neki naˇcin da reprezentuje osnovne karakteristike na osnovu kojih se cˇ lanci iz ove dve kategorije mogu razlikovati. Za to nam je potrebna ideja kako bismo razlikovali cˇ lanke. Oˇcekivano je da c´ e u cˇ lancima iz raˇcunarstva biti cˇ eˇsc´ e pominjani raˇcunarski pojmovi nego u ostalim cˇ lancima. To svojstvo bi se moglo iskoristiti za razlikovanje cˇ lanaka. U skladu sa ovim, moˇzemo nabrojati sve reˇci iz nekog reˇcnika raˇcunarske terminologije koje se pojavljuju u svim cˇ lancima koje imamo. Svaki cˇ lanak moˇzemo predstaviti vektorom frekvencija ovih reˇci. Frekvencija neke reˇci u cˇ lanku se raˇcuna tako sˇ to se broj pojavljivanja te reˇci podeli ukupnim brojem pojavljivanja svih reˇci u cˇ lanku. Ako je x vektor koji odgovara nekom cˇ lanku, onda c´ emo frekvencije izabranih reˇci oznaˇcavati sa xi . Posmatrajmo ove vektore geometrijski, kao da su taˇcke u euklidskom prostoru. Jednostavnosti radi, pretpostavićemo da se u reˇcniku nalaze samo dve reˇci — ”raˇcunar” i ”datoteka”.Ukoliko su u cˇ lancima iz jedne kategorije ovi raˇcunarski termini visokofrekventni, a u drugim niskofrekventni, taˇcke koje odgovaraju raˇcunarskim cˇ lancima c´ e se grupisati dalje od koordinatnog poˇcetka, dok c´ e se ostale grupisati bliˇze njemu. Pojednostavljen prikaz je dat na slici 10.2. ¯ ovih taˇcaka bi se mogla provući prava koja bi ih razdvajala kao na Izmedu slici 10.2. Ako nam je ova prava poznata, onda za neki nov, nepoznat cˇ lanak moˇzemo reći da je iz oblasti raˇcunarstva ukoliko se vektor koji mu odgovara nalazi sa iste strane prave kao i vektori raˇcunarskih cˇ lanaka koji su nam poznati. U suprotnom bismo smatrali da cˇ lanak nije iz oblasti raˇcunarstva. Jednaˇcina prave ima oblik

10.2 Primer problema uˇcenja

165

0

Figure 10.2: Osim krugova koji predstavljaju cˇ lanke, prikazana je i prava koja ih razdvaja

ax + by + c = 0 Neka je f (x) = 1 ukoliko je x cˇ lanak iz oblasti raˇcunarstva i f (x) = −1 u suprotnom. Oˇcigledno, funkcija sgn(ax + by + c), gde sgn(t) oznaˇcava znak vrednosti t, pruˇza informaciju sa koje strane prave se nalazi taˇcka (x, y). Pronalaˇzenje zˇ eljene prave moˇzemo posmatrati kao pomeranje neke po¯ taˇcaka koje treba da razdlazne prave dok ona ne bude pozicionirana izmedu ¯ vaja. Formalno, da bismo naˇsli razdvajajuću pravu, potrebno je da nademo koeficijente a, b i c tako da funkcije f (x) i sgn(ax + by + c) budu jednake ili makar jednake u većini sluˇcajeva. Kako bismo to uradili potrebno je da formuliˇsemo algoritam uˇcenja koji c´ e na osnovu podataka koje imamo doći do tih koeficijenata. Algoritam uˇcenja moˇze biti sledeći: 1. Neka je a = 0, b = 0 i c = 0 za svako i i η = 0.01. 2. Za svaki trening primer < x, y > za koji nam je poznata vrednost f (< x, y >): (a) Izraˇcunati sgn(ax + by + c) koristeći trenutne koeficijente a,b i c. (b) Za koeficijente uraditi a ← a + η(f (< x, y >) − sgn(ax + by + c)) ∗ x b ← b + η(f (< x, y >) − sgn(ax + by + c)) ∗ y c ← c + η(f (< x, y >) − sgn(ax + by + c)) ∗ 1 Ne mora biti oˇcigledno da aˇzuriranje koeficijenata u algoritmu koji koristimo za uˇcenje vodi poboljˇsanju nauˇcene funkcije. Pre svega, vrednost η mora biti mala kako bi korekcije bile male i postepene. Drugo, primetimo da su x i y ¯ uvek pozitivni ili jednaki 0 i da stoga znak korekcije zavisi od razlike izmedu

166

10 Uvod

vrednosti funkcija f i sgn(ax + by + c). Ukoliko je vrednost funkcije f veća, povećavamo koeficijente, tako da se vrednost funkcije sgn(ax + by + c) zbog toga povećava. Analogno u sluˇcaju da je vrednost funkcije f manja. Kad greˇske nema, vrednost korekcije je 0. Stoga, ovim se funkcija sgn(ax+by+c) pribliˇzava ¯ se primećuje da su korekcije proporcionalne vrednostima x funkciji f . Takode i y, odnosno veće su za koeficijente cˇ ija promena moˇze viˇse doprineti promeni vrednosti funkcije sgn(ax + by + c) za dati primer. Teorijsko opravdanje za ovaj postupak leˇzi u tome sˇ to se radi o gradijentnom spustu kojim se minimizuje srednjekvadratno odstupanje funkcije sgn(ax + by + c) od funkcije f . ¯ Kada su koeficijenti a,b i c nadeni, za nepoznati cˇ lanak je dovoljno videti sa koje strane prave se nalazi njegov vektor frekvencija reˇci, odnosno da li je sgn(ax + by + c) jednako 1 ili -1. Kada je uˇcenje zavrˇseno, poˇzeljno je proceniti koliko se sistem dobro ponaˇsa. Na poˇcetku smo izdvojili 1000 cˇ lanaka koje sad moˇzemo klasifikovati. Kad su cˇ lanci klasifikovani kao meru kvaliteta uˇcenja moˇzemo izraˇcunati udeo dobro klasifikovanih cˇ lanaka u ukupnom broju cˇ lanaka. Poˇzeljno je da je on sˇ to veći.

10.3

Nadgledano i nenadgledano uˇcenje

Postoje dve glavne formulacije problema uˇcenja: • Nadgledano uˇcenje je pristup problemu uˇcenja koji se odnosi na situacije u kojima se algoritmu zajedno sa podacima iz kojih uˇci daju i zˇ eljeni izlazi. Algoritam treba da nauˇci da za date podatke (ne nuˇzno trening podatke) pruˇzi odgovarajuće izlaze. • Nenadgledano uˇcenje je pristup problemu uˇcenja koji se odnosi na situacije u kojima se algoritmu koji uˇci pruˇzaju samo podaci bez izlaza. Od algoritma koji uˇci oˇcekuje se da sam uoˇci neke zakonitosti u podacima koji su mu dati. Naravno, ovi drastiˇcno razliˇciti pristupi se ne odnose na iste vrste problema. Primer nadgledanog uˇcenja je već pomenuta klasifikacija cˇ lanaka na raˇcunarske i ostale, kod koje su unapred poznati primeri za razliˇcite kategorije. Primer nenadgledanog uˇcenja je takozvano klasterovanje - uoˇcavanje grupa na neki naˇcin sliˇcnih objekata kada nemamo prethodno znanje o tome koliko grupa postoji ili koje su njihove karakteristike. Jedan primer primene klasterovanja bi mogao da bude redukcija skupa boja slike. Pikseli slike se mogu grupisati klasterovanjem po njihovoj blizini u RGB prostoru boja, a potom se iz svakog klastera moˇze izabrati po jedna boja koja bi ga predstavljala i kojom bi bili obojeni svi pikseli koji pripadaju tom klasteru.

10.4

Ciljna funkcija i modeli podataka

Ono sˇ to je potrebno nauˇciti se u maˇsinskom uˇcenju definiˇse ciljnom funkcijom. Ona definiˇse zˇ eljeno ponaˇsanje sistema koji uˇci. U sluˇcaju da korisnik zˇ eli da prepozna cˇ lanke na Internetu sa sadrˇzajem iz raˇcunarstva ciljna funkcija takvim cˇ lancima pridruˇzuje 1, a ostalim -1. U ranije navedenom primeru, to je bila funkcija f . U uˇcenju igranja sˇ aha, ciljna funkcija bi vrˇsila pridruˇzivanje optimalnih poteza pozicijama sˇ ahovske table.

10.5 Podaci

167

Kako su greˇske pri uˇcenju moguće i cˇ ak sasvim izvesne, uˇcenje predstavlja ¯ ¯ pribliˇzno odredivanje ove ciljne funkcije, odnosno moˇze biti videno kao aproksimiranje funkcija. Funkciju kojom aproksimiramo ciljnu nazivamo modelima podataka ili hipotezama. Koristićemo oba termina. U sluˇcaju prepoznavanja raˇcunarskih cˇ lanaka model je bila funkcija sgn(ax + by + c) koja je pridruˇzivala 1 svim taˇckama sa jedne strane prave, a -1 taˇckama sa druge. Skup svih dopustivih hipoteza nazivamo prostorom hipoteza. U maˇsinskom uˇcenju prostor hipoteza se obiˇcno ne navodi eksplicitno nabrajanjem hipoteza, ¯ reprezentacijom hipoteze. Drugim reˇcima, prostor hipoteza već je odreden predstavlja skup svih hipoteza koje se mogu predstaviti u zadatom obliku. Potencijalne reprezentacije su raznovrsne. Mogu predstavljati pravila oblika IF...THEN, linearne funkcije, i druge. U primeru prepoznavanja raˇcunarskih cˇ lanaka hipoteze su reprezentovane pravim definisanim preko vrednosti koeficijenata a, b i c. Nalaˇzenje hipoteze koja najbolje aproksimira ciljnu funkciju moˇzemo videti ¯ kao pretragu prostora hipoteza koja je vodenja podacima, a koju realizuje algoritam uˇcenja. Stoga se u nekom smislu algoritmi uˇcenja mogu smatrati algoritmima pretrage, ali u prostoru hipoteza pri cˇ emu je uloga podataka iz iskustva nov element koji nije bio prisutan u ranije izloˇzenim opˇstim pristupima pretrazi. Izbor prostora hipoteza je od fundamentalnog znaˇcaja za kvalitet uˇcenja. Ukoliko prostor hipoteza ne sadrˇzi ciljnu funkciju, onda ona u praksi moˇze biti samo pribliˇzno nauˇcena. To u praksi moˇze biti dovoljno dobro. Pored toga, bogatstvo prostora hipoteza je od velikog znaˇcaja. Naizgled paradoksalno, preterano bogatstvo prostora hipoteza po pravilu dovodi do loˇsijih rezultata.

10.5

Podaci

Jedna od definicija maˇsinskog uˇcenja koje su navedene kaˇze da se maˇsinsko uˇcenje bavi generalizacijom, odnosno zakljuˇcivanjem o nepoznatim objektima, na osnovu poznatih objekata. Umesto termina objekat, cˇ eˇsc´ e c´ emo koristiti termin instanca ili primerak. U sluˇcaju prepoznavanja raˇcunarskih cˇ lanaka, instanca je jedan cˇ lanak. Instance c´ e biti u raˇcunaru predstavljene pmoću nekih podataka koji ih opisuju i kojima ih identifikujemo.

10.5.1

Reprezentacija podataka

Instance se na neki naˇcin moraju reprezentovani u obliku koji je pogodan za primenu algoritama uˇcenja. Najpogodniji naˇcin koji se najˇceˇsc´ e koristi kod algoritama maˇsinskog uˇcenja uopˇste je predstavljanje instanci pomoću nekih njihovih svojstava, odnosno atributa (eng. feature, attribute). Svojstva ili atributi predstavljaju karakteristike instanci kao sˇ to su boja, veliˇcina, teˇzina i sliˇcno. Svaki od izabranih atributa moˇze imati vrednost koja pripada nekom unapred zadatom skupu. Te vrednosti su cˇ esto numeriˇcke kao u sluˇcaju teˇzine koja je skalarna veliˇcina i koja se najbolje opisuje brojem. Primer numeriˇcke vrednosti moˇze biti i frekvencija reˇci u nekom cˇ lanku kao sˇ to je to bio sluˇcaj u primeru sa ¯ mogu biti i kategoriˇcki, odnosno mogu klasifikacijom cˇ lanaka. Atributi takode predstavljati imena nekih kategorija kojima se ne mogu jednoznaˇcno dodeliti ¯ smislene numeriˇcke vrednosti ili uredenje. Primer kategoriˇckog atributa moˇze

168

10 Uvod

biti grad u kome osoba zˇ ivi, pol, nacionalnost i sliˇcno. U sluˇcaju prepoznavanja raˇcunarskih cˇ lanaka, oznaka klase koju treba pogoditi — 1 za raˇcunarkse ¯ kategoriˇcka vrednost iako je predstavljena brojem cˇ lanke i -1 za ostale je takode poˇsto se radi o dve kategorije za koje su ovi brojevi proizvoljno izabrani. Skup atributa koji c´ e se koristiti u zapisu instance generalno nije unapred zadat, već ga je potrebno odabrati u skladu sa time koje su karakteristike instanci bitne za dati problem uˇcenja. Primera radi, ako je potrebno razlikovati cˇ lanke o operativnim sistemima od cˇ lanaka o bazama podataka poznavanje frekvencija reˇci ”raˇcunar” i ”datoteka” ne nosi korisnu informaciju poˇsto su ove reˇci zastupljene u obe kategorije. Stoga te atribute nema svrhe koristiti u ovom problemu uˇcenja. S druge strane, reˇci ”proces” i ”indeks” nose viˇse informacije poˇsto su uˇze specifiˇcne za pomenuta polja. Ukoliko je potrebno razlikovati raˇcunarske cˇ lanke od drugih vrsta cˇ lanaka izbor atributa bi mogao da bude upravo obrnut poˇsto reˇci ”proces” i ”indeks” mogu imati i drugaˇcija znaˇcenja od onih koja im se pridruˇzuju u raˇcunarskoj terminologiji. Postoje i metode za automatski izbor podskupa atributa iz nekog sˇ ireg skupa koje su najrelevantnije za dati problem uˇcenja, ali njih ne opisujemo. Kada su izabrani atributi pomoću kojih se instance opisuju, svaka instanca se moˇze predstaviti vektorom vrednosti atributa koje joj odgovaraju.

10.5.2

Podaci za trening i podaci za testiranje

Prirodno je da svako uˇcenje polazi od nekih podataka. Podaci na osnovu kojih se vrˇsi generalizacija, nazivaju se podacima za trening, a njihov skup trening skup. Testiranje nauˇcenog znanja na podacima na osnovu kojih je uˇceno obiˇcno dovodi do znaˇcajno boljih rezultata od onih koji se mogu kasnije dobiti u primenama. Stoga je pre upotrebe potrebno proceniti kvalitet nauˇcenog znanja. To se obiˇcno radi tako sˇ to se razmatra koliko je nauˇceno znanje u skladu sa nekim unapred datim podacima za testiranje. Podaci za testiranje cˇ ine test skup. Test skup treba da bude disjunktan sa trening skupom. ˇ Cesto se prilikom konstrukcije sistema koji ukljuˇcuje uˇcenje raspolaˇze ograniˇcenom koliˇcinom podataka koja se mora upotrebiti u obe svrhe. Jedan od standardnih naˇcina je da se jedna trećina ili neki blizak procenat izdvoji unapred za testiranje, a da se trening vrˇsi na ostatku. Takva podela je bila koriˇsc´ ena i u primeru prepoznavanja raˇcunarskih cˇ lanaka. Obiˇcno se ova podela vrˇsi sluˇcajnim izborom skupa za testiranje.

10.6

Dizajn sistema koji uˇci

Zahvaljujući svom brzom razvoju oblast maˇsinskog uˇcenja se znaˇcajno raz¯ granala, ali i dalje postoje odredene karakteristike reˇsavanja problema uˇcenja koje su zajedniˇcke za većinu pristupa. Jedna od bitnih zajedniˇckih odlika je naˇcin dizajniranja sistema koji uˇci. Elementi dizajna su već pomenuti u prethodnim poglavljima i sad c´ emo ih sumirati: • Formulacija problema uˇcenja: – Nadgledano ili nenadgledano uˇcenje • Zapis primera

10.6 Dizajn sistema koji uˇci

169

• Izbor ciljne funkcije • Izbor prostora hipoteza • Izbor algoritma • Izbor mera kvaliteta uˇcenja Sada je moguće sumirati kako su dati aspekti dizajna bili izabrani u sluˇcaju prepoznavanja raˇcunarskih cˇ lanaka. Primer 10.1 • 3000 cˇ lanaka je razvrstano u dve unapred fiksirane kategorije (raˇcunarski i ostali), tako da je zadatak uˇcenja bio formulisan kao zadatak nadgledanog uˇcenja. • Svaki cˇ lanak je pretstavljen vektorom frekvencija reˇci iz nekog reˇcnika raˇcunarske terminologije. Kako bi se smanjila veliˇcina zapisa, uzete su u obzir samo one reˇci koje se javljaju bar u jednom cˇ lanku. • Ciljna funkcija f pridruˇzuje 1 raˇcunarskim cˇ lancima, a -1 ostalim. • Prostor hipoteza odgovara skupu svih pravih u odgovarajućem prostoru. Hipoteze su funkcije koje pridruˇzuju 1 taˇckama sa jedne strane prave, a -1 taˇckama sa druge strane. Hipoteze se biraju izborom vrednosti koeficijenata a, b i c. ¯ • Algoritam uˇcenja je bio gradijentni spust za minimizaciju odstupanja izmedu vrednosti ciljne funkcije i hipoteze na datim primerima. • Za meru kvaliteta uˇcenja uzet je udeo taˇcno klasifikovanih cˇ lanaka.

U daljem tekstu biće opisana dva najˇceˇsc´ a zadatka maˇsinskog uˇcenja — klasifikacija i regresija. Za oba metoda biće izloˇzene i neke metode maˇsinskog ¯ uz izlaganje metoda maˇsinskog uˇcenja kojima se ti zadaci cˇ esto reˇsavaju. Takode, uˇcenja, biće diskutovani i razni bitni koncepti maˇsinskog uˇcenja.

170

10 Uvod

Glava 11

Klasifikacija Problem klasifikacije je problem razvrstavanja nepoznate instance u jednu od ¯ unapred ponudenih kategorija — klasa. Neki od primera klasifikacije su razvrstavanje bankovnih transakcija u riziˇcne koje mogu predstavljati prevaru i ner¯ iziˇcne koje predstavljaju uobiˇcajene transakcije, odredivanje autorstva tekstova pri cˇ emu se tekstu nepoznatog autora pridruˇzuje jedan od nekoliko unapred ¯ ponudenih autora, razvrstavanje elektronske poˇste u zˇ eljenu i neˇzeljenu (eng. spam) i sliˇcno. U navedenim primerima svaka instanca (bankovna transakcija, tekst, elektronska poruka) se moˇze predstaviti nekim izabranim skupom njenih atributa. ¯ svakoj instanci se kao atribut moˇze dodati i oznaka klase kojoj instanca Takode, ¯ pripada. Problem klasifikacije se sastoji u odredivanju vrednosti atributa klase na osnovu preostalih atributa instance. Formalnije, problem klasifikacije se moˇze videti kao aproksimacija ciljne funkcije koja svakoj instanci dodeljuje oznaku klase kojoj ta instanca pripada. Kljuˇcno zapaˇzanje je da je ciljna funkcija u ovom problemu diskretna. Pri tom, u opˇstem sluˇcaju, oznakama klasa se ¯ ne mogu smisleno dodeliti numeriˇcke vrednosti niti uredenje. Dakle, atribut klase, cˇ iju je vrednost potrebno odrediti, je kategoriˇcki atribut. Postoji veliki broj metoda kojima se ovaj problem reˇsava. Neke od njih su metode zasnovane na instancama (eng. instance based classification), uˇcenje stabla odluˇcivanja (eng. decision tree induction), metoda potpornih vektora (eng. support vector machines) i metode bajesovske klasifikacije zasnovane na verovatnoći (eng. bayesian classification). U daljem tekstu opisaćemo prve dve pomenute metode.

11.1

Metode klasifikacije zasnovane na instancama

Osnovna karakteristika metoda zasnovanih na instancama je da ne grade eksplicitan model podataka u vidu neke funkcije kao sˇ to to radi većina metoda maˇsinskog uˇcenja. Stoga se klasifikacija ne vrˇsi na osnovu već formulisanog modela, nego na osnovu skupa instanci za trening. Umesto izgradnje mod¯ ela, instance predvidene za treniranje se cˇ uvaju i bivaju upotrebljene tek kad je potrebno klasifikovati nepoznatu instancu. Time se većina izraˇcunavanja premeˇsta iz faze uˇcenja u fazu primene.

172

11 Klasifikacija

11.1.1

Metoda n-najbliˇzih suseda

Metoda n-najbliˇzih suseda (eng. n-nearest neighbours) se zasniva na vrlo jednostavnom principu — nepoznatu instancu treba klasifikovati u klasu cˇ ije su instance najsliˇcnije nepoznatoj. Koncept sliˇcnosti se najjednostavnije formalizuje preko funkcija rastojanja. Definicija 11.1 Neka je X skup instanci. Funkcija d : X × X → R predstavlja rastojanje na skupu X ukoliko zadovoljava sledeće uslove: 1. d(x, y) ≥ 0, pri tom d(x, y) = 0 ⇔ x = y (pozitivna definitnost) 2. d(x, y) = d(y, x) (simetriˇcnost) 3. d(x, z) ≤ d(x, y) + d(y, z) (nejednakost trougla) Primer 11.1 Neki primeri rastojanja su: pP n • d(x, y) = n i (xi − yi ) • d(x, y) = cos(∠(x, y)) = • d(x, y) =

0, 1,

√ x·y √ x·x y·y

x=y x 6= y

¯ dva objekta veće, to je sliˇcnost izmedu ¯ Intuitivno, sˇ to je rastojanje izmedu njih manja i obrnuto. Naravno, poˇsto je moguće birati razliˇcite funkcije rastojanja, pretpostavka je da izabrana funkcija rastojanja, u smislu relevantnom za ¯ dva objekta. posmatrani domen, stvarno oslikava razliˇcitost izmedu Kada je funkcija rastojanja izabrana, najjednostavniji naˇcin klasifikacije je klasifikovanje nepoznate instance u klasu iz koje potiˇce instanca trening skupa najbliˇza nepoznatoj instanci. Ovo je primer metode n-najbliˇzih suseda za n = 1. U opˇstem sluˇcaju metoda n-najbliˇzih suseda se sastoji u nalaˇzenju n instanci iz trening skupa koje su najbliˇze nepoznatoj instanci i njenom klasifikovanju u ¯ pronadenih ¯ klasu cˇ iji se elementi najˇceˇsc´ e javljaju medu n najbliˇzih suseda. ¯ viˇse klasa, nije moguće doneti odU sluˇcaju izjednaˇcenog ishoda izmedu luku, ali se u praksi ovaj osnovni algoritam moˇze modifikovati kako bi se ovakvi sluˇcajevi razreˇsili. Analizirajmo detaljnije metodu n-najbliˇzih suseda. Posmatrajmo nepoznate instance A i B prikazane na slici 11.1.1. Metodom n-najbliˇzih suseda uz koriˇsc´ enje euklidskog rastojanja instanca A biva klasifikovana u crvenu klasu za sve vrednosti n od 1 do 5. Klasifikacija instance A je postojana zato sˇ to se ona nalazi blizu crvenih instanci, a udaljeno od plavih instanci. S druge strane, klasa instance B moˇze da varira u zavisnosti od broja n. Za n = 1 instanca B se klasifikuje u crvenu klasu. Za n = 2 ne moˇze se odluˇciti. Za n = 3 instanca B se klasifikuje u plavu klasu. Za n = 4 ponovo nije moguće odluˇciti, a za n = 5, ona se ponovo klasifikuje u crvenu klasu. Klasifikacija instance B nije postojana jer se ona nalazi blizu instanci iz obe klase. Znaˇci, metoda n-najbliˇzih suseda je postojana u unutraˇsnjosti oblasti koju zauzimaju instance jedne klase, ali je nepostojana na obodu te oblasti. Ovo ponaˇsanje bi se moglo uoˇciti i kod drugih metoda klasifikacije. Pored toga sˇ to se nepostojanost klasifikacije moˇze demonstrirati menjanjem ¯ moˇze analizirati i za fiksiranu vrednost parametra parametra n, ona se takode

11.1 Metode klasifikacije zasnovane na instancama

173

B

A

0

Figure 11.1: Stabilnost klasifikacije pomoću algoritma n-najbliˇzih suseda n. Moˇze se primetiti da je za manje vrednosti parametra n nepostojanost pri variranju vrednosti atributa instance veća nego za veće vrednosti parametra n. ¯ Odredivanje vrednosti parametra n koja je pogodna za upotrebu se vrˇsi empirijski — evaluacijom uspeˇsnosti klasifikacije za razliˇcite vrednosti parametra n. Bira se vrednost n za koju je klasifikacija bila najuspeˇsnija. Mere i metode pomoću kojih se vrˇsi evaluacija uspeˇsnosti klasifikacije biće izloˇzene kasnije u ovom poglavlju. Kao sˇ to se moˇze videti u sluˇcaju metode najbliˇzih suseda, joˇs jedno bitno svojstvo metoda zasnovanih na instancama je njihova lokalnost. Nepoznata instanca se klasifikuje iskljuˇcivo ili uglavnom na osnovu poznatih instanci koje se nalaze unjenoj blizini. Ovo svojstvo doprinosi fleksibilnosti modela koje ove metode (implicitno) grade.

11.1.2

N-grami

Metode maˇsinskog uˇcenja su cˇ esto formulisane tako da se jednostavno primenjuju na numeriˇcke podatke, ali teˇsko na podatke u nekom drugom obliku. Stoga se traˇze naˇcini da se i drugi podaci predstave u numeriˇckom obliku. To ¯ cˇ esto podrazumeva i odredeni gubitak informacije. U sluˇcaju problema klasifikacije tekstova, proteinskih sekvenci i sliˇcnih podataka cˇ esto se u svrhu predstavljanja podataka u numeriˇckom obliku koriste n-gramski profili [?]. Ako je data niska S = s1 s2 . . . sN nad azbukom Σ, gde je N pozitivan ceo broj, n-gram niske S, za n ≥ N , je bilo koja podniska susednih simbolja duˇzine n. Na primer, za nisku sad_ili_nikad, 1-grami su: s, a, d, _, i, l, i, _, n, i, k, a, d. 2-grami su: sa, ad, d_, _i, il, li, i_, _n, ni, ik, ka, ad. 3-grami bi bili: sad, ad_, d_i, _il, ili, li_, i_n, _ni, nik, ika, kad, itd. ¯ N-gramski profil niske je lista uredenh parova (n-gram, frekvencija) gde je frekvencija izraˇcunata u odnosu na sve n-grame niske. Ovakvi profili predstavljaju reprezentaciju pogodnu za metode klasifikacije i cˇ esto se koriste zajedno sa metodom n-najbliˇzih suseda.

174

11 Klasifikacija

Osnovne prednosti koriˇsc´ enja n-grama su robusnost (na primer, nisu mnogo osetljivi na greˇske u kucanju ili na pojavljivanje reˇci u razliˇcitim gramatiˇckim oblicima), nezavisnost od domena koji se analizira, efikasnost (dovoljan je jedan prolaz kroz tekst) i jednostavnost. Problem je eksponencijalna zavisnost broja mogućih n-grama u odnosu na duˇzinu n-grama. N-gramski profili su uspeˇsno koriˇsc´ eni u razliˇcitim primenama koje ukljuˇcuju prepoznavanje autorstva tekstova, prepoznavanje jezika kojim je tekst pisan, ¯ prepoznavanje govora i odredene probleme iz oblasti bioinformatike. Primer 11.2 U ovom primeru razmotrićemo klasifikaciju tekstova prema jeziku. Srpski i engleski jezik biće predstavljenim po jednim kraćim tekstom oznaˇcenim sa S1 i E1. Poˇsto se izraˇcunaju frekvencije n-grama za ta dva teksta, njihovi n-gramski profili cˇ ine trening skup. Test skup c´ e biti dobijen na osnovu cˇ etiri kratka teksta od kojih su dva na srpskom oznaˇcena sa S2 i S3, a dva na engleskom jeziku oznaˇcena sa E2 i E3. Klasifikacija c´ e biti izvrˇsena pomoću algoritma 1-najbliˇzih suseda. U tekstovima na srpskom jeziku nisu koriˇsc´ ena srpska slova kako bi se izbegla laka identifikacija na osnovu pisma. S1: U prethodnom delu prikazani su teorijski okviri i algoritmi pomocu kojih je moguce sprovoditi logicko zakljucivanje. Iako zakljucci moraju nuzno slediti iz zadatih pretpostavki, proces njihovog dokazaivanja nije pravolinijski vec ukljucuje odredene odluke o pravcu u kome ce se postupak sprovoditi. Drugim recima, uocljivo je traganje za dokazom nekog tvrdenja. Primera radi, u primeni procedure DPLL moguce je uociti i korake zakljucivanja i korake pretrage. Kada se uoci jedinicna klauza u nekoj formuli, njeno zadovoljenje je nuzno i predstavlja korak zakljucivanja. S druge strane kada je nemoguce direktno zakljucivanje, potrebno je pretpostaviti vrednost iskazne promenljive. U daljem toku dokazivanja, ta akcija ce se pokazati kao opravdana ili neopravdana. U slucaju da se pokaze kao neopravdana, preduzima se alternativna akcija. Znaci, situacija u kojoj nije moguce izvrsiti direktno zakljucivanje zahteva primenu pretrage. Manje apstraktan primer je upravljanje robotskom rukom. Pretpostavimo da robotska ruka ima nekoliko mehanickih zglobova cije se kretanje kontrolise elektricnim impulsima. Pri tom, neki zglobovi omogucavaju rotacije samo oko jedne ose (kao ljudski lakat ili zglobovi na pristima), a drugi rotaciju oko veceg broja osa (kao ljudsko rame ili zglobovi u korenu prstiju). Pokret hvatanja case ovakvom robotskom rukom je netrivijalan zadatak, ali se moze razbiti na sekvencu atomicnih koraka — pokreta pojedinacnih zglobova oko razlicitih osa za odreden ugao. Mozemo zamisliti da se ovi koraci izvrsavaju strogo jedan po jedan u kom bi slucaju kretanje ruke bilo znacajno razlicito od ljudskog i sporo, ali bi problem bio laksi jer ne bi bila potrebna sinhronizacija razlicitih zglobova i svaki bi se pojedinacno dovodio u zeljeni polozaj. Druga mogucnost je da se kretanja zglobova izvode simultano, kao kod coveka, pri tom povecavajuci broj mogucih kombinacija u svakom trenutku. Dati primeri motivisu razmisljanje o pretrazi kao o nalazenju niza akcija kojima se ostvaruje cilj kada to ne moze biti ostvareno pojedinacnim akcijama. Iako u opstem slucaju ovakva definicija ne mora delovati adekvatno, u kontekstu vestacke inteligencije u kome obicno pretpostavljamo postojanje nekog entiteta koji deluje preduzimanjem nekih akcija (agenta), ona je prirodna. E1: There are two paths to achieving an AGI, says Peter Voss, a software developer and founder of the firm Adaptive A.I. Inc. One way, he says, is to continue developing

11.1 Metode klasifikacije zasnovane na instancama

175

narrow AI, and the systems will become generally competent. It will become obvious how to do that. When that will happen or how it will come about, whether through simbots or some DARPA challenge or something, I dont know. It would be a combination of those kinds of things. The other approach is to specifically engineer a system that can learn and think. Thats the approach that [my firm] is taking. Absolutely I think thats possible, and I think its closer than most people think five to 10 years, tops. The two approaches outlined by Vosseither tinkering with mundane programs to make them more capable and effective or designing a single comprehensive AGI system speak to the long-standing philosophical feud that lies at the heart of AI research: the war between the neats and the scruffies. J. Storrs Hall, author of Beyond AI: Creating the Conscience of the Machine (Prometheus Books, 2007), reduces this dichotomy to a scientific approach vs. an engineering mind-set. The neats are after a single, elegant solution to the answer of human intelligence, Hall says. Theyre trying to explain the human mind by turning it into a math problem. The scruffies just want to build something, write narrow AI codes, make little machines, little advancements, use whatever is available, and hammer away until something happens. The neat approach descends from computer science in its purest form, particularly the war game studies of Von Neumann and his colleagues in the 1930s and 1940s. The 1997 defeat of world chess champion Garry Kasparov by IBMs Deep Blue computer is considered by many the seminal neat success. Up until that moment, the mainstream scientific community generally accepted the premise that AIs could be written to perform specific tasks reasonably well, but largely resisted the notion of superhuman computing ability. Deep Blue proved that an AI entity could outperform a human at a supposedly human task, perceiving a chess board (Deep Blue could see 200 million board positions per second) and plotting a strategy (74 moves ahead as opposed to 10, the human record). S2: Precizni postupci za resavanje matematickih problema postojali su u vreme starogrckih matematicara (npr. Euklidov algoritam za odredivanje najveceg zajednickog delioca dva broja), a i pre toga. Ipak, sve do pocetka dvadesetog veka nije se uvidala potreba za preciznim definisanjem pojma algoritma. Tada je, u jeku reforme i novog utemeljivanja matematike, postavljeno pitanje da li postoji algoritam kojim se (pojednostavljeno receno) mogu dokazati sve matematicke teoreme. Da bi se ovaj problem uopste razmatrao, bilo je neophodno najpre definisati (matematicki precizno) sta je to precizan postupak, odnosno sta je to algoritam. S3: Dositej Obradovic (svetovno ime Dimitrije) (Cakovo, 1744 — Beograd, 1811) je bio srpski prosvetitelj i reformator revolucionarnog perioda nacionalnog budjenja i preporoda. Rodjen je u rumunskom delu Banata tadasnje Austrije. Skolovao se za kaludjera, ali je napustio taj poziv i krenuo na putovanja po celoj Evropi, gde je primio ideje evropskog prosvetiteljstva i racionalizma. Ponesen takvim idejama radio je na prosvecivanju svog naroda, prevodio je razna dela medju kojima su najpoznatije Ezopove basne, a potom je i sam pisao dela, prvenstveno programskog tipa, medju kojima je najpoznatije ”Zivot i prikljucenija”. Dositej je bio prvi popecitelj (ministar) prosvete u Sovjetu i tvorac svecane pesme ”Vostani Serbie”. Njegovi ostaci pocivaju u Beogradu, na ulazu u Sabornu crkvu. E2: The planet Mars, I scarcely need remind the reader, revolves about the sun at a mean distance of 140,000,000 miles, and the light and heat it receives from the sun is barely half of that received by this world. It must be, if the nebular hypothesis has any

176

11 Klasifikacija

truth, older than our world; and long before this earth ceased to be molten, life upon its surface must have begun its course. The fact that it is scarcely one seventh of the volume of the earth must have accelerated its cooling to the temperature at which life could begin. It has air and water and all that is necessary for the support of animated existence.

E3: Principia Mathematica, the landmark work in formal logic written by Alfred North Whitehead and Bertrand Russell, was first published in three volumes in 1910, 1912 and 1913. Written as a defense of logicism (the view that mathematics is in some significant sense reducible to logic) the book was instrumental in developing and popularizing modern mathematical logic. It also served as a major impetus for research in the foundations of mathematics throughout the twentieth century. Along with the Organon written by Aristotle and the Grundgesetze der Arithmetik written by Gottlob Frege, it remains one of the most influential books on logic ever written. Prilikom izdvajanja n-grama koriˇsc´ ena je vrednost n = 3. Pri tom je iz tekstova S1 i E1 izdvojeno po 10 najfrekventnijih n-grama. Oni c´ e cˇ initi atribute instanci na osnovu kojih c´ e biti vrˇseno treniranje i testiranje. Trening i test skup su dati u tabeli 11.1. N-gram JE PR ANJ KO JA JE PO SE NJE U TH THE HE ING NG CO ER ND TO TO

Trening skup S1 E1 0.0129 0 0.0125 0.0023 0.0076 0 0.0076 0 0.0076 0 0.0067 0 0.0067 0.0009 0.0062 0.0018 0.0058 0 0.0058 0 0 0.0212 0 0.0148 0 0.0120 0 0.0088 0 0.0078 0.0004 0.0074 0.0009 0.0069 0 0.0065 0.0018 0.0065 0.0009 0.0065

S2 0.0131 0.0098 0.0082 0.0016 0.0033 0.0082 0.0147 0.0049 0.0065 0.0033 0 0 0 0 0 0 0 0 0.0049 0.0033

Test skup S3 E2 0.0201 0 0.0148 0 0.0027 0 0.0027 0 0.0040 0 0.0121 0 0.0080 0 0.0027 0.0016 0.0027 0 0.0067 0 0 0.0270 0 0.0202 0 0.0185 0 0.0017 0 0.0034 0 0.0051 0 0.0051 0 0.0101 0 0.0034 0 0.0034

E3 0 0 0 0 0 0 0.0016 0.0032 0 0 0.0175 0.0191 0.0127 0.0032 0.0048 0 0.0032 0.0079 0.0016 0.0016

Table 11.1: Trening i test skup za klasifikaciju tekstova prema jeziku. Za svaki 3-gram prikazana je njegova frekvencija u tekstu S1 i E1.

11.2 Uˇcenje stabala odluˇcivanja

177

Prilikom klasifikacije biće koriˇsc´ eno Euklidsko rastojanje v u n uX d(x, y) = t (xi − yi )2 i=1

Potrebno je ispitati rastojanja od instanci test skupa do instanci trening skupa. d(S2, S1) = 0.0124 d(S2, E1) = 0.0417 d(S3, S1) = 0.0133 d(S3, E1) = 0.0450 d(E2, S1) = 0.0482 d(E2, E1) = 0.0149 d(E3, S1) = 0.0397 d(E3, E1) = 0.0141 Poˇsto je rastojanje od instance S2 do S1 manje nego od S2 do E1, zakljuˇcuje se da je S1 najbliˇzi sused instance S2. Zbog toga se instanca S2 prepoznaje kao tekst na sprskom jeziku. Sliˇcno se ispravno zakljuˇcuje i da je S3 tekst na srpskom, E2 tekst na ¯ tekst na engleskom jeziku. Posebno je zanimljivo da tekstovi S3 engleskom i E3 takode, i E2 po svom sadrˇzaju nemaju dodira sa instancama za trening S1 i E1 sˇto ne ometa postupak klasifikacije.

11.2

Uˇcenje stabala odluˇcivanja

Razmotrimo igru 20 pitanja. Jedan igraˇc zamiˇslja neki predmet, a drugi treba da pogodi o kom je predmetu reˇc. Kako bi pogodio o kom predmetu se radi ¯ ima pravo da postavi 20 pitanja na koje odgovor moˇze biti igraˇc koji pogada da ili ne. Kada misli da je postavio dovoljno pitanja, igraˇc moˇze dati svoj sud o kom predmetu se radi i igra se zavrˇsava. Oˇcito, proces ispitivanja se moˇze predstaviti u vidu stabla koje u svakom cˇ voru ima po jedno pitanje, osim u listovima u kojima se nalazi sud igraˇca o nepoznatom predmetu. Svaki cˇ vor osim listova ima dve grane oznaˇcene sa da ili ne koje vode u podstablo koje odgovara nastavku ispitivanja posle razmatranog pitanja. Ovo je primer stabla odluˇcivanja. Ovakva stabla se mogu uopˇstiti zanemarivanjem ograniˇcenja na 20 pitanja i tako sˇ to bi se dozvolilo da odgovori ne moraju biti samo da ili ne, već da mogu ¯ pripadati odredenom unapred definisanom skupu za dato pitanje. Ovakva stabla se mogu automatski nauˇciti iz primera koji za svaku instancu ukljuˇcuju vrednosti njenih atributa i vrednost ciljne funkcije za tu instancu. Uˇcenje stabala odluˇcivanja je metod aproksimacije diskretnih ciljnih funkcija u kome se nauˇcena funkcija predstavlja u vidu stabla. Sliˇcno igri 20 pitanja, svakom cˇ voru stabla odgovara test nekog atributa instance, a grane koje izlaze iz cˇ vora razliˇcitim vrednostima tog atributa. Listovima odgovaraju vrednosti ciljne funkcije. Instance su opisane vrednostima svojih atributa. Klasifikuju se polazeći od korena, spuˇstajući se niz granu koja odgovara vrednosti testiranog

178

11 Klasifikacija

¯ atributa instance koju klasifikujemo. Klasa se dodeljuje instanci kad se dode do lista. Uˇcenje stabala odluˇcivanja je već primenjeno u razliˇcitim problemima. Jedan ¯ primer se odnosi na predvidanje buduće potraˇznje za knjigama u bibliotekama, na osnovu nekih njihovih atributa (npr. jezik, datum objavljivanja, datum ¯ da neće biti skoro poslednjeg iznajmljivanja itd.). Knjige za koje se predvida ¯ traˇzene se mogu smestiti u magacin. Istraˇzivanje je radeno u biblioteci univerziteta Harvard. Sredinom devedesetih stabla odluˇcivanja su primenjena u klasifikaciji tumora i prognozi njihovog ponaˇsanja. Svaka instanca je opisivana pomoću 31 atributa, a klasifikacije su date nezavisno od strane viˇse struˇcnjaka. U astronomiji stabla odluˇcivanja su primenjena u cilju razlikovanja zvezda i tragova kosmiˇckih zraka na snimcima teleskopa Habl. Na osnovu 20 numeriˇckih karakteristika, sa stablima dubine do 9 cˇ vorova, postignuta je pre¯ postoje primene i u ekonomiji i drugim ciznost klasifikacije od 95%. Takode oblastima. Koriˇsc´ enje stabla odluˇcivanja nije podjednako pogodno za sve probleme uˇcenja. Potrebno je da se instance predstavljaju pomoću vrednosti fiksnog broja atributa. Skup vrednosti bi trebalo da bude diskretan i mali, mada se na kontinualne atribute moˇze primeniti diskretizacija tako sˇ to bi se skup podelio u podintervale. Svakom podintervalu se pridruˇzuje oznaka koja zamenjuje vrednosti atributa iz tog intervala u zapisima instanci. Stabla odluˇcivanja se pokazuju posebno primenljiva u sluˇcaju kada je neophodno predstavljanje disjunkcija uslova, kada podaci za trening sadrˇze greˇske i kada u trening skupu postoje instance kojima nedostaju vrednosti nekih atributa. Ukoliko stablo odluˇcivanja instanci dodeljuje neku klasu, to znaˇci da instanca ispunjava sve uslove koji su definisani putanjom od korena do odgovarajućeg lista kroz stablo i oblika su atribut=vrednost. Stoga putanje kroz stablo predstavljaju konjunkcije ovakvih uslova. Za svaku klasu moguće je uoˇciti putanje koje se zavrˇsavaju listovima koji odgovaraju toj klasi. Disjunkcija svih takvih konjunkcija definiˇse instance koje pripadaju datoj klasi prema datom stablu. Jedan od najpoznatijih algoritama za uˇcenje stabla odluˇcivanja je ID3 [?] na koji c´ emo se skoncentrisati. Ovaj algoritam konstruiˇse stablo od korena, naniˇze, pitajući se u svakom cˇ voru koji je najbolji atribut koji se u datom cˇ voru ¯ moˇze testirati. Ovo se odreduje statistiˇckim kriterijumom koji meri koliko dobro neki atribut sam klasifikuje podatke. Atribut ne moˇze biti dva puta koriˇsc´ en u jednoj putanji od korena do lista. Za sve vrednosti odabranog atributa ¯ kreiraju se grane do cˇ vorova naslednika, a podaci za treniranje se dele izmedu ¯ ovih cˇ vorova tako da svaki od njih nasleduje primere koji imaju odgovarajuću vrednost prethodno testiranog atributa. Za svaki od cˇ vorova naslednika ovaj postupak se rekurzivno primenjuje sve dok nije ispunjen bar jedan od sledeća dva uslova: (1) u putanji od korena do trenutnog cˇ vora iskoriˇsc´ eni su svi atributi, ili (2) sve instance za trening koje su pridruˇzene trenutnom cˇ voru imaju istu vrednost ciljnog atributa. Svakom listu se pridruˇzuje najˇceˇsc´ a oznaka instanci za trening koje su mu pridruˇzene. Algoritam je preciznije dat na slici 11.2. Bitno je pitanje statistiˇckog kriterijuma koji c´ e biti koriˇsc´ en za izbor najboljeg atributa za testiranje u nekom cˇ voru. ID3 bira atribut koji maksimizuje takozvani dobitak informacije na skupu instanci koje su pridruˇzene posmatranom cˇ voru. Dobitak informacije predstavlja razlku entropije u odnosu na ciljni atribut skupa instanci za trening S pre deljenja i proseˇcne entropije posle del-


179

Algoritam: ID3(P rimeri, Atributi) Ulaz: P rimeri je skup instanci za trening, a Atributi je lista atributa koji se mogu testirati u ˇcvorovima stabla. Izlaz: Stablo odluˇcivanja koje odgovara datim instancama 1. Napraviti koreni ˇcvor stabla R. 2. Ako sve instance iz P rimeri pripadaju istoj klasi, vratiti ˇcvor R sa oznakom te klase. 3. Ako je Atributi prazna lista, vrati ˇcvor R oznaˇcen oznakom najˇceˇsće klase koja se javlja u P rimeri. 4. U suprotnom – Neka je A ∈ Atributi najbolji* atribut za testiranje u odnosu na P rimeri – Neka je A atribut koji se testira u R – Za svaku moguću vrednost vi atributa A ∗ Dodaj granu iz R koja odgovara testu A = vi ∗ Neka je P rimerivi podskup od P rimeri takav da svi njegovi elementi imaju vrednost vi atributa A ∗ Ako je P rimerivi prazan, onda na dodatu granu iz R dodati list sa oznakom najˇceˇsće klase u P rimeri ∗ U suprotnom na dodatu granu nadovezati podstablo ID3(P rimerivi ,Atributi \ {A}) 3. Vratiti R. * Atribut je najbolji prema nekom statistiˇckom kriterijumu. Figure 11.2: Algoritam ID3 ¯ jenja prema nekom atributu A. Entropija predstavlja meru neuredenosti nekog sistema. Ako sa pi oznaˇcimo verovatnoću da instanca pripada i-toj kasi, onda se entropija moˇze definisati sledećim izrazom: Entropija(S) = −

c X

pi log2 pi

i=1

Po definiciji vaˇzi 0 · log2 0 = 0. Entropija se moˇze interpretirati i kao minimalni oˇcekivani broj bitova potrebnih za kodiranje klasifikacije proizvoljne instance iz S. Primera radi, neka je potrebno poslati informaciju o klasi instance udaljenom primaocu. Neka je broj klasa c i neka je p0 = 1 (tada je pi = 0 za 1 ≤ i ≤ c). U tom sluˇcaju je sigurno da c´ e instanca imati klasifikaciju 0 i nije potrebno nikakvo kodiranje informacije. U sluˇcaju da je pi = 1/c za 0 ≤ i ≤ c, svi ishodi su jednako verovatni i za kodiranje je potrebno iskoristiti log2 c bitova. U sluˇcaju raspodele koja nije uniformna, dodeljujući kraće kodove ¯ javljaju, moˇze se doklasama koje se cˇ eˇsc´ e javljaju, a duˇze onima koje se rede

180

11 Klasifikacija

biti manja proseˇcna duˇzina kodiranja. Dobitak informacije stoga poredstavlja smanjenje u potrebnom broju bitova za kodiranje klase proizvoljne instance, kada je poznata vrednost koju na njoj ima atribut A. Dobitak informacije se formalno definiˇse na sledeći naˇcin: Dobitak(S, A) = Entropija(S) −

X v∈V red(A)

|Sv | Entropija(Sv ) |S|

(11.1)

gde je c broj klasa, odnosno vrednosti ciljnog atributa, pi udeo elemenata skupa S koji pripadaju klasi i u celom skupu S, V red(A) predstavlja skup svih mogućih vrednosti atributa A, a Sv = {s ∈ S|A(s) = v}. Pored entropije, postoje i druge mere koje se mogu koristiti za merenje ¯ neuredenosti nekog skupa. Jedna jednostavna mera je greˇska klasifikacije. Ona predstavlja greˇsku koja se cˇ ini ukoliko se sve instance nekog skupa klasifikuju u najbrojniju klasu u tom skupu. Stoga, ako je pi verovatnoća da instanca pripada i-toj klasi, greˇska klasifikacije se definiˇse izrazom Err(S) = 1 − max pi i

Za ovu meru se moˇze definisati dobitak analogan opisanom dobitku informacije ukoliko se u izrazu 11.1 entropija zameni greˇskom klasifikacije. Primer 11.3 U tabeli 11.2 su date instance koje opisuju razliˇcite zˇ ivotinje, sa datom klasifikacijom koja oznaˇcava da li je zˇ ivotinja opasna po cˇ oveka. Izdvojili smo neko¯ liko karakteristika koje bi mogle biti relevantne u odredivanju ciljne funkcije, ali smo namerno dodali dva atributa koji nisu relevantni — broj nogu i parnost proseˇcne visine u okviru vrste, izraˇzene u centimetrima. ˇ Zivotinja Lav Maˇcka Koza Zec Komodo zmaj

Veliˇcina Velika Mala Mala Mala Velika

Ishrana Meso Meso Biljke Biljke Meso

Otrovnost Neotrovna Neotrovna Neotrovna Neotrovna Otrovna

Broj nogu 4 4 4 4 4

Parnost visine Neparna Neparna Parna Neparna Neparna

Table 11.2: Skup primera za trening Da bi se izgradilo stablo odluˇcivanja, za svaki od atributa je potrebno izraˇcunati dobitak informacije pri deljenju skupa podataka prema tom atributu. U prvom koraku, vaˇzi: 2 2 3 3 Entropija(S) = − log2 − log2 = 0.971 5 5 5 5 Ukoliko se izvrˇsi podela instanci po vrednosti prvog atributa, dobijamo Entropija(S|M ala) = −1 · log2 1 − 0 · log2 0 = 0 Entropija(S|V elika) = −0 · log2 0 − 1 · log2 1 = 0 Dobitak(S, V elicina) = 0.971 −

2 3 · 0 − · 0 = 0.971 5 5

Opasna Da Ne Ne Ne Da


181

Sliˇcno se dobija: Dobitak(S, Ishrana) = 0.42 Dobitak(S, Otrovnost) = 0.322 Dobitak(S, Broj nogu) = 0 Dobitak(S, P arnost visine) = 0.171 Odavde se vidi da je najbolji atribut za testiranje u prvom cˇ voru atribut Veliˇcina. Stablo koje se u ovom sluˇcaju dobija primenom algoritma ID3 je dato na slici 11.3. U sluˇcaju datih primera za uˇcenje, dobijeno stablo je bilo oˇcigledan uzbor i bez primene bilo kakve metodologije. ˇ VELICINA

mala

NE

velika

DA

Figure 11.3: Jednostavno stablo odluˇcivanja Neˇsto komplikovanije stablo odluˇcivanja moˇze se dobiti dodavanjem primera iz tabele 11.3. ˇ Zivotinja Zmija Pˇcela ubica Morska krava

Veliˇcina Mala Mala Velika

Ishrana Meso Biljke Biljke

Otrovnost Otrovna Otrovna Neotrovna

Broj nogu 0 6 0

Parnost visine Parna Parna Parna

Table 11.3: Dodatni primeri za trening Jedno ruˇcno konstruisano stablo koje je saglasno sa podacima za trening je dato na slici 11.4. Izbor loˇseg atributa za testiranje u korenom cˇ voru je namerno uˇcinjen. To dovodi do potrebe za ponavljanjem istih testova u levom i desnom podstablu, poˇsto ¯ informacija dobijena testiranjem u kornenu nije relevantna za odredivanje klase in¯ u sluˇcaju zˇ ivotinjske vrste sa parnom proseˇcnom visinom koja je otrostance. Takode, vna, imamo nepotreban test vezan za njenu ishranu. U oba sluˇcaja klasa je ista, pa se taj test moˇze zameniti listom sa klasom DA. Upotreba ID3 algoritma daje dosta bolje stablo odluˇcivanja. Vrednosti entropije i dobitka informacije se sada razlikuju: 1 1 1 1 Entropija(S) = − log2 − log2 = 1 2 2 2 2 Ukoliko se izvrˇsi podela instanci po vrednosti prvog atributa, dobijamo

Opasna Da Da Ne

182

11 Klasifikacija PARNOST VISINE parna

neparna

OTROVNOST neotrovna

otrovna

ˇ VELICINA

NE

ISHRANA

velika biljke

mala

OTROVNOST

DA

ISHRANA biljke

neotrovna ˇ VELICINA

meso mala DA

NE

NE DA

DA

velika ISHRANA biljke

meso

otrovna

meso

NE DA

Figure 11.4: Ruˇcno konstruisano stablo odluˇcivanja

3 2 2 3 Entropija(S|M ala) = − log2 − log2 = 0.971 5 5 5 5 1 1 2 2 Entropija(S|V elika) = − log2 − log2 = 0.918 3 3 3 3 Dobitak(S, V elicina) = 1 −

3 5 · 0.971 − · 0.918 = 0.049 8 8

Sliˇcno se dobija: Dobitak(S, Ishrana) = 0.189 Dobitak(S, Otrovnost) = 0.549 Dobitak(S, Broj nogu) = 0 Dobitak(S, P arnost visine) = 0.156 Posle dodavanja novih instanci, najbolji atributi za testiranje su Otrovnost i Ishrana. Rekurzivnom primenom ovog postupka dobija se stablo na slici 11.5. Ono je oˇcigledno manje od ruˇcno konstruisanog i ima relevantnije atribute pri vrhu stabla, dok se dva nebitna atributa uopˇste ne testiraju. Kao i drugi metodi uˇcenja, ID3 se moˇze shvatiti kao pretraga prostora hipoteza za onom koja najbolje odgovara podacima za trening. Prostor pretrage je potpun prostor svih stabala odluˇcivanja. Svaka diskretna funkcija se moˇze predstaviti nekim stablom odluˇcivanja, tako da se ne moˇze desiti da ciljna funkcija nije u prostoru hipoteza. ID3 u svakom trenutku cˇ uva samo jednu hipotezu, pa je nemoguće znati koliko ima drugih hipoteza koje su saglasne sa podacima za trening. Poˇsto nema vraćanja u pretrazi (backtracking), već se stablo gradi

11.3 Mere kvaliteta i tehnike evaluacije klasifikacije

183

OTROVNOST neotrovna

otrovna

ˇ VELICINA mala NE

DA

velika ISHRANA biljke

NE

meso

DA

Figure 11.5: Stablo odluˇcivanja konstruisano pomoću ID3 algoritma od jednostavnijeg ka sloˇzenijem, postoji opasnost od dostizanja lokalnih optimuma koji nisu globalni. Jedna vrsta vraćanja je odsecanje ili potkresivanje (pruning) stabla koje c´ e biti objaˇsnjeno kasnije. Zahvaljujući tome sˇ to ID3 uˇci iz svih podataka za trening odjednom, greˇske u pojedinaˇcnim instancama ne dolaze toliko do izraˇzaja. Treba primetiti da ID3 preferira stabla sa manjom dubinom, kao i stabla u kojima se atributi koji nose veći dobitak informacije nalaze bliˇze korenu. Ovo je posledica toga sˇ to izgradnja stabla poˇcinje od praznog stabla pri cˇ emu se dodaje nivo po nivo i naˇcina na koji se biraju atributi koji se pridruˇzuju cˇ vorovima. Afinitet prema kraćim stablima je zanimljiva pretpostavka jer je u skladu sa odavno poznatim filozofskim principom kojim se cˇ esto vode i nauˇcnici - Okamovom oˇstricom: entitete ne treba umnoˇzavati preko potrebe, odnosno najjednostavnije objaˇsnjenje je verovatno i najbolje. Stabla odluˇcivanja sa manjom dubinom imaju manji broj listova. Svakoj putanji od krena do nekog od listova odgovara po jedno pravilo oblika IF A1 = v1 ∧ A2 = v2 ∧ ... ∧ An = vn T HEN Klasa = klasa koja odgovara listu gde su Ai 0 ≤ i ≤ n tributi koji se testiraju na putanji od korena do odgovarajućeg cˇ vora, a vi njihove vrednosti za datu instancu. Kako stabla sa manjom dubinom, predstaljaju manje skupove ovakvih pravila, moˇzemo ih smatrati jednostavnijim.

11.3

Mere kvaliteta i tehnike evaluacije klasifikacije

Kada se govori o traˇzenju modela koji najbolje aproksimira ciljnu funkciju, potrebno je dati i mere kvaliteta modela, odnosno uˇcenja. Mogu se koristiti razliˇcite mere u zavisnosti od vrste problema, ali za neke vrste problma već postoje neke opˇste prihvaćene mere. U sluˇcju problema klasifikacije se obiˇcno

184

11 Klasifikacija

koristi preciznost, odnosno broj taˇcno klasifikovanih instanci podeljen ukupnim brojem instanci. U primeru sa prepoznavanjem raˇcunarksih cˇ lanaka, smo upravo koristili preciznost kao meru kvaliteta. Ako je n ukupan broj cˇ lanaka i ako sa r oznaˇcimo broj raˇcunarskih cˇ lanaka koji su klasifikovani kao raˇcunarski cˇ lanci i sa o broj ostalih cˇ lanaka koji su klasifikovani kao da nisu raˇcunarski, tada je preciznost u tom primeru r+o n U nekim sluˇcajevima preciznost nije adekvatna mera. Ukoliko postoje dve klase i jedna je znaˇcajno manja od druge, moguće je dobiti visoku preciznost tako sˇ to c´ e se sve instance klasifikovati u veću grupu. Takav je sluˇcaj sa testovima koji ustanovljavaju da li je pacijent oboleo od neke bolesti. Neka bolest ima samo 1% ljudi u populaciji. Test koji bi uvek prijavljivao da pacijent nema bolest bi imao preciznost od 99%, ali je neupotrebljiv. Stoga je u takvim sluˇcajevima bitna mera osetljivost klasifikatora, odnosno njegova mogućnost da primeti instance koje se traˇze (npr. bolesne pacijente). Opˇstije, neka su date dve klase C+ i C− koje smatramo pozitivnim i negativnim primerima neke kategorije. Na primer pacijenti koji imaju i pacijenti koji nemaju neku bolest. Tada pod stvarno pozitivnim instancama podrazumevamo pozitivne instance kojie su prepoznate kao pozitivne. Pod stvarno negatinvim, instance koje su negativne i prepoznate kao negativne. Pod laˇzno pozitivnim podrzaumevamo instance koje su negativne, ali su greˇskom u klasifikaciji proglaˇsene pozitivnim i pod laˇzno negativnim podrazumevamo instance koje su pozitivne, ali su greˇskom klasifikovane kao negativne. Brojeve ovih instanci oznaˇcavamo redom SP , SN , LP i LN . Ove brojeve obiˇcno zapisujemo u takozvanoj matrici konfuzije koja po vrstama prikazuje kako su instance klasifikovane, a po kolonama prikazuje koje su stvarne klase instanci. Ova matrica je prikazana tabelom 11.4. p=

KP KN

P SP LN

N LP SN

Table 11.4: Vrste matrice konfuzije u zbiru daju broj instanci koje su klasifikovane pozitivno (KP) i broj instanci koje su klasifikovane negativno (KN). Kolone u zbiru daju broj instanci koje su stvarno pozitivne (P) ili negativne (N). Kada su poznati ovi brojevi, udeo stvarno pozitivnih instanci, odnosno osetljivost je definisana kao: U SP =

SP SP + LN

odnosno broj stvarno pozitivnih podeljen brojem svih pozitivnih (i onih koji su klasifikovani kao pozitivni i onih koji su greˇskom klasifikovani kao negativni). Udeo stvarno negativnih se analogno definiˇse U SN =

SN SN + LP

Udeo laˇzno pozitivnih i laˇzno negativnih se definiˇsu sliˇcno:

11.3 Mere kvaliteta i tehnike evaluacije klasifikacije

LP LP + SN Preciznost se moˇze izraˇcunati kao U LP =

P rec =

U LN =

185

LN LN + SP

SP + SN SP + LP + SN + LN

Primer 11.4 Neka je testirano 400 ispitanika. Od toga 4 imaju bolest zbog koje se testiraju, a ostali ne. Neka je test dao pozitivnu klasifikaciju u sluˇcaju 2 osobe koje obe imaju bolest. Matrica konfuzije data je tabelom 11.4

KP KN

P 2 2

N 0 396

Table 11.5: Matrica konfuzije vezana za klasifikaciju obolelih. Odavde se mogu izraˇcunati mere kvaliteta: 398 = 0.995 400 2 U SP = = 0.5 4 396 U SN = =1 396 0 U LP = =0 396 2 U LN = = 0.5 4 Preciznost je izuzetno visoka i sugeriˇse odliˇcno ponaˇsanje klasifikatora. S druge strane poznavanje udela stvarno pozitivnih otkriva da je ovaj utisak laˇzan zato sˇto je identifikovan mali broj elemenata pozitivne klase. P rec =

Pored izbora mere za evaluaciju klasifikacije bitno je izabrati i naˇcin na koji ˇ se ta mera ocenjuje. Cesta praksa je da se model trenira na jednom skupu podataka, a da se evaluira na odvojenom skupu podataka za testiranje. Pri tome se podela raspoloˇzivih podataka na podatke za trening i podatke za testiranje ¯ vrˇsi sluˇcajnim izborom podataka za testiranje. Medutim, ovakav naˇcin evaluacije moˇze dovesti do znaˇcajnih oscilacija u vrednostima mera kvaliteta u zavisnosti od toga koji je podskup izabran. Pouzdaniji naˇcin evaluacije nauˇcenog znanja je takozvana unakrsna validacija. Ceo skup podataka kojim se raspolaˇze se deli na n pribliˇzno jednakih podskupova. Jedan podskup se izdvaja i trening se vrˇsi na ostalih n − 1 podskupova. Posle treninga, kvalitet nauˇcenog znanja se ocenjuje na izdvojenom podskupu. Ovaj posupak se ponavlja za sve ostale izdvojene podskupove i kao finalna ocena kvaliteta se uzima prosek dobijenih ocena za svaki od podskupova. Za vrednost n se obiˇcno uzima broj 10. Ovakav postupak daje stabilniju ocenu kvaliteta. Pored toga, prednost ovog metoda je da se u svakom od n koraka unakrsne validacije koristi velika koliˇcina podataka pri treniranju, a da sve raspoloˇzive instance u jednom trenutku budu iskoriˇsc´ ene za testiranje.

186

11.4

11 Klasifikacija

Preterano prilagodavanje modela podacima za ¯ trening

Vrlo znaˇcajna tema pri evaluaciji nauˇcenog modela je mogućnost da se prilikom treninga model previˇse prilagodi specifiˇcnostima podataka za trening i da zbog toga daje loˇse rezultate kada se primeni na drugim podacima. Naime, ¯ podaci za trening mogu imati odredene karakteristike kao plod cˇ iste sluˇcajnosti, ¯ mogu predstavljati i pristrasan uzorak celog skupa odnosno sˇ uma, ali takode podataka. U praksi, podatke je cˇ esto teˇsko sakupiti i obiˇcno se mora raditi sa podacima koji su raspoloˇzivi bez obzira na njihove manjkavosti. Stoga, iako je potrebno da se postigne visok nivo preciznosti prilikom treniranja modela, ¯ je potrebno paziti da ne dode ¯ do preteranog prilagodavanja ¯ takode podacima. ¯ Osnovni razlog zbog koga dolazi do preteranog prilagodavanja podacima je bogatstvo prostora hipoteza, odnosno skupa dopustivih modela. U bogatijem skupu je lakˇse naći model koji dobro odgovara podacima. Primera radi, ukoliko se pri uˇcenju dopuˇstaju samo stabla dubine 1, koja testiraju samo jedan atribut svake instance, jasno je da takva stabla ne mogu lako postići visoku preciznost klasifikacije. Ona predstavljaju previˇse grube modele koji ne mogu da opiˇsu znaˇcajne zakonitosti u podacima. S druge strane, ukoliko se dozvoli koriˇsc´ enje stabala proizvoljne dubine, ukoliko je potrebno, moguće je naći stablo koje je u stanju da razlikuje bilo koje dve instance, odnosno da postigne ¯ savrˇsenu preciznost na podacima za treniranje. Medutim, stabla koja su vrlo duboka i precizno opisuju svaku i najnebitniju specifiˇcnost podataka za trening, se u praksi pokazuju nepouzdanim, poˇsto sˇ iri skupovi podataka ne moraju uvek imati sve specifiˇcnosti skupa podataka za trening. Ovde se uoˇcava znaˇcaj ranije pomenutog koncepta apstrakcije. Adekvatna hipoteza bi trebalo da apstrahuje, odnosno zanemari, takve specifiˇcnosti. U primeru prepoznavanja raˇcunarksih cˇ lanaka mogli smo izostaviti ograniˇcenje da se reˇci moraju nalaziti u nekom reˇcniku raˇcunarske terminologije. U tom sluˇcaju, ukoliko bi se koristile stranice koje piˇse mala skupina autora, moguće je da bi se njihova imena mogla pokazati kao visokofrekventne reˇci karakteristiˇcne za raˇcunarske cˇ lanke, sˇ to bi bio vrlo loˇs kriterijum prepoznavanja cˇ im bi se pojavili raˇcunarski cˇ lanci koje piˇsu drugi autori. U vezi sa prethodnim razmatranjem treba primetiti dve zakonitosti. Sa povećanjem dozvoljene dubine stabla, povećava se moć uˇcenja, odnosno verovatnoća ¯ onaj koji dobro opisuje podatke. da c´ e u skupu dopustivih modela biti naden Zato se sa povećanjem dozvoljene dubine stabala, smanjuje greˇska klasifikacije. Dalje, ukoliko stablo dubine, na primer, 1 ima visoku preciznost, to znaˇci da je ¯ u podacima nadena jaka i vrlo jednostavna zakonitost. Stoga je za oˇcekivati da ona postoji i u sˇ irem skupu podataka, odnosno oˇcekivano odstupanje greˇske na sˇ irem skupu podataka od greˇske koja se primećuje na trening skupu bi trebalo da bude malo. S druge strane, ukoliko je stablo visoke preciznosti vrlo duboko, to znaˇci da je uoˇcena zakonitost u podacima vrlo kompleksne prirode i stoga moˇze biti specifiˇcna samo za podatke u trening skupu. Odnosno, oˇcekivano odstupanje greˇske na sˇ irem skupu podataka od greˇske na trening skupu moˇze biti veliko. Na slici 11.6 prikazane su tri krive. Jedna, opadajuća, predstavlja ponaˇsanje greˇske klasifikacije na trening skupu u zavisnosti od dozvoljene dubine stabla. Druga, rastuća, predstavlja ponaˇsanje odstupanja greˇske na sˇ irem skupu podataka od greˇske na trening podacima u zavisnosti od dozvoljene du-

11.4 Preterano prilagodavanje modela podacima za trening ¯

187

Figure 11.6: Greˇska klasifikacije u zavisnosti od bogatsktva skupa dopustivih modela. bine stabla. Treća predstavlja gornju granicu greˇske klasifikacije u zavisnosti od dozvoljene dubine stabla i ona je zbir prethodne dve. Oˇcigledno, i premale i prevelike vrednosti za dozvoljenu dubinu stabla vode loˇsim rezultatima. Prve usled nefleksibilnosti dozvoljenih modela, a druge zbog preteranog pri¯ lagodavanja modela trening podacima. Bitno je naglasiti da je isto rezonovanje moglo biti sprovedeno i za druge metode maˇsinskog uˇcenja. Pri tom u analizi ¯ ne bi figurisala dozvoljena dubina stabla, već odredena opˇsta mera sloˇzenosti skupa modela o kojoj nećemo detaljnije govoriti. Adekvatno upravljanje bogatstvom prostora hipoteza cˇ ini kljuˇc dobre generalizacije. Neki algoritmi uˇcenja kao metoda potpornih vektora su konstruisani tako da prilikom izbora modela automatski reˇsavaju i ovaj problem. U sluˇcaju kad model koji najbolje aproksimira ciljnu funkciju na raspoloˇzivim ¯ najbolje aproksimira ciljnu funkciju na svim mogućim ininstancama, takode stancama, kaˇze se da algoritam za uˇcenje dobro generalizuje iz prikazanih primera. Kod stabala odluˇcivanja, moguća su dva pristupa reˇsavanju problema preter¯ anog prilagodavanja trening podacima, a to su: zaustavljanje rasta stabla u toku njegove izgradnje i naknadno odsecanje. Obiˇcno se preferira druga mogućnost. ¯ Odsecanje stabla u odredenom cˇ voru predstavlja zamenu celog podstabla cˇ iji je to koren tim cˇ vorom, s tim sˇ to mu se dodeljuje oznaka klase u koju se podaci u tom podstablu najˇceˇsc´ e klasifikuju. Odsecanje se vrˇsi tako sˇ to se iterativno ponavlja u cˇ vorovima u kojima najviˇse povećava preciznost klasifikacije na skupu za testiranje sve dok dalje odsecanje ne poˇcne da smanjuje preciznost klasifikacije.

188

11 Klasifikacija

Glava 12

Regresija ¯ Problem regresije predstavlja problem predvidanja vrednosti neprekidnog atributa neke instance na osnovu vrednosti njenih drugih atributa. Dakle, regresija se moˇze videti kao aproksimacija neprekidne ciljne funkcije. Umesto o atributima, u terminologiji regresije, cˇ eˇsc´ e se govori o promenljivim. Formalno, regresiona funkcija koja povezuje zavisnu promenljivu Y i nezavisne promenljive X1 , X2 , . . . , Xn je definisana izrazom r(x1 , x2 , . . . , xn ) = E(Y |X1 = x1 , X2 = x2 , . . . , Xn = xn ) gde E oznaˇcava matematiˇcko oˇcekivanje. Promenljiva Y se naziva odzivnom promenljivom, a promenljive Xi prediktorima. Problem regresije se svodi na problem aproksimacije regresione funkcije r. Ovo se moˇze raditi razliˇcitim metodama koje uvode razliˇcite pretpostavke o regresionoj funkciji. Najjednostavnije su metode linearne regresije. Primene regresije su mnogobrojne već u najjednostavnijoj, linearnoj, varijanti. One ukljuˇcuju procenu rizika u ulaganjima, procenu uticaja prerade rude na ekosistem, procenu smrtnosti u zavisnosti od zˇ ivotnih navika i sliˇcno.

12.1

Linearna regresija

Linearna regresija predstavlja problem regresije u kome se pretpostavlja lin¯ odzivne promenljive i prediktora. Formalnije, pretpostavlja earna veza izmedu se veza oblika Y = Xβ + ε Pri tome je Y sluˇcajna promenljiva, X je vektor poznatih prediktora, β je nepoznati vektor koeficijenata, a ε je sluˇcajna promenljiva koja predstavlja sluˇcajnu greˇsku, odnosno sˇ um. Poreklo sˇ uma moˇze biti nesavrˇsenost opreme kojom se vrˇsi merenje, sluˇcajna priroda samog fenomena ili to sˇ to izbor linearne zavisnosti predstavlja svesnu odluku da se inaˇce kompleksna zavisnost donekle ¯ pojednostavi radi lakˇse analize. Zadatak linearne regresije je odredivanje koˆ eficijenata β koji u nekom smislu najbolje odgovaraju opaˇzanjima iz iskustva, odnosno trening podacima. Kako se greˇska ne modelira, već se modelira samo zakonitost za koju se pretpostavlja da postoji u podacima, rezultujući model bi

190

12 Regresija

trebalo da ima sledeći oblik yˆ = βˆ0 + βˆ1 x1 + βˆ2 x2 + . . . + βˆn xn

(12.1)

Bitno je naglasiti da se izraz ”linarna” u nazivu linearna regresija odnosi na ˆ a da prediktorske promenljive mogu biti linearnost relacije po parametrima β, nelinearno transformisane. Primer 12.1 Neki primeri linearnih modela su: • yˆ = βˆ0 + βˆ1 x1 + βˆ2 x2 • yˆ = βˆ0 + βˆ1 cos(x1 ) + βˆ2 x22 + βˆ3 ex3 • yˆ = βˆ0 + βˆ1 x1 + βˆ2 x2 + βˆ3 x1 x2 Sledeći primeri ne predstavljaju linearne modele: • yˆ =

β1 x1 β2+x2

• yˆ =

cos(βˆ1 x1 )βˆ2 x2 ˆ eβ3 x3

¯ odzivne promenljive i Pored osnovnog zadatka modeliranja veze izmedu prediktora radi predikcije odzivne promenljive, linearna regresija je korisna i za ustanovljavanje jaˇcine uticaja nekog prediktora na odizvnu promenljivu. Naime, veće apsolutne vrednosti koeficijenata βˆ oznaˇcavaju jaˇci uticaj predik¯ ¯ tora uz koji stoje. Znak koeficijenta odreduje smer uticaja prediktora. Takode se moˇze meriti statistiˇcka znaˇcajnost ovog uticaja, ali se radi jednostavnosti u ¯ nastavku fokusiramo samo na osnovni problem odredivanja koeficijenata βˆ i proveru kvaliteta nauˇcenog modela. ¯ Najjednostavniji sluˇcaj linearne regresije je predvidanje odzivne promenljive Y na osnovu samo jednog prediktora X. Primera radi, moˇzemo govoriti o ¯ predvidanju telesne teˇzine u zavisnosti od visine. Primetna je zakonitost da su visoki ljudi uglavnom teˇzi od niskih ljudi. Tu zavisnost je potrebno modelirati. ¯ Medutim, postoje i odstupanja. Kako su odstupanja od proseˇcne teˇzine utoliko ¯ sˇ to su veća, ova odstupanja c´ emo smatrati sˇ umom i nećemo ih modelirati. redja Linearni model je u ovom sluˇcaju oblika yˆ = βˆ0 + βˆ1 x sˇ to je standardna jednaˇcina linearne funkcije. Na slici 12.1 je prikazano 100 taˇcaka pri cˇ emu svaka odgovara jednom ispitaniku. Koordinata x predstavlja visinu, a y telesnu teˇzinu. Na slici se moˇze primetiti opˇsti trend linearnog povećanja telesne teˇzine u zavisnosti od visine ¯ primetno je i da mali broj taˇcaka znaˇcajno koji je prikazan pravom. Takode, odstupa. Ovakve taˇcke nazivamo izuzecima (eng. outliers). Prikazana prava predstavlja linearni model datih podataka. Metod kojim se do njega dolazi biće prikazan u nastavku. U sluˇcaju koriˇsc´ enja opˇste jednaˇcine linearnog modela 12.1, moguće je ukljuˇciti ¯ veći broj prediktora pri predvidanju odzivne promenljive. Iz primetne varijabilnosti telesne teˇzine u odnosu na regresioni model, shvata se da visina nije dovoljna da u potpunosti objasni variranje telesne teˇzine. Novi prediktori koji

12.1 Linearna regresija

191

120

● ● ● ● ●

100

●

● ● ●●

●

●

● ●

●●

●

● ●

●

80

y

● ●

●

●

●

●● ●

●

● ● ●

●

60

●

40

●

● ●

● ● ●

●

●●

● ●

●

●

●

● ●

● ●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

● ●

●●

● ●

●

●

●

●

●● ●

● ●●

●

●

●

●

● ●

●

●

● ●

150

160

170

180

190

200

x

¯ telesna teˇzina na Figure 12.1: Primer jednostavne regresije kojom se predvida osnovu visine. ¯ bi vodili ka poboljˇsavanju predvidanja mogu da se odnose na naˇcin zˇ ivota pojedinaca — koliko vremena dnevno provode u sedećem poloˇzaju, koliko se bave sportom, koliko kalorija unose dnevno i sliˇcno. Umesto prave, u ovakvom ¯ sluˇcaju regresioni model bi odredivao jednu hiperpovrˇs. Osnovni kriterijum izbora koeficijenata linearnog modela je smanjivanje ¯ vrednosti koje model predvida ¯ i vrednosti koje odzivna odstupanja izmedu promenljiva ima u podacima. Ovaj problem se najˇceˇsc´ e se formuliˇse kao problem minimizacije (nalaˇzenja minimuma) srednjekvadratne greˇske n

E(ˆ y) =

1X (yi − yî )2 n i=1

pri tome je n broj instanci u trening skupu, yi su vrednosti odzivne promenljive ¯ regresioni model. Koeficijenti kod tih instanci, a yî su vrednosti koje predvida ˆ β se izraˇcunavaju iz trening podataka (xi1 , xi2 , . . . , xim , yi ) po formuli βˆ = (X > X)−1 X > Y pri cˇ emu je    X= 

1 1 .. .

x11 x21 .. .

x12 x22 .. .

··· ··· .. .

1

xn1

xn2

···

 x1m x2m     xnm

   Y = 

y1 y2 .. .

    

yn

¯ Osnovni problem pri odredivanju koeficijenata βˆ je potencijalna loˇsa uslovljenost matrice X. Naime, moguće je da su neki prediktori linearno zavisni ili

192

12 Regresija

da su jako korelirani. U tom sluˇcaju matrica X, pa i X > X je neinvertibilna ili loˇse uslovljena (za male promene elemenata polazne matrice, moguće su ogromne promene elemenata inverzne matrice), odnosno, koeficijenti βˆ se ne mogu izraˇcunati ili su previˇse nestabilni. U takvom sluˇcaju se pribegava takozvanom postupku regularizacije. Matrici X > X se dodaje dijagonalna komponenta βˆ = (X > X + αI)−1 X > Y gde je I jediniˇcna matrica. Ova modifikacija reˇsava problem invertibilnosti, ali predstavlja namerno unoˇsenje greˇske i time naruˇsava taˇcnost postupka. Zbog toga je potrebno da konstanta α bude mala, na primer, 0.01 ili 0.001, tako da je korist od regularizacije veća nego sˇ teta zbog unesene greˇske. Ovakva modifikacija regresije se na engleskom naziva ridge regression i cˇ esto se koristi.

12.2

Pretpostavke linearne regresije

Postoje dve osnovne pretpostavke linearne regresije. Prva je da je broj trening podataka veći od broja prediktora. Nju je u praksi uglavnom lako zadovoljiti. Nisu retki domeni u kojima je teˇsko doći do novih podataka, ali ni broj prediktora obiˇcno nije preveliki. Druga pretpostavka je da je sluˇcajna promenljiva ε koja cˇ ini sˇ um normalno raspodeljene sa raspodelom ε ∼ N (0, σ 2 ) gde je standardna devijacija σ konstantna. Neformalno, ovo znaˇci da se pretpostavlja da se greˇske ”poniˇstavaju”, odnosno da se prebacivanja i podbacivanja javljaju jednako cˇ esto, da su pri tom velike greˇske vrlo malo verovatne, kao i da veliˇcina greˇske ne zavisi od stvarne veliˇcine promenljive Y . Viˇse o ispitivanju ovih poretpostavki biće reˇceno u nastavku.

12.3

Ispitivanje kvaliteta linearne regresije

Ispitivanje kvaliteta linearne regresije ukljuˇcuje skup thenika i mera kvaliteta kojima se proverava zadovoljenost uslova primenljivosti tehnike linearne regresije, kao i kvalitet samog nauˇcenog modela. Ovaj postupak se cˇ esto naziva i dijagnostikom modela. Ispitivanje zadovoljenosti uslova za primenu linearne regresije bi formalno ¯ trebalo raditi koriˇsc´ enjem statistiˇckih testova. Medutim kako je sama tehnika dosta robusna, odnosno cˇ esto daje zadovoljavajuće rezultate i kad su te pretpostavke donekle naruˇsene, ove provere se cˇ esto vrˇse neformalno — inspekci¯ jom podataka pomoću dijagrama. Normalnost raspodele sˇ uma se potvrduje inspekcijom histograma greˇsaka ri = yi − yî koje nazivamo rezidualima. Pretpostavka da veliˇcina greˇske ne zavisi od stvarne veliˇcine promenljive Y se ¯ obiˇcno potvrduje inspekcijom grafika koji prikazuje reziduale ri u zavisnosti ¯ od predvidenih vrednosti yî . Ukoliko se na ovom grafiku ne uoˇcava zavis¯ te dve veliˇcine, smatra se da je pretpostavka ispunjena. S druge nost izmedu strane, ukoliko se moˇze uoˇciti zavisnost, smatra se da pretpostavka nije ispunjena i da se model moˇze popraviti dodavanjem novih prediktora ili primenom drugaˇcijih metoda.

12.3 Ispitivanje kvaliteta linearne regresije

193

Osnovna mera kvaliteta linearne regresije je srednjekvadratna greˇska, koja ¯ meri odstupanje predvidenih vrednosti od stvarnih i raˇcuna se po formuli n

E(ˆ y) =

1X (yi − yî )2 n i=1

¯ Poˇzeljno je da srednjekvadratna greˇska bude sˇ to manja, medutim ukoliko ne¯ mamo konkretan zahtev za postizanjem odredene srednjekvadratne grevˇske, teˇsko je reći da li je uˇcenje uspeˇsno ili ne. Zbog toga se cˇ esto koriste i druge ˇ mere. Cesta je upotreba Pirsonovog koeficijenta korelacije. ¯ dva uzorka xi i yi , koji odgovaraju Pirsonov koeficijent korelacije izmedu nekim promenljivim X i Y , se raˇcuna po formuli Pn 1 i=1 (xi − x)(yi − y) n q P r(X, Y ) = q P n n 1 1 2 2 (x − x) i i=1 i=1 (yi − y) n n gde nadvuˇcena linija oznaˇcava prosek uzorka. Izrazi pod korenom se nazivaju uzoraˇckim varijansama za X i Y . Vrednosti koeficijenta korelacije r(X, Y ) = ¯ promenljivih X i Y pri cˇ emu pozitivan ±1 oznaˇcavaju linearnu vezu izmedu znak znaˇci da Y raste kako X raste, a negativan znaˇci da Y opada kako X raste. Neformalno, ova mera se moˇze shvatiti kao mera linearne zavisnosti ¯ promenljivih X i Y pri cˇ emu vrednost 0 znaˇci potpuno odsustvo linizmedu earne korelacije. Joˇs vaˇznije, ova mera se moˇze povezati sa srednjekvadratnom ˇ greˇskom. Cesto se kaˇze da r2 (X, Y ) predstavlja udeo varijanse promenljive ¯ Y koji promenljiva X objaˇsnjava. Smisao ovog tvrdenja je sledeći. Ukoliko se ¯ odreknemo koriˇsc´ enja bilo kakvih metoda predikcije pri predvidanju vrednosti promenljive Y , najmanju srednjekvadratnu greˇsku oˇcekujemo ukoliko uvek ¯ predvidamo vrednost y. Odnosno, ako kao predikcioni model za Y koristimo prosek opaˇzenih vrednosti Y . Pri tome je srednjekvadratna greˇska n

E(y) =

1X (yi − y)2 n i=1

odnosno uzoraˇcka varijansa za Y . Rastojanja koja ulaze u ovu greˇsku su prikazana na slici 12.2. U sluˇcaju koriˇsc´ enja linearnog regresionog modela, srednjekvadratna greˇska je n 1X E(ˆ y) = (yi − yî )2 n i=1 Rastojanja koja ulaze u ovu greˇsku su prikazana na slici 12.3. Ova, preostala, greˇska se ne moˇze objasniti zavisnoˇsc´ u od prediktora X, odnosno tu preostalu greˇsku moˇzemo smatrati neobjaˇsnjenom. Ispostavlja se da se polazna srednjekvadratna greˇska moˇze razloˇziti po formuli n

E(y) = odnosno da vaˇzi

n

n

1X 1X 1X (yi − y)2 = (yi − yî )2 + (ˆ yi − y)2 n i=1 n i=1 n i=1 n

1X (ˆ yi − y)2 = E(y) − E(ˆ y) n i=1

194

12 Regresija

¯ Figure 12.2: Grafik reziduala u zavisnosti od predvidenih vrednosti telesne teˇzine.


195

0

5

10

15

20

12.3 Ispitivanje kvaliteta linearne regresije

−30

−20

−10

0

10

20

30

¯ Figure 12.4: Histogram reziduala u predvidanju telesne teˇzine. ¯ polazne i neobjaˇsnjene Dakle, izraz sa leve strane predstavlja razliku izmedu greˇske, odnosno varijanse, iliti ”objaˇsnjeni deo varijanse”. Ispostavlja se da za koeficijent korelacije vaˇzi relacija Pn (ˆ yi − y)2 r2 (X, Y ) = Pni=1 2 i=1 (yi − y) sˇ to objaˇsnjava znaˇcenje tvrdnje da njegov kvadrat predstavlja udeo varijanse promenljive Y koji promenljiva X objaˇsnjava. Pomoću ove mere se moˇze oceniti koliko je linearni model zaista koristan u odnosu na jednostavno poznavanje proseka neke veliˇcine. U sluˇcaju da se radi o opˇstem sluˇcaju regresije, postoji veći broj prediktora, pa se koeficijent korelacije ne moˇze raˇcunati po istoj formuli. U tom sluˇcaju, on se raˇcuna kao r(Yˆ , Y ). U sluˇcaju jednog prediktora ova vrednost je jednaka r(X, Y ) poˇsto su veliˇcine X i Yˆ linearno povezane. I u sluˇcaju regresije, moguće je koristiti unakrsnu validaciju na isti naˇcin kao kod klasifikacije, osim sˇ to je mera kvaliteta koja se raˇcuna promenjena. Primer 12.2 U sluˇcaju primera sa predikcijom telesne teˇzine u zavisnosti od visine na slici 12.4 prikazan je histogram reziduala. Prikazana raspodela je bliska normalnoj (ˇsto ¯ je potvrdeno i statistiˇckim testom). Na slici 12.5 prikazan je grafik zavisnosti rezidu¯ ¯ reziduala i ala od predivdenih vrednosti. Kako raspodela ne odaje zavisnost izmedu ¯ ¯ potvrdeno ¯ predvidenih vrednosti (ˇsto je takode i statistiˇckim testom), zakluˇcuje se da su u tom problemu pretpostavke linearne regresije ispunjene. Koeficijent korelacije iznosi 0.715 sˇto znaˇci da promenljiva X objaˇsnjava preko pola varijanse promenljive Y , ali i da postoji prostor da se predikcija dalje popravi dodavanjem novih prediktora.

196

12 Regresija

● ●

20

● ● ●

● ●

●

10

● ●

● ●

●

●

●

0

●

●

●

● ●

●

●

●

●

●

●

●

●

●●

●

● ●

●

●

● ● ●

●

● ●

●

● ●

●

● ●

● ●

●

●

● ●

●

●

●

●

●

−10

● ●● ●

●●

●

●

●

●

●

● ●●

●

● ●

● ● ●

●

●

●

●

●

●

●

●

●

● ●

● ● ●

●

●

● ●

−20

● ●

●

50

●

60

70

80

90

100


12.4

Preterano prilagodavanje modela podacima za ¯ trening

¯ Fenomen preteranog prilagodavanja podacima za trening koji je objaˇsnjen u kontekstu klasifikacije, moguć je i u problemu regresije (ne nuˇzno linearne). Zbog toga c´ emo iskoristiti priliku da ga joˇs jednom prokomentariˇsemo u drugaˇcijem ¯ okviru maˇsinskog uˇcenja. Osnovni smisao preteranog prilagodavanja trening podacima je i dalje isti — da se model koji ima dobre mere kvaliteta na trening ¯ podacima, loˇse ponaˇsa na drugim podacima. Medutim, novi primeri dopri¯ bogatstva skupa dopustivih modela i kvaliteta nose razumevanju veze izmedu uˇcenja. Na slici 12.6 prikazan je jedan skup od 20 instanci za trening koje se sastoje od jednog prediktora i odzivne promenljive. Linearni model je nauˇcen linearnom regresijom. Moˇze se primetiti da on ne prolazi direktno kroz trening podatke, odnosno za svaki trening podatak postoji manja ili veća greˇska ¯ kada se vrˇsi predvidanje odzivne promenljive na osnovu datog prediktora. Drugaˇcije reˇceno, linearni model se ne moˇze potpuno prilagoditi podacima za trening. Linearne modele moˇzemo smatrati jednostavnim i nefleksibilnim. S druge strane, oˇcigledno je da on dobro opisuje opˇsti linearni trend koji se u podacima vidi. Slika 12.7 prikazuje aproksimaciju datih podataka koriˇsc´ enjem modela iz skupa svih polinoma proizvoljnog stepena. Izabrani polinom prolazi kroz sve taˇcke koje predstavljaju trening podatke i stoga je greˇska tog modela ¯ na trening podacima jednaka nuli. Medutim, posmatrajući globalni izgled izabranog modela, vidi se da on ne opisuje nikakvu zakonitost u podacima. Os-

12.4 Preterano prilagodavanje modela podacima za trening ¯

197

20

¯ taˇcaka cˇ ine njegovo koriˇsc´ enje u predikciji potpuno cilacije koje pravi izmedu nepouzdanim. Problem je upravo u tome sˇ to proizvoljni polinomi cˇ ine previˇse bogat skup mogućih modela. Za svaki trening skup moˇze se naći model koji ¯ ¯ ga savrˇseno opisuje. Medutim, prilagodavaju´ ci se trening podacima do krajnosti, gubi se svaka moć generalizacije. Sliˇcni zakljuˇcci vaˇze i za druge previˇse bogate skupove dopustivih modela, a ne samo za polinome.

●

● ●

●

●

15

● ● ●

●

10

●

● ●

● ● ●

5

● ●

●

0

●

●

5

10

15

20

Figure 12.6: Linearni model sa najmanjom srednjekvadratnom greskom na instancama za trening.

12 Regresija

20

198

●

● ●

●

●

15

● ● ●

●

10

●

● ●

● ● ●

5

● ●

●

0

●

●

5

10

15

20

Figure 12.7: Polinomijalni model sa najmanjom srednjekvadratnom greskom na instancama za trening

Glava 13

Klasterovanje

200

13 Klasterovanje

Deo IV

Reˇsenja zadataka

Glava 14

Reˇsenja zadataka 1. Pretpostavimo suprotno — pretpostavimo da formula (D ∧ A) ⇒ ¬B nije tautologija, tj. pretpostavimo da postoji valuacija v takva da je Iv ((D ∧ A) ⇒ ¬B) = 0. Iz Iv ((D ∧ A) ⇒ ¬B) = 0 sledi Iv (D ∧ A) = 1 i Iv (¬B) = 0, a odatle Iv (D) = 1, Iv (A) = 1 i Iv (B) = 1. Formula (A∧C) ⇒ ¬D je tautologija, pa vaˇzi Iv ((A∧C) ⇒ ¬D) = 1. Kako je Iv (¬D) = 0, mora da vaˇzi Iv (A∧C) = 0, odakle sledi da je Iv (C) = 0 (jer je Iv (A) = 1). S druge strane, formula A ⇒ (B ⇒ C) je tautologija, pa vaˇzi Iv (A ⇒ (B ⇒ C)) = 1. Kako je Iv (A) = 1, mora da vaˇzi Iv (B ⇒ C) = 1. Vaˇzi Iv (B) = 1, pa mora da vaˇzi i Iv (C) = 1, sˇ to je u kontradikciji sa Iv (C) = 0. Dakle, polazna pretpostavka je bila pogreˇsna, odakle sledi da je formula (D ∧ A) ⇒ ¬B tautologija. 10. Dokaˇzimo najpre, metodom istinitosnih tablica, da je formula (A ⇒ (B ⇒ C)) ⇒ (((A ∧ C) ⇒ ¬D) ⇒ ((D ∧ A) ⇒ ¬B)) tautologija: (A 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

⇒ 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1

(B 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

⇒ 1 1 1 1 0 0 1 1 1 1 1 1 0 0 1 1

C)) 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

⇒ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

(((A 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

∧ 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 1

C) 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

⇒ 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0

¬ 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0

D) 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

⇒ 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1

((D 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

∧ 0 0 0 0 0 0 0 0 0 1 0 1 0 1 0 1

A) 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

⇒ 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0

¬ 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0

B)) 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

Formula (A ⇒ (B ⇒ C)) ⇒ (((A ∧ C) ⇒ ¬D) ⇒ ((D ∧ A) ⇒ ¬B)) je, dakle, tautologija i, na osnovu pretpostavke, formula A ⇒ (B ⇒ C) je tautologija, pa, na osnovu teoreme 2.1, sledi da je i formula ((A∧C) ⇒ ¬D) ⇒ ((D∧A) ⇒ ¬B) tautologija. Formula ((A ∧ C) ⇒ ¬D) ⇒ ((D ∧ A) ⇒ ¬B) je tautologija i, na osnovu pretpostavke, formula (A ∧ C) ⇒ ¬D je tautologija, pa na osnovu teoreme 2.1, sledi da je i formula (D ∧ A) ⇒ ¬B tautologija. 11. Ako je v(p) = 0 i v(q) = 0, onda je Iv (A ∧ q) = 0 i Iv ((A ∧ q) ⇒ ¬p) = 1. Sliˇcno, ako je v(p) = 1 i v(q) = 1, onda je Iv (A ∧ q) = Iv (A) i Iv (¬p) = 0, pa je

204


¯ Iv ((A ∧ q) ⇒ ¬p) = 1 − Iv (A). Analogno odredujemo istinitosnu vrednost date formule za svaku kombinaciju vrednosti v(p) i v(q). Te vrednosti prikazane su u narednoj tablici: ((A

∧ 0 Iv (A) 0 Iv (A)

q) 0 1 0 1

⇒ 1 1 1 1 − Iv (A)

¬ 1 1 0 0

p) 0 0 1 1

⇒ Iv (A) Iv (A) Iv (A) 1

((p 0 0 1 1

⇒ 1 1 1 0

¬ 1 0 1 0

q) 0 1 0 1

⇒ Iv (A) Iv (A) Iv (A) 1

A)

Dakle, da bi data formula bila tautologija mora da vaˇzi Iv (A) = 1 u sluˇcajevima v(p) = v(q) = 0, v(p) = 0, v(q) = 1, v(p) = 1, v(q) = 0, dok u sluˇcaju v(p) = v(q) = 1, formula A moˇze da ima proizvoljnu vrednost. Dakle, formula A za koju u svakoj valuaciji vaˇzi Iv (A) = 1 ispunjava uslov zadatka, pa A moˇze biti formula >. 13 Pretpostavimo da vaˇzi A1 , A2 , . . . , An |= B. Pretpostavimo da formula (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B nije tautologija. Tada postoji valuacija u kojoj je formula B netaˇcna, a formula (A1 ∧ A2 ∧ . . . ∧ An ) taˇcna. Ako je u toj valuaciji formula (A1 ∧ A2 ∧ . . . ∧ An ) taˇcna, onda je taˇcna i svaka od formula A1 , A2 , . . ., An . S druge strane, kako vaˇzi A1 , A2 , . . . , An |= B, sledi da je u toj valuaciji taˇcna i formula B, sˇ to protivreˇci prethodnom zakljuˇcku da formula B nije taˇcna u toj valuaciji. Dakle, pogreˇsna je pretpostavka da (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B nije tautologija, tj. vaˇzi |= (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B. Pretpostavimo da vaˇzi |= (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B. Pretpostavimo da ne vaˇzi A1 , A2 , . . . , An |= B. To znaˇci da postoji valuacija u kojoj je svaka od formula A1 , A2 , . . ., An taˇcna, a formula B nije. U toj valuaciji je taˇcna i formula (A1 ∧ A2 ∧ . . . ∧ An ), a netaˇcna je formula (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B. Odatle sledi da formula (A1 ∧ A2 ∧ . . . ∧ An ) ⇒ B nije tautologija, sˇ to je suprotno pretpostavci. Dakle, mora da vaˇzi A1 , A2 , . . . , An |= B, sˇ to je i trebalo dokazati.

14 Pretpostavimo da vaˇzi Γ, A |= B i dokaˇzimo Γ |= A ⇒ B. Pretpostavimo da su sve formule iz skupa Γ taˇcne u nekoj valuaciji v i dokaˇzimo da je u toj valuaciji taˇcna i formula A ⇒ B. Pretpostavimo suprotno, da vaˇzi Iv (A ⇒ B) = 0. Odatle sledi Iv (A) = 1 i Iv (B) = 0. Dakle, valuacija v je model za skup formula Γ ∪ {A}, pa iz Γ, A |= B sledi da je valuacija v model i za formulu B, sˇ to je u suprotnosti sa Iv (B) = 0. Dakle, pretpostavka je bila pogreˇsna, pa sledi Iv (A ⇒ B) = 1, tj. Γ |= A ⇒ B, sˇ to je i trebalo dokazati. Pretpostavimo da vaˇzi Γ |= A ⇒ B i dokaˇzimo Γ, A |= B. Pretpostavimo da su sve formule iz skupa Γ ∪ {A} taˇcne u nekoj valuaciji v i dokaˇzimo da je u toj valuaciji taˇcna i formula B. U valuaciji v su taˇcne sve formule iz skupa Γ, pa iz Γ |= A ⇒ B sledi Iv (A ⇒ B) = 1. Iz Iv (A) = 1 i Iv (A ⇒ B) = 1 sledi Iv (B) = 1 (ako bi vaˇzilo Iv (B) = 0, iz Iv (A) = 1 i Iv (B) = 0 bi sledilo Iv (A ⇒ B) = 0). Dakle, valuacija v je model za formulu B, tj. Γ, A |= B, sˇ to je i trebalo dokazati. 15 Neka je v proizvoljna valuacija. Tada je Iv (A1 ) = Iv (A2 ) i Iv (B1 ) = Iv (B2 ).

Reˇsenja zadataka

205

(a) Iv (¬A1 )

1, Iv (A1 ) = 0 0, inaˇce

1, Iv (A2 ) = 0 0, inaˇce

= = =

Iv (¬A2 ) .

(b) Iv (A1 ∧ B1 )

1, Iv (A1 ) = 1 i Iv (B1 ) = 1 0, inaˇce

1, Iv (A2 ) = 1 i Iv (B2 ) = 1 0, inaˇce

= =

= Iv (A2 ∧ B2 ) . (c) Iv (A1 ∨ B1 )

1, Iv (A1 ) = 1 ili Iv (B1 ) = 1 0, inaˇce

1, Iv (A2 ) = 1 ili Iv (B2 ) = 1 0, inaˇce

= =

= Iv (A2 ∨ B2 ) . (d) Iv (A1 ⇒ B1 )

0, Iv (A1 ) = 1 i Iv (B1 ) = 0 1, inaˇce

0, Iv (A2 ) = 1 i Iv (B2 ) = 0 1, inaˇce

= =

= Iv (A2 ⇒ B2 ) . (e) Iv (A1 ⇔ B1 )

1, Iv (A1 ) = Iv (B1 ) 0, inaˇce

1, Iv (A2 ) = Iv (B2 ) 0, inaˇce

= =

= Iv (A2 ⇔ B2 ) . 16 Pretpostavimo da je A tautologija. Neka je v proizvoljna valuacija. Neka je w valuacija u kojoj su iskaznim slovima p1 , p2 , . . ., pn dodeljene redom vrednosti Iv (A1 ), Iv (A2 ), . . ., Iv (An ) i u kojoj je svakom iskaznom slovu p koje se pojavljuje u A, a razliˇcito je od p1 , p2 , . . ., pn dodeljuje vrednost Iv (p). Indukcijom nad skupom iskaznih formula moˇze se dokazati da vaˇzi Iv (B) = Iw (A). Iskazna formula A je tautologija, pa je ona taˇcna u svakoj valuaciji. Dakle, Iw (A) = 1, odakle je Iv (B) = 1. Kako je v proizvoljna valuacija, sledi da je

206


formula B taˇcna u svakoj valuaciji, tj. sledi da je formula B tautologija, sˇ to je i trebalo dokazati. ¯ ¯ 20. Neka p oznaˇcava tvrdenje ,,R uvek govori istinu“ i neka q oznaˇcava tvrdenje ,,Levi put vodi u glavni grad“. Meˇstaninu R treba postaviti pitanje ,,Da li je taˇcno P ?“ (gde je P iskaz izraˇzen u funkciji p i q). Oznaˇcimo sa R(A) odgovor meˇstanina na pitanje ,,Da li je taˇcno A?“ — 0 ako je njegov odgovor ne i 1 ako je njegov odgovor da. Postavljeno pitanje treba da bude takvo da je R(P ) u ¯ svakom sluˇcaju jednak vrednosti iskaza q. Odredimo tvrdenje P. Ako je u nekoj valuaciji Iv (p) = 0 (tj. R uvek govori laˇz) i ako je R(A) jednako 0, onda u toj valuaciji mora da vaˇzi Iv (A) = 1. Ako je u nekoj valuaciji Iv (p) = 0 (tj. R uvek govori laˇz) i ako je R(A) jednako 1, onda u toj valuaciji mora da vaˇzi Iv (A) = 0. Ako je u nekoj valuaciji Iv (p) = 1 (tj. R uvek govori istinu) i ako je R(A) jednako 0, onda u toj valuaciji mora da vaˇzi Iv (A) = 0. Ako je u nekoj valuaciji Iv (p) = 1 (tj. R uvek govori istinu) i ako je R(A) jednako 1, onda u toj valuaciji mora da vaˇzi Iv (A) = 1. Dobijeni zakljuˇcci mogu biti prikazani u vidu sledeće istinitosne tablice: p 0 0 1 1

R(A) 0 1 0 1

A 1 0 0 1

Iskaz P moˇze da ima formu R(B) i onda je potrebno da je u svakoj valuaciji ¯ vrednost R(R(B)) jednaka q. Odredimo tvrdenje B. Vrednosti za iskaze R(B) i B dobijaju se na osnovu prethodne istinitosne tablice. Te vrednosti prikazane su u sledećoj istinitosnoj tablici: p 0 0 1 1

q 0 1 0 1

R(R(B)) 0 1 0 1

R(B) 1 0 0 1

B 0 1 0 1

Oˇcigledno, u svakoj valuaciji je Iv (B) = Iv (q), pa zakljuˇcujemo da traˇzeno pitanje moˇze da bude ,,Da li je taˇcno R(q)?“ ili ,,Da li je taˇcno da bi mi ti odgovorio potvrdno ako bih te pitao da li levi put vodi u glavni grad?“. 25. (a) Formula A nije kontradikcija, pa postoji valuacija v1 takva da je Iv1 (A) = 1. Formula B nije tautologija, pa postoji valuacija v2 takva da je Iv2 (B) = 0. Pretpostavimo da formule A i B nemaju zajedniˇcko nijedno iskazno slovo. Tada moˇzemo da definiˇsemo valuaciju v na sledeći naˇcin: v1 (p), ako se p pojavljuje u A v(p) = v2 (p), inaˇce Tada vaˇzi Iv (A) = Iv1 (A) = 1 i Iv (B) = Iv2 (B) = 0, pa A ⇒ B nije tautologija, sˇ to je suprotno zadatim uslovima. Dakle, polazna pretpostavka je pogreˇsna, pa zakljuˇcujemo da formule A i B moraju da imaju bar jedno zajedniˇcko iskazno slovo.

Reˇsenja zadataka

207

(b) Neka je kanonska disjunktivna normalna forma formule A jednaka A1 ∨ A2 ∨ . . . ∨ Am i neka je kanonska konjunktivna normalna forma formule B jednaka B1 ∧ B2 ∧ . . . ∧ Bn . Formula A ⇒ B je tautologija, pa na osnovu logiˇcke ekvivalencije (P ∨ Q) ⇒ R ≡ (P ⇒ R) ∧ (Q ⇒ R) i jednostavnog induktivnog argumenta zakljuˇcujemo da je svaka od formula Ai ⇒ B (i = 1, 2, . . . , m) tautologija. Analogno, kako je formula Ai ⇒ B (i = 1, 2, . . . , m) tautologija, na osnovu logiˇcke ekvivalencije P ⇒ (Q ∧ R) ≡ (P ⇒ Q) ∧ (P ⇒ R) i jednostavnog induktivnog argumenta zakljuˇcujemo da je svaka od formula Ai ⇒ Bj (i = 1, 2, . . . , m, j = 1, 2, . . . , n) tautologija. To je moguće samo ako za svaki par Ai , Bj postoji literal lij koji se u Ai pojavljuje kao konjunkt, a u Bj kao disjunkt. Neka je formula C jednaka m ^ n _ lij i=1 j=1

Vn Kako je skup literala j=1 lij podskup skupa literala formule Ai sledi Vn da je Ai ⇒ j=1 lij tautologija (jer je formula P ∧ Q ⇒ P tautologija). Dodatno, koriˇsc´ enjem tautologije ((P ⇒ Q) ∧ (R ⇒ S)) ⇒ (P ∨ R ⇒ Q ∨ S) moˇze se matematiˇckom indukcijom dokazati da je formula A1 ∨ A2 ∨ . . . ∨ Am ⇒

m ^ n _

lij

i=1 j=1

tautologija, tj. da je formula A ⇒ C tautologija. Kako je literal lij (i = 1, 2, . . . , m, j = 1, 2, . . . , n) disjunkt formule Bj , sledi da je lij ⇒ Bj tautologija (jer je formula P ⇒ P ∨ Q tautologija). Dodatno, koriˇsc´ enjem tautologije ((P ⇒ Q) ∧ (R ⇒ S)) ⇒ (P ∧ ⇒ Q∧ VR n S) moˇze se matematiˇckom indukcijom dokazati da je formula j=1 lij ⇒ B1 ∧ B2 ∧ . . . ∧ Bn tautologija. Kako to vaˇzi za svako i (i = 1, 2, . . . , m), na osnovu logiˇcke ekvivalencije (P ⇒ R) ∧ (Q ⇒ R) ≡ (P ∨ Q) ⇒ R sledi da je i n m ^ _ lij ⇒ B1 ∧ B2 ∧ . . . ∧ Bn i=1 j=1

tautologija, tj. da je formula C ⇒ B tautologija. 29. Neka je L = (Σ, Π, ar), gde je Σ = {f }, Π = {p} i ar(f ) = 1 i ar(p) = 1. Odredimo L-strukturu D = (D, I L ) takvu da je ona model date formule, pri cˇ emu je I L (f ) = fI i I L (p) = pI . Neka je D = N, fI (n) = n + 2 (gde je n ∈ N) i pI (n) = 1 ako i samo ako je n paran broj. Dokaˇzimo da je D = (D, I L ) model formule A = (∀x)(p(x) ⇒ p(f (x)). Dokaˇzimo da je Iv (A) = 1 za svaku valuaciju v. Pretpostavimo suprotno – pretpostavimo da postoji valuacija v takva da je Iv (A) = 0. Na osnovu definicije 3.10, iz Iv (A) = 0 sledi da postoji valuacija w takva da je v ∼x w i Iw (p(x) ⇒ p(f (x))) = 0. Na osnovu iste definicije, odatle sledi da je Iw (p(x)) = 1 i Iw (p(f (x))) = 0. Neka je w(x) = n, gde je n element skupa N. Tada je 1 = Iw (p(x)) = pI (n) i 0 = Iw (p(f (x))) = pI (fI (n)) = pI (n + 2), odakle sledi

208


da je n paran broj, a n + 2 neparan, sˇ to je netaˇcno za svaki prirodan broj n. Dakle, Iv (A) = 1 za svaku valuaciju v, tj. L-struktura D = (N, I L ) je model date formule A. 30. Neka je v proizvoljna valuacija. L-struktura D je model date formule ako je Iv ((∀x)(p(x, f (x)) ⇒ p(f (x), x)) = 1, tj. ako za svaku valuaciju w takvu da je v ∼x w vaˇzi Iw (p(x, f (x)) ⇒ p(f (x), x)) = 1. Dovoljno je razmatrati mogućnosti w(x) = a, w(x) = b i w(x) = c. Vrednosti Iw (p(x, f (x)) ⇒ p(f (x), x)) = 1 mogu tada biti prikazane i u vidu tablice: w(x) a b c

fI (w(x)) b a a

pI (w(x), fI (w(x))) 1 1 0

pI (fI (w(x)), w(x)) 1 1 0

Iw (p(x, f (x)) ⇒ p(f (x), x)) 1 1 1

Dakle, za proizvoljnu valuaciju v je Iv (∀x)(p(x, f (x)) ⇒ p(f (x), x)) = 1, pa je D model formule (∀x)(p(x, f (x)) ⇒ p(f (x), x)). 31. Neka je L = (Σ, Π, ar), Σ = {}, Π = {p} i ar(p) = 2, D = {a, b} i neka je I L (p) = pI . Da bi D = (D, I L ) bio model formule A treba da za proizvoljnu valuaciju v vaˇzi Iv ((∀x)(∃y)(p(x, y) ⇒ ¬p(y, x))) = 1, tj. za svaku valuaciju w takvu da je v ∼x w vaˇzi Iw ((∃y)(p(x, y) ⇒ ¬p(y, x))) = 1. Postoje dve mogućnosti: w(x) = a i w(x) = b i za obe treba da vaˇzi Iw ((∃y)(p(x, y) ⇒ ¬p(y, x))) = 1. Vaˇzi Iw ((∃y)(p(x, y) ⇒ ¬p(y, x))) = 1 ako postoji valuacija w0 takva da je w ∼y w0 i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1. Za svaku valuaciju w postoje dve takve valuacije w’ — jedna, za koju vaˇzi w0 (y) = a i druga, za koju vaˇzi w0 (y) = b (pri tome vaˇzi i w0 (x) = w(x)). Vaˇzi Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1 ako je Iw0 (p(x, y)) = 0 ili Iw0 (¬p(y, x)) = 1, tj. ako je Iw0 (p(x, y)) = 0 ili Iw0 (p(y, x)) = 0. Dakle, vaˇzi: (w(x) = a i Iw ((∃y)(p(x, y) ⇒ ¬p(y, x))) = 1) i (w(x) = b i Iw ((∃y)(p(x, y) ⇒ ¬p(y, x))) = 1) odakle sledi (w(x) = a i ((w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w0 (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1))) i (w(x) = b i ((w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w0 (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1))) odakle sledi ((w(x) = a i w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w(x) = a i 0 w (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1)) i ((w(x) = b i w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w(x) = b i w0 (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1)) odakle sledi ((w0 (x) = a i w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w0 (x) = a i 0 w (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1)) i ((w0 (x) = b i w0 (y) = a i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1) ili (w0 (x) = b i w0 (y) = b i Iw0 (p(x, y) ⇒ ¬p(y, x)) = 1)) odakle sledi ((w0 (x) = a i w0 (y) = a i (Iw0 (p(x, y)) = 0 ili Iw0 (p(y, x)) = 0)) ili (w0 (x) = a 0 i w (y) = b i (Iw0 (p(x, y)) = 0 ili Iw0 (p(y, x)) = 0))) i ((w0 (x) = b i w0 (y) = a i (Iw0 (p(x, y)) = 0 ili Iw0 (p(y, x)) = 0)) ili (w0 (x) = b i w0 (y) = b i (Iw0 (p(x, y)) = 0 ili Iw0 (p(y, x)) = 0))) odakle sledi ((pI (a, a)) = 0 ili pI (a, a)) = 0) ili (pI (a, b) = 0 ili pI (b, a) = 0)) i ((pI (b, a)) = 0 ili pI (a, b) = 0) ili (pI (b, b) = 0 ili pI (b, b) = 0))

Reˇsenja zadataka

209

odakle sledi (pI (a, a)) = 0 ili pI (a, b) = 0 ili pI (b, a) = 0) i (pI (b, a)) = 0 ili pI (a, b) = 0 ili pI (b, b) = 0) Da bi L-struktura D bila model za datu formulu mora da vaˇzi (pI (a, a)) = 0 ili pI (a, b) = 0 ili pI (b, a) = 0) i (pI (b, a)) = 0 ili pI (a, b) = 0 ili pI (b, b) = 0). Neposredno se moˇze proveriti da ima 13 (od ukupno 16) funkcija pI : D2 7→ {0, 1} koje zadovoljavaju taj uslov. Svakoj od tih funkcija odgovara po jedan traˇzeni model (do na izomorfizam). 32. Neka je L = (Σ, Π, ar), pri cˇ emu je Σ = {f, a}, Π = {p}, ar(f ) = 2, ar(a) = 0 i ar(p) = 2. Neka je D = Z, I L (f ) = fI , I L (a) = aI i I L (p) = pI , pri cˇ emu je fI (z1 , z2 ) = z1 + z2 (z1 , z2 ∈ Z), aI = 0 i pI (z1 , z2 ) = 1 ako i samo ako je z1 = z2 (z1 , z2 ∈ Z). Dokaˇzimo da je D = (D, I L ) model date formule. Dokaˇzimo da za proizvoljnu valuaciju v vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 1. Pretpostavimo suprotno — pretpostavimo da postoji valuacija v za koju vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 0. Tada, na osnovu definicije 3.10, sledi da postoji valuacija w takva da je w ∼x v i Iw ((∃y)p(f (x, y), a)) = 0 (neka je u toj valuaciji w(x) = z, z ∈ Z). To dalje znaˇci da za svaku valuaciju w0 takvu da je w0 ∼y w (dakle, vaˇzi w0 (x) = z) ¯ i vaˇzi Iw0 (p(f (x, y), a)) = 0. Medutim, u valuaciji u kojoj je w0 (y) = −z vaˇzi Iw0 (p(f (x, y), a)) = pI (fI (z, −z), 0) = pI (z + (−z), 0) = pI (0, 0) = 1, sˇ to je u kontradikciji sa Iw0 (p(f (x, y), a)) = 0. Dakle, polazna pretpostavka je bila pogreˇsna, te sledi da za proizvoljnu valuaciju v vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 1, tj. L-struktura D je model date formule. Neka je D = N, I L (f ) = fI , I L (a) = aI i I L (p) = pI , pri cˇ emu je fI (n1 , n2 ) = n1 + n2 (n1 , n2 ∈ N), aI = 0 i pI (n1 , n2 ) = 1 ako i samo ako je n1 = n2 (n1 , n2 ∈ N). Dokaˇzimo da je D = (D, I L ) kontramodel date formule. Dokaˇzimo da postoji valuacija v za koju vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 0. Pretpostavimo suprotno — da za proizvoljnu valuaciju v vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 1. Tada, na osnovu definicije 3.10, sledi da za svaku valuaciju w takvu da je w ∼x v vaˇzi Iw ((∃y)p(f (x, y), a)) = 1. Neka je w proizvoljna valuacija i neka je w(x) = n, gde je n ∈ N i n > 0. Iz Iw ((∃y)p(f (x, y), a)) = 1 sledi da postoji valuacija w0 takva da je w0 ∼y w (dakle, vaˇzi w0 (x) = n) i vaˇzi Iw0 (p(f (x, y), a)) = 1. Pretpostavimo da je w0 (y) = m, m ∈ N. Tada vaˇzi Iw0 (p(f (x, y), a)) = ¯ pI (fI (n, m), 0) = pI (n + m, 0). Medutim, pI (n + m, 0) je jednako 1 samo ako je n + m = 0, sˇ to nije taˇcno ni za koju vrednost m, m ∈ N (jer je n > 0). Dakle, polazna pretpostavka je bila pogreˇsna, te sledi da postoji valuacija v za koju vaˇzi Iv ((∀x)(∃y)p(f (x, y), a)) = 0, tj. L-struktura D je kontramodel date formule. 33. Neka je L = (Σ, Π, ar), pri cˇ emu je Σ = {f }, Π = {p}, ar(f ) = 1, ar(p) = 2. (a) Neka je D = (N, I L ) i I L (f ) = fI , I L (p) = pI , pri cˇ emu je fI (n) = n + 1 i pI (n1 , n2 ) = 1 ako i samo ako je n1 < n2 . Dokaˇzimo da je Lstruktura D model date formule A, tj. dokaˇzimo da za svaku valuaciju v vaˇzi Iv (A) = 1. Pretpostavimo suprotno — pretpostavimo da postoji valuacija v takva da je Iv (A) = 0. Na osnovu definicije 3.10, sledi da Iv ((∀x)(p(x, f (x)) ∧ ¬p(x, x))) = 0 ili Iv ((∀x)(∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0. – Pretpostavimo da je Iv (∀x)(p(x, f (x)) ∧ ¬p(x, x)) = 0. Odatle sledi

210

14 Reˇsenja zadataka da postoji valuacija w takva da je w ∼x v takva da je Iw ((p(x, f (x)) ∧ ¬p(x, x))) = 0. Pretpostavimo da je u toj valuaciji w(x) = n, gde je n ∈ N. Iz Iw ((p(x, f (x)) ∧ ¬p(x, x))) = 0 sledi da je Iw (p(x, f (x))) = 0 ili Iw (¬p(x, x)) = 0, tj. da je pI (w(x), fI (w(x))) = 0 ili pI (w(x), w(x)) = 1, tj. da nije n < n + 1 ili da je n < n, sˇ to nije ispunjeno ni za jedan broj n, n ∈ N. – Pretpostavimo da je Iv ((∀x)(∀y)(∀z)(p(x, y)∧p(y, z) ⇒ p(x, z))) = 0. Odatle sledi da postoji valuacija w takva da je w ∼x v takva da je Iw ((∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0. Neka je w(x) = n1 . Iz Iw ((∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0 sledi da postoji valuacija w0 takva da je w0 ∼y w (dakle, vaˇzi w0 (x) = w(x) = n1 ) takva da je Iw0 ((∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0. Neka je w0 (y) = n2 . Iz Iw0 ((∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0 sledi da postoji valuacija w00 takva da je w00 ∼z w0 (dakle, vaˇzi w00 (x) = w0 (x) = w(x) = n1 i w00 (y) = w0 (y) = n2 ) takva da je Iw00 ((p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0. Neka je w00 (z) = n3 . Iz Iw00 ((p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 0 sledi da je Iw00 (p(x, y) ∧ p(y, z)) = 1 i Iw00 (p(x, z)) = 0 i, dalje, Iw00 (p(x, y)) = 1, Iw00 (p(y, z)) = 1 i Iw00 (p(x, z)) = 0, tj. pI (w00 (x), w00 (y)) = 1, pI (w00 (y), w00 (z)) = 1 i pI (w00 (x), w00 (z)) = 0. Odatle sledi pI (n1 , n2 ) = 1, pI (n2 , n3 ) = 1 i pI (n1 , n3 ) = 0 i, dalje, ¯ sledi da je taˇcno n1 < n2 , n2 < n3 i da nije taˇcno n1 < n3 . Medutim, to nije ispunjeno ni za koja tri prirodna broja n1 , n2 , n3 . Dakle, pretpostavka je bila pogreˇsna, te sledi da za svaku valuaciju v vaˇzi Iv (A) = 1, tj. L-struktura D je model formule A.

(b) Neka je D = ({a}, I L ) i I L (f ) = fI , I L (p) = pI , pri cˇ emu je fI (a) = a i pI (a, a) = 1. Dokaˇzimo da je D kontramodel za formulu A. Pretpostavimo suprotno — pretpostavimo da za proizvoljnu valuaciju v vaˇzi da je Iv (A) = 1. Tada je, na osnovu definicije 3.10, Iv ((∀x)(p(x, f (x)) ∧ ¬p(x, x))) = 1 i Iv ((∀x)(∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 1. Iz Iv ((∀x)(p(x, f (x)) ∧ ¬p(x, x))) = 1 sledi da za proizvoljnu valuaciju w takvu da je w ∼x v vaˇzi Iw ((p(x, f (x)) ∧ ¬p(x, x))) = 1. Mora da je w(x) = a (jer je D = {a}), pa je Iw (p(x, f (x))) = 1 i Iw (¬p(x, x)) = 1. Iz Iw (¬p(x, x)) = 1 sledi Iw (p(x, x)) = 0, tj. pI (w(x), w(x)) = 0, tj. pI (a, a) = 0, sˇ to je netaˇcno, pa sledi da je pretpostavka bila pogreˇsna, odakle dalje sledi da postoji valuacija v takva da je Iv (A) = 0, tj. sledi da je D kontramodel za datu formulu A. (c) Pretpostavimo da je L-struktura D = (D, I L ) model date formule A i pretpostavimo da je skup D konaˇcan, tj. pretpostavimo da je D = {d1 , d2 , . . . , dm }. ¯ na sledeći naˇcin: Neka je I L (f ) = fI i I L (p) = pI . Neka je d0i odreden – neka je d00 proizvoljan element skupa D; – neka je d0i+1 = fI (d0i ) za i ≥ 0. Skup D je konaˇcan, pa u nizu d0i , i = 0, 1, 2, . . ., mora da postoji bar jedan element koji se ponavlja, tj. postoje vrednosti j i k (j < k) takve da je d0j = d0k .

Reˇsenja zadataka

211

Na osnovu pretpostavke, D je model za formulu A, pa za proizvoljnu valuaciju v vaˇzi Iv (A) = 1. Odatle, na osnovu definicije 3.10, sledi da vaˇzi Iv ((∀x)(p(x, f (x)) ∧ ¬p(x, x))) = 1 i Iv ((∀x)(∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 1. Iz Iv ((∀x)(p(x, f (x)) ∧ ¬p(x, x))) = 1 sledi da za proizvoljnu valuaciju w takvu da je w ∼x v vaˇzi Iw (p(x, f (x)) ∧ ¬p(x, x)) = 1. Odatle dalje sledi pI (w(x), fI (w(x))) = 1 i pI (w(x), w(x)) = 0. Valuacija w je proizvoljna, pa je moˇzemo odabrati tako da vaˇzi w(x) = d0i . Tada vaˇzi pI (d0i , fI (d0i )) = 1 i pI (d0i , d0i ) = 0, tj. za svako i (i = 0, 1, 2, . . .) vaˇzi pI (d0i , d0i+1 ) = 1 i pI (d0i , d0i ) = 0. S druge strane, iz Iv ((∀x)(∀y)(∀z)(p(x, y)∧p(y, z) ⇒ p(x, z))) = 1 sledi da za proizvoljnu valuaciju w takvu da je w ∼x v vaˇzi Iw ((∀y)(∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 1. Kako je w proizvoljna valuacija, moˇzemo je odabrati tako da vaˇzi w(x) = d0 . Iz Iw ((∀y)(∀z)(p(x, y)∧p(y, z) ⇒ p(x, z))) = 1 sledi da za proizvoljnu valuaciju w0 takvu da je w0 ∼y w (dakle, vaˇzi w0 (x) = w(x) = d0 ) vaˇzi Iw0 ((∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 1. Kako je w0 proizvoljna valuacija za koju vaˇzi w0 ∼y w, moˇzemo je odabrati tako da vaˇzi w0 (y) = d00 . Iz Iw0 ((∀z)(p(x, y) ∧ p(y, z) ⇒ p(x, z))) = 1 sledi da za proizvoljnu valuaciju w00 takvu da je w00 ∼z w0 (dakle, vaˇzi w00 (x) = w0 (x) = w(x) = d0 i w00 (y) = w0 (y) = d00 ) vaˇzi Iw00 (p(x, y) ∧ p(y, z) ⇒ p(x, z)) = 1. Kako je w00 proizvoljna valuacija za koju vaˇzi w00 ∼z w0 , moˇzemo je odabrati tako da vaˇzi w00 (z) = d000 . Iz Iw00 (p(x, y) ∧ p(y, z) ⇒ p(x, z)) = 1 sledi da je Iw00 (p(x, y) ∧ p(y, z)) = 0 ili Iw00 (p(x, z)) = 1, tj. da vaˇzi Iw00 (p(x, y)) = 0 ili Iw00 (p(y, z)) = 0 ili Iw00 (p(x, z)) = 1, tj. da vaˇzi pI (w00 (x), w00 (y)) = 0 ili pI (w00 (y), w00 (z)) = 0 ili pI (w00 (x), w00 (z)) = 1. Dakle, za svaka tri elementa d0 , d00 , d000 skupa D vaˇzi pI (d0 , d00 ) = 0 ili pI (d00 , d000 ) = 0 ili pI (d0 , d000 ) = 1. Već smo dokazali da za svako i (i = 0, 1, 2, . . .) vaˇzi pI (d0i , d0i+1 ) = 1, odakle sledi da za d0 = d0i , d00 = di+1 , d000 = di+2 (za proizvoljno i, i = 0, 1, 2, . . .) mora da vaˇzi pI (d0 , d000 ) = 1, tj. pI (d0i , d0i+2 ) = 1. Analogno, jednostavno se pokazuje matematiˇckom indukcijom da vaˇzi pI (d0i , d0i+l ) = 1 za proizvoljno i, i = 0, 1, 2, . . . i proizvoljno l, l = 1, 2, . . .. Dakle, vaˇziće i pI (d0j , d0k ) = 1, tj. pI (d0j , d0j ) = 1 ¯ (jer je d0j = d0k ). Medutim, već smo pokazali da za svako i (i = 0, 1, 2, . . .) vaˇzi pI (d0i , d0i ) = 0, sˇ to je u kontradikciji sa pI (d0j , d0j ) = 1. Dakle, polazna pretpostavka je bila pogreˇsna, odakle sledi da za datu formulu A ne postoji model koji ima konaˇcan domen.

34. Neka je D proizvoljna L-struktura, pri cˇ emu za signaturu L = (Σ, Π, ar) vaˇzi p ∈ Π i ar(p) = 1 i neka je V proizvoljan skup promenljivih takav da je x, y, z ∈ V . Neka je I L (p) = pI (gde je pI funkcija iz D u skup {0, 1}) i neka je v proizvoljna valuacija. Dokaˇzimo da vaˇzi Iv ((∀x)(∀y)(∃z)(p(x) ∧ p(y) ⇔ p(z))) = 1. Pretpostavimo suprotno — da vaˇzi Iv ((∀x)(∀y)(∃z)(p(x) ∧ p(y) ⇔ p(z))) = 0. To znaˇci da postoji valuacija vx takva da je vx ∼x v (neka je vx (x) = dx ) i Ivx ((∀y)(∃z)(p(x) ∧ p(y) ⇔ p(z))) = 0. To znaˇci da postoji valuacija vy takva da je vy ∼y vx (vaˇzi vy (x) = vx (x) = dx ; neka je vy (y) = dy ) i Ivy ((∃z)(p(x) ∧ p(y) ⇔ p(z))) = 0. To znaˇci da za svaku valuaciju vz takvu da je vz ∼z vy vaˇzi Ivz (p(x) ∧ p(y) ⇔ p(z)) = 0. Odaberimo valuaciju vz takvu da je vz ∼z vy (vaˇzi vz (x) = vy (x) = dx i vz (y) = vy (y) = dy ) na sledeći naˇcin:

212


(a) ako je pI (dx ) = 1 i pI (dy ) = 1, neka je vz (z) = dx ; (b) ako je pI (dx ) = 0, neka je vz (z) = dx ; (c) ako je pI (dy ) = 0, neka je vz (z) = dy . U sluˇcaju (a), vaˇzi Ivz (p(x)) = 1, Ivz (p(y)) = 1, Ivz (p(z)) = 1, odakle sledi Ivz (p(x) ∧ p(y)) = 1 i Ivz (p(x) ∧ p(y) ⇔ p(z)) = 1, sˇ to je u suprotnosti sa Ivz (p(x) ∧ p(y) ⇔ p(z)) = 0. U sluˇcaju (b), vaˇzi Ivz (p(x)) = 0, Ivz (p(z)) = 0, odakle sledi Ivz (p(x) ∧ p(y)) = 0 i Ivz (p(x) ∧ p(y) ⇔ p(z)) = 1, sˇ to je nemoguće. U sluˇcaju (c), vaˇzi Ivz (p(y)) = 0 i Ivz (p(z)) = 0, odakle sledi Ivz (p(x)∧p(y)) = 0 i Ivz (p(x) ∧ p(y) ⇔ p(z)) = 1, sˇ to je nemoguće. Dakle, u svakom sluˇcaju dolazimo do kontradikcije, sˇ to znaˇci da polazna pretpostavka nije bila ispravna. Dakle, mora da vaˇzi Iv ((∀x)(∀y)(∃z)(p(x) ∧ p(y) ⇔ p(z))) = 1. Kako je Iv proizvoljna valuacija, sledi da je data formula valjana. 39. Na primer, ¬(∃x)A ⇔ (∀x)¬A. 40. Vaˇzi (∃x)(A ⇒ B) ≡ (∃x)(¬A∨B) ≡ (∃x)(¬A)∨(∃x)B ≡ ¬(∀x)A∨(∃x)B ≡ (∀x)A ⇒ (∃x)B. Iz (∃x)(A ⇒ B) ≡ (∀x)A ⇒ (∃x)B, na osnovu teoreme 3.10 sledi da je data formula valjana. ¯ 48. Tvrdenje je moguće dokazati indukcijom po sloˇzenosti izraza ili na sledeći naˇcin: pretpostavimo da za date izraze e1 i e2 postoje dva najopˇstija unifikatora σ1 i σ2 . Tada postoje supstitucije λ1 i λ2 takve da vaˇzi σ1 = σ2 λ2 i σ2 = σ1 λ1 odakle sledi σ2 = (σ2 λ2 )λ1 i σ2 = σ2 (λ2 λ1 ). Dakle, λ2 λ1 je trivijalna supstitucija [ ], pa, na osnovu definicije kompozicije supstitucija sledi da λ1 i λ2 mogu da sadrˇze samo zamene oblika v 0 7→ v 00 (gde su v 0 i v 00 simboli promenljivih), pa su unifikatori σ1 i σ2 jednaki do na preimenovanje promenljivih. 58. Dati uslovi mogu se reprezentovati na sledeći naˇcin: C1: vlasnikpsa(Janko) C2: ∀x(vlasnikpsa(x) ⇒ volizivotinje(x)) C3: ∀x(volizivotinje(x) ⇒ (∀y(zivotinja(y) ⇒ ¬udario(x, y)))) C4: udario(Janko, T una) ∨ udario(M arko, T una) C5: macka(T una) C6: ∀x(macka(x) ⇒ zivotinja(x)) Metodom rezolucije moˇze se dokazati da iz navedenih formula sledi formula udario(M arko, T una). 61. ¬A A∨B

[A]1 ¬E ⊥ ef q B B

[B]2

∨E, 1, 2

Reˇsenja zadataka

62.

213

[A]2

[A ⇒ B]3 ⇒E [¬B]1 B ¬E ⊥ ¬I, 2 ¬A ⇒ I, 1 ¬B ⇒ ¬A ⇒ I, 3 (A ⇒ B) ⇒ (¬B ⇒ ¬A)

63. [B ∧ C]3 [B ∧ C]3 ∧E ∧E [A] [A] B C ∨I ∨I ∨I ∨I A∨B A∨C A∨B A∨C ∧I ∧I [A ∨ (B ∧ C)]1 (A ∨ B) ∧ (A ∨ C) (A ∨ B) ∧ (A ∨ C) ∨E, 2, 3 (A ∨ B) ∧ (A ∨ C) ⇒ I, 1 (A ∨ (B ∧ C)) ⇒ ((A ∨ B) ∧ (A ∨ C)) 2

64

2

[A]2 [B]1 ∧I [¬(A ∧ B)] A∧B ¬E ⊥ ¬I, 1 [¬A]3 ¬B ∨I ∨I ¬A ∨ ¬B ¬A ∨ ¬B ∨E, 2, 3 ¬A ∨ ¬B ⇒ I, 4 ¬(A ∧ B) ⇒ (¬A ∨ ¬B) 4

A ∨ ¬A

65. vlasnikpsa(janko). macka(tuna). mozda_udario(janko,tuna). mozda_udario(marko,tuna). volizivotinje(X):-vlasnikpsa(X). zivotinja(X):-macka(X). ne_bi_udario(X,Y):-volizivotinje(X), zivotinja(Y). udario(X,Y):-mozda_udario(X,Y), not ne_bi_udario(X,Y). 66. suma(N,S):-N>0, N1 is N-1, suma(N1,S1), S is S1+N. suma(0,0). 67. sumacifara(N,S):-N>=10, N1 is (N // 10), sumacifara(N1,S1), S is S1 + (N mod 10). sumacifara(N,N):-N<10. 68.

214


stepen(M,N,S):-N>0, N1 is N-1, stepen(M,N1,S1), S is S1*M. stepen(M,0,1). 69. obrni(M,N):-obrni(M,0,N). obrni(M,I,N):-M>0, M1 is M//10, I1 is 10*I+(M mod 10), obrni(M1,I1,N). obrni(0,I,I). 70. nzd(M,N,R):-N>0, T is M mod N, nzd(N,T,R). nzd(M,0,M). 71. prost(N):-T is N//2, nedeljivsvim(N,T). nedeljivsvim(N,T):-T>1, T1 is T-1, N mod T=\=0, nedeljivsvim(N,T1). nedeljivsvim(N,1). 72. suma([],0). suma([X|R],M):-suma(R,M1), M is M1+X. 73. obrni(X,Y):-obrni(X,[],Y). obrni([X|R],L,T):-obrni(R,[X|L],T). obrni([],X,X). 74. dodajnakraj([H|R],X,[H|R1]):-dodajnakraj(R,X,R1). dodajnakraj([],X,[X]). 75. uzastopni(X,Y,Z,[X,Y,Z|R]):-!. uzastopni(X,Y,Z,[_|R]):-uzastopni(X,Y,Z,R). 76. prvih_n(L,N,_):-broj_elemenata(L,B),B
Reˇsenja zadataka

77. dvadela([],[],[]). dvadela([G|R],[G|R1],R2):-G>=0, dvadela(R,R1,R2),!. dvadela([G|R],R1,[G|R2]):-dvadela(R,R1,R2). 78. podeli([],[],[]). podeli([G|R],[G|R1],R2):-podeli(R,R1,R2). podeli([G|R],R1,[G|R2]):-podeli(R,R1,R2). 79. podliste(L,P):-podeli(L,P,_). 80. razliciti([],[]). razliciti([X|R],[X|R1]):-not(sadrzi(R,X)),razliciti(R,R1),!. razliciti([X|R],R1):-razliciti(R,R1). 81. unija(X,Y,U):-append(X,Y,W),razliciti(W,U). 82. presek([],L,[]). presek([G|R],L,[G|P]):-sadrzi(L,G),presek(R,L,P),!. presek([G|R],L,P):-presek(R,L,P). 83. razlika([],L,[]). razlika([G|R],L,R1):-sadrzi(L,G),razlika(R,L,R1),!. razlika([G|R],L,[G|R1]):-razlika(R,L,R1). 84. sim_razlika(X,Y,Z):-unija(X,Y,T),presek(X,Y,P),razlika(T,P,Z).

215

Vestacka inteligencija

Recommend Documents