Exerciții cu interogări SPARQL în
Sesame
Instrumente necesare: •
Conexiune internet
•
Tomcat (necesită ca Java să fie instalat corect)
•
Sesame (necesită ca Java să fie instalat corect)
Obiectiv principal: Învățarea modului de creare și editare a bazelor de cunoștințe Sesame Descărcați Sesame de la adresa de mai jos (exemplele au fost testate pe Sesame 2.x. Ar trebui să funcţioneze şi pe Sesame 4.x lansat în cursul acestui an, dar pentru a evita surprizele, recomandăm să lucraţi cu Sesame 2.8) http://rdf4j.org/download.docbook?view
Sesame este disponibil în mai multe forme, în funcție de modul în care urmează a fi folosit: • • • •
Ca și aplicație în linia de comandă (directorul bin); Ca și bibliotecă Java (directorul lib); Ca și aplicație web de rulat pe serverul Tomcat (directorul war, fișierul openrdf-workbench); Ca și serviciu de tip REST, de rulat pe serverul Tomcat (directorul war, fișierul openrdf-sesame). Creați o bază de cunoștințe de tip "in-memory" în memory" în Sesame
Salvați textul de mai jos în jos în fișierul sample.ttl sample.ttl din directorul C:\rdf. @prefix : . :Anna :hasHairColor :Red; :hasAge 20; :daughterOf :John. :Mary :daughterOf :John.
Porniți consola Sesame (din pachetul Sesame pe care l -ați downloadat) bin/console.bat (necesită Java) 1. Puteți obține lista cu comenzi disponibile dacă tipăriți help în linia de comandă: >help.
Realizați validarea fișierului sample.ttl >verify c:\rdf\sample.ttl.
Conectați-vă la directorul pe care l-ați creat și care va constitui directorul de lucru pentru bazele de cunoștințe create cu linia de comandă: >connect >connect c:\rdf. c:\rdf.
Creați o bază de cunoștințe de tip "in-memory": >create memory. memory.
1
Asigurați-vă că Java s -a instalat corect. Dacă fereastra consolei se închide imediat după ce porneşte înseamnă că nu s-a setat variabila de mediu JRE_HOME (dacă aveţi Java JRE) sau JAVA_HOME (dacă aveţi Java JDK).
Va trebui să completați următoarele: • • • •
Repository ID = myrepo Repository title = myrepo Persist = true (dacă dorim să se salveze datele pe hard-disk când se închide consola) Sync delay = 0 (dacă dorim să scrie pe hard disk de fiecare dată când se fac modificări)
Deschideți depozitul de cunoștințe creat: >open myrepo.
Prompter-ul va indica (similar cu MySQL!) faptul că lucrați în myrepo. Încărcați fișierul sample.ttl în depozitul creat. myrepo> load c:\rdf\sample.ttl.
Interogați întregul conținut al depozitului creat: myrepo> sparql select * where {?x ?y ?z}.
Modificați configurațiile astfel încât să afișeze URI -urile complete: myrepo> set showprefix=false.
Repetați interogarea, însă de această dată va arăta afirmațiile cu URI-uri complete: myrepo> sparql select * where {?x ?y ?z}.
Introduceți o nouă afirmație în baza de cunoștințe: myrepo> sparql insert data { }.
Extrageți toate afirmațiile și observați-o pe cea nouă: myrepo> sparql select * where {?x ?y ?z}.
Ștergeți toate afirmațiile despre Anna: myrepo> sparql delete where { ?p ?o}.
Repetați interogarea de conținut al bazei de cunoștințe și va arăta doar două afirmații: myrepo> sparql select * where {?x ?y ?z}.
Ștergeți toate afirmațiile: myrepo> sparql drop all.
Închideți baza de cunoștințe: myrepo> close.
Ștergeți baza de cunoștințe: drop myrepo.
Creați o bază de cunoștințe Sesame prin interfața Web Workbench Descărcați Tomcat la adresa http://tomcat.apache.org/download-80.cgi (exerciţiile au fost testate în Tomcat 8). Descărcaţi varianta ZIP, nu service installer, pentru a evita conflictele cu alte servere existente pe calculator! Copiați conținutul directorului War din pachetul Sesame (2 fișiere) în directorul webapps din Tomcat. Porniți serviciul Tomcat din Tomcat\bin\startup.bat . Porniți browser-ul (preferabil Firefox) și lansați aplicația Web Sesame la adresa: http://localhost:8080/openrdf-workbench. În panoul din stânga a interfeței Sesame selectați Repositories-New repository cu următorii parametri: • • • •
Type = Native Java Store ID = MyRepo Title = MyRepo Triple indexes = spoc, posc
Salvați următoarele date în fișierul movies.trig. @prefix : . Toate datele sunt grupate în acest graf identificat @prefix xsd: . :mymoviegraph {:JamesCameron :directorOf :Avatar,:Terminator; Afirmații multiple despre același subiect și aceeași :hasName "James Cameron". proprietate :JohnMcT :directorOf :Predator, :DieHard; Noduri anonime ca structuri de date :hasName "John McTiernan"; :birthInfo _:b irthdet ail s. _:bir thdetail s :date "1951-01-08"^^xsd:date; :place :SUA. Noduri anonime folosite pentru a ține locul unei :McG :directorOf _:som emovi e; resurse neidentificate :hasName "Joseph McGinty"; :hasNickname "McG". :SamWorth :hasName "Sam Worthington"; :playedIn :Rogue, _:som emo vie; :playedTheRole [:character :JakeSully; Nod anonim pentru a exprima relații cu aritate 3 :movie :Avatar]. :Arnold :playedIn :Terminator,:Predator; :wasGovernorOf :California; :hasName "Arnold Schwarzenegger"; :birthInfo [:date "1947-07-10"^^xsd:date; :place :Austria]. :LindaH :hasName "Linda Hamilton"; :playedTheRole [:character :SarahConnor; :movie :Terminator]. :ShBlack :playedIn :Predator; :hasName "Shane Black". :Terminator :hasTitle "Terminator"; :hasBudget 6400000 . :Rogue :hasTitle "Rogue". Se va lăsa un spațiu între valorile întregi și punct :Avatar :hasTitle "Avatar"; pentru a se evita confuzia cu punctul zecimal :hasBudget 237000000 . :DieHard :hasTitle "Die Hard". :Predator :hasTitle "Predator"; :hasBudget 18000000 . Etichete /nume scrise în mai multe limbi :JakeSully :hasName "Jake Sully". :SarahConnor :hasName "Sarah Connor". :California :hasName "California"@en, "Californie"@fr . :Austria :hasName "Austria"@en, "Autriche"@fr . :SUA :hasName "United States of America"@en, "Etats Unis d'Amerique"@fr. }
Observaţi că fişierul e scris în sintaxa TriG (are cunoştinţele grupate între acolade, într -un "graf identificat"). În Sesame, grafurile identificate se mai numesc şi contexte. Încărcați fișierul în Sesame, folosindu-vă de Modify/Add și următoarele opțiuni: •
RDF Data File = căutați fișierul movies.trig
•
Data format = TriG
•
Câmpul Context ar trebui să rămână liber deoarece contextul (:mymoviegraph) este luat direct din fișier; dacă se încarcă un fișier fără graf identifica t, atunci contextul poate fi introdus
manual); •
Apăsați Upload .
Puteți converti datele în sintaxa dorită cu opțiunea Export (în cazul în care selectați un format care nu suportă grafuri identificate precum N-Triples, Turtle, identificatorul contextului nu va fi exportat). În fereastra Export , puteți da clic pe oricare din URI -uri pentru a extrage toate afirmațiile despre acel URI. Observați cum arată nodurile anonime – nu mai sunt la fel ca și în fișierul original! (reamintim: nodurile anonime au identificatori instabili ce nu pot să apară în interogări). Executați o primă interogare în ecranul Query : select * where {?x ?y ?z}
Aceasta va afişa toate afirmaţiile din baza de cunoștințe: Executați câteva interogări SPARQL generice (fără semantică) Extragerea tuturor subiectelor din baza de cunoștințe: select ?x where {?x ?y ?z}
Extragerea de subiecte distincte din baza de cunoștințe: select distinct ?x where {?x ?y ?z}
Extragerea de afirmații ordonate după proprietate: select * where {?x ?y ?z} order by ?y
Extragerea primelor 10 afirmații ordonate după subiect: select * where {?x ?y ?z} order by ?x limit 10
Executați câteva interogări SPARQL cu semantică simplă La folosirea identificatorilor de tip URI într-o interogare, toate prefixele trebuie să fie declarate înainte de interogare . Pentru a face acest lucru mai ușor, procedați în felul următor : •
•
•
Verificați opțiunea Namespaces din meniul situat în partea stângă Sesame. Toate prefixele care au fost detectate în fișierul original ar trebui să apară listate acolo. De asemenea, se pot adăuga altele noi; În unele versiuni de Sesame, în fereastra Query se poate apăsa Clear . Această acțiune ar trebui să aducă în fereastra de interogări toate declarațiile de prefix ce s-au definit în Namespaces. În alte versiuni, trebuie să începeți să tastați "prefix" în fereastra Query și veți obține o listă derulantă de prefixe (tot din lista de la Namespaces) pentru a alege pe cele de care aveți nevoie
Pentru fiecare interogare, trebuie să vă asigurați că prefixele sunt incluse la început după cum arată exemplul de mai jos (în restul exemplelor, prefixul va fi omis în acest document, dar voi trebuie să îl aveţi): În ce filme a jucat Arnold? prefix : select ?x where { :Arnold :playedIn ?x }
Cu ce are Arnold alte relaţii decât :playedIn? select ?x where { :Arnold !:playedIn ?x }
(avertisment: a nu se confunda cu negația - nu se vor obține filmele în care NU a jucat Arnold! Veți obține toate obiectele cu care Arnold are altă relație decât :playedIn) Afișează tot ce este în relație cu Terminator: select ?x ?y where { ?x ?y :Terminator }
Afișează tot ce este în relație cu Terminator și în plus afișează Terminator pentru fiecare rezultat: select ?x ?y (:Terminator as ?z) where { ?x ?y :Terminator }
Afișează tot ceea ce are nume, împreună cu numele acestora:
select ?x ?y where { ?x :hasName ?y }
Executați câteva interogări SPARQL cu filtre Aceeași interogare ca și cea anterioară, dar să se afișeze doar acele rezultate care au numele disponibil în franceză: select ?x ?y where { ?x :hasName ?y filter (lang(?y)="fr") }
Afișează tot ce are buget mai mic decât 10000000: select ?x ?b where { ?x :hasBudget ?b filter (?b<10000000) }
Cine are ziua de naștere 1947-07-10? select ?x ?d where { ?x :birthInfo/:date ?d filter (?d="1947-07-10"^^xsd:date) }
(trebuie să traversăm atât :birthInfo cât și :date datorită nodului anonim care grupează data și locul) Cine este cel al cărui nume se termină în "on" (indiferent că e majusculă sau minusculă)? select ?x where { ?x :hasName ?nm filter regex(?nm,"ON$","i" ) }
(regex permite să se aplice filtre cu expresii regulate!) Care URI se termină în "on" (indiferent de tipul de literă)? select ?x where { ?x :hasName ?nm filter regex(str(?x),"ON$","i") }
De această dată regex nu se aplică șirurilor de caractere (nume, etichete) ci identificatorilor (URI -urilor) iar rezultatele vor fi diferite. A se observa că identificatorii trebuie să fie convertiți în șiruri de caractere cu str pentru a li se aplica testul regex! Această tehnică este folositoare pentru a detecta anumiți identificatori care aparțin anumitor adrese de domeniu. Să se afișeze toate afirmațiile pentru care obiectul este valoare simplă: select * where { ?x ?y ?z filter isliteral(?z)
}
Sunt disponibile funcții similare pentru verificarea dacă un termen este URI (isuri ) sau dacă este nod anonim (isblank ). Să se afișeze toate afirmațiile care au Terminator ca subiect SAU ca obiect: select * where { ?x ?y ?z filter ((?x=:Terminator)||(?z=:Terminator)) }
Alți conectori logici disponibili sunt && (conjuncția) și ! (negația) Executați câteva interogări SPARQL care returnează expresii Să se construiască o afirmație în limbaj natural ce indică bugetul fiecărui film. select (concat(?t," has a budget of ",str(?b)) as ?sentence) where { ?x :hasTitle ?t; :hasBudget ?b }
(această tehnică poate fi folosită pentru a construi stringuri gata de afișat în cadrul unei interfețe cu
utilizatorul!) Să se extragă prenumele oricui are un nume: select (strbefore(?y," ") as ?firstname) where { ?x :hasName ?y }
Să se afișeze filmele cu bugetele lor, plus un comentariu indicând dacă este un buget mic (sub 10000000) sau mare: select ?x (if(?b<10000000,"Low budget","Big budget") as ?comment) where { ?x :hasBudget ?b }
Să se afișeze bugetul mediu: select (avg(?b) as ?AverageBudget) where { ?x :hasBudget ?b }
(alte funcții de agregare disponibile sunt: count, sum, min, max, group_concat(concatenare de șiruri), sample (selectare arbitrară dintr-o listă de valori))
Să se construiască un string în care se înşiră toate titlurile separate de virgulă: select (group_concat(?t;separator=', ') as ?TitleList) where { ?x :hasTitle ?t }
Să se afișeze toți regizorii și numărul de filme pe care le-au regizat: select ?x (count(?m) as ?MovieCount) where { ?x :directorOf ?m } group by ?x
(avertisment: o interogare cu grupare poate afișa doar variabilele folosite în clauza GROUP BY (în cazul nostru ?x) sau variabile agregate (aici ?MovieCount)) Aceeași interogare ca și cea anterioară, însă păstrând doar regizorii care au mai mult de un film: select ?x (count(?m) as ?MovieCount) where { ?x :directorOf ?m } group by ?x having (?MovieCount>1)
Să se afișeze câte un exemplu de film pentru fiecare regizor: select ?x (sample(?m) as ?Example) where { ?x :directorOf ?m } group by ?x
Construiți o listă de titluri pentru fiecare regizor care are mai mult de un film: select ?x (group_concat(?t;separator=', ') as ?TitleList) where { ?x :directorOf/:hasTitle ?t } group by ?x having (count(?t)>1)
(Observați cum proprietățile :directorOf/:hasTitle sunt înlănțuite pentru a lega regizorii de titluri)
Executați interogări SPARQL cu subinterogări Să se afișeze filmul cu bugetul minim. select ?minbfilm ?minb where { ?minbfilm :hasBudget ?minb {select (min(?y) as ?minb ) where {?x :hasBudget ?y}} }
Acest exemplu se execută în 2 pași: • •
Prima dată (în subinterogare) se găsește bugetul minim și se păstrează într-o variabilă (?minb) Apoi (în interogarea principală) se caută filmul cu bugetul r espectiv
Pentru a transfera rezultatul de la subinterogare la interogarea principală s-a folosit o variabilă comună (?minb). Executați interogări SPARQL contextuale (cu grafuri identificate) Pentru a putea realiza acest lucru, avem nevoie de cel puțin 2 contexte (grafuri identificate). Creați un nou fișier movies2.trig cu următorul conținut: @prefix : . :mynewmoviegraph {:Titanic :directedBy :hasActor :Godzilla :directedBy :DieHard :hasActor :JamesCameron :directorOf :Predator :hasBudget :Titanic :hasBudget :DieHard :hasBudget :Godzilla :hasBudget _:somemovie :hasBudget }
:JamesCameron; :LeoDiCaprio. :REmmerich. :BruceWillis. :Terminator. 100 . 200 . 300 . 400 . 500 .
Observați următoarele: •
•
•
Relația regizor-film este acum exprimată în două moduri diferite (:directedBy și :directorOf). Deocamdată Sesame nu înțelege că aceste relații sunt reciproc inverse! (e necesară utilizarea terminologiei standard OWL pentru a face posibil acest lucru ); Am adăugat căteva afirmații care contrazic afirmațiile din graful inițial, de exemplu bugetul filmului Predator. Se va putea detecta această contradicție tot prin raționare pe baza standardului OWL, de care ne ocupăm mai târziu (există un mod standard de a spune că un film nu poate avea două bugete); Deși s-a folosit un identificator pentru nod anonim _:somemovie când s -a încărcat primul fișier, ulterior a primit un nou ID și astfel s-a pierdut legătura cu afirmațiile anterioare (puteți vedea toate afirmațiile în ecranul Export ).
Încărcați noul fișier în aceeași bază de cunoștințe și testați următoarele interogări: Să se afișeze toate afirmațiile despre James Cameron, împreună cu graful de care aparțin: select * where { graph ?g {?x ?y ?z filter (?x=:JamesCameron)} }
(observați că apare de două ori afirmația că James Cameron a regizat Terminator – acest lucru este permis deoarece e stocată în grafuri diferite; în cadrul aceluiași graf, o afirmaţie poate apare o singură dată!). Să se afișeze toate afirmațiile din graful nou încărcat: select * from :myn ewmoviegraph where {?x ?y ?z}
Aceleași rezultate pot fi obținute prin formularea de mai jos: select * where { graph :mynewmoviegraph {?x ? y ?z} }
Deosebiri: •
•
Cu clauza FROM, se va separa primul graf de restul cunoştinţelor și apoi se execută interogarea pe graf Cu clauza GRAPH se execută interogarea pe tot setul de date și apoi se filtrează rezultatele după graful indicat
În cele mai multe cazuri rezultatele sunt identice. Dacă se folosesc deodată, FROM are prioritate. Totuși se preferă clauza GRAPH deoarece permite interogări ce nu sunt posibile cu clauza FROM, precum: - folosirea identificatorului de graf ca variabilă (să se extragă toate afirmațiile despre Predator, inclusiv
numele grafului de care aparțin) select * where { graph ?g {?x ?y ?z} filter (?x=:Predator) }
-combin area șabloanelor din grafuri diferite (să se extragă toate afirmațiile din graful iniţial, despre cel care a regizat Titanic conform grafului nou) select * where { graph :mynewmoviegraph {:Titanic :directedBy ?x } graph :mymoviegraph {?x ?y ?z}
}
A se observa variabila comună ?x care realizează înlănțuirea afirmațiilor din diferite grafuri. Să se compare ultimul rezultat cu următorul (toate afirmaţiile despre cel care a regizat Titanic, conform grafului nou): select * where { graph :mynewmoviegraph {:Titanic :directedBy ?x} ?x ?y ?z }
… și cu următorul (toate afirmaţiile din noul graf, despre cel care a regizat Titanic conform aceluiaşi graf ): select * where { graph :mynewmoviegraph {:Titanic :directedBy ?x. ?x ?y ?z} }
Să se afișeze toate subiectele şi proprietăţile folosite împreună în ambele grafuri: select distinct ?x ?y where { graph :mynewmoviegraph {?x ?y ?z} graph :mymoviegraph {?x ?y ?c} }
Această tehnică poate fi folosită pentru a descoperi dacă aceeași proprietate are valori diferite (pentru același lucru) în contexte diferite. Se poate folosi: •
•
Pentru a agrega informații incomplete din surse multiple (presupunând că fiecare graf conține informații parțiale) Pentru a detecta contradicții (de exemplu verificând dacă aceeași proprietate, de exemplu ziua de naştere sau CNP-ul este declarat diferit în baze de cunoştinţe diferite, cee ace poate indica un caz de fraudă!). Executați câteva interogări SPARQL cu metadate
Pentru următorul exemplu creați un al treilea fișier numit metacontext.trig. @prefix : . :metadata { :mymoviegraph :description "it should contain valid information"; :reputation 10; :datasource . :mynewmoviegraph :description "not so sure about this information"; :reputation 7; :datasource :Robert. }
Observați cum cele două grafuri anterior folosite pot fi la rândul lor descrise (sunt subiecte)! În general grafurile se descriu pentru a oferi clienţilor informaţii legate de provenienţa sau calitatea (reputaţia) lor. Astfel de descrieri de grafuri se mai numesc metadate și pot fi izolate în propriul lor graf, eventual administrat de cu totul altcineva decât cele descrise, pentru a asigura independenţa.
Acum putem să filtrăm rezultatele după reputația fiecărui graf: Să se afișeze toate informațiile disponibile despre James Cameron, însă doar din graful cu reputația 10: select * where { graph :metadata {?x :reputation 10} graph ?x {:JamesCameron ?b ?c} }
Aceleași rezultate pot fi obținute dacă realizăm un filtru peste grafuri: select ?x ?b ?c where { graph :metadata {?x :reputation ?z} graph ?x {?a ?b ?c} filter ((?a=:JamesCameron)&&(?z=10)) }
