Resumo Artificial Intelligence Intelligence – A Modern Approach, Russel and Norvig Capítulos 1 e 2 Disciplina de istemas Multi!agentes Multi!agentes Manoel Campos da Silva Filho
O que é IA? Definições de inteligência artificial são mostradas na figura 1.1, de acordo com oito livros teto. !stas definições variam ao longo de duas principais dimensões. "rosseiramente, as no topo são preocupadas com processos de pensamento e raciocínio, en#uanto as de $aio endereçam a comp compor orta tamen mento to.. %s defin definiç ições ões & es#ue es#uerd rdaa mede medem m suce sucesso sso em term termos os de fide fideli lida dade de para para a performance humana, en#uanto as da direita medem contra um conceito ideal de inteligência, #ue chamarem chamaremos os de racionalidade. 'm sistema ( racional se ele fa) a *coisa certa+, dado o #ue ele sa$e. istemas "u "ue pe pensam co como hu humanos
istemas "u "ue pe pensam ra racionalmente
* ecitante novo esforço para fa)er * estudo de faculdades mentais por meio do comp comput utad ador ores es pens pensar arem em - m#u m#uin inas as com com uso de modelos computacionais.+ /Charnia: e mentes, es, no sent entido litera eral e completo eto.+ McDermott, 1234 /0augeland, 1234 *5% automaçã ação de6 atividades #ue n7s * estudo de computações #ue fa)em poss;vel associamos com pensamento humano, atividades perce$er, raciocinar e agir.+ /
istemas "ue agem racionalmente
*% arte de criar m#uinas #ue reali)am funções *Bntel *Bnteligê igênc ncia ia Comp Comput utaci acion onal al ( o estu estudo do do #ue re#uerem inteligência #uando reali)adas por proeto de agentes inteligentes.+ /oole et al., pessoas.+ />ur)?eil, 1@4 124 * estu studo de como fa)er )er computad tadores *B% ...( preocupada comportamento inteligente reali)arem reali)arem coisas em #ue, no momento, momento, pessoas pessoas em artefatos.+ /Eilssom, 124 são melhores.+ /Aic: e >night, 114 Figura 1.1 %lgumas definições de inteligência artificial, organi)adas em #uatro categorias 0istoricamente todas as #uatro propostas têm sido seguidas. Como algu(m pode esperar, uma tensão eiste entre propostas centradas ao redor de humanos e propostas centradas ao redor de racionalidade /não estamos di)endo #ue humanos são irracionais no sentido de *emocionalmente instveis+ ou *insanos+, apenas #ue não somos perfeitos4. 'ma proposta centrada em humanos deve ser uma ciência emp;rica, envolvendo hip7teses e confirmações eperimentais. 'ma proposta racionalista envolve uma com$inação de matemtica e engenharia.
1 de =1
Agir humanamente: A proposta do Teste de Turing Geste de Guring, proposto por %lan Guring /13@4, foi proetado para prover uma definição satisfat7ria de inteligência. 'm computador passa no teste se um humano interrogador, depois de colocar algumas #uestões escritas, não puder di)er se as respostas escritas são de uma pessoa ou não. 'm computador, para passar no teste, precisa ter as seguintes capacidadesH •
representa#$o representa#$o de conhecimento para arma)enar o #ue ele sa$e ou ouveI
•
raciocínio raciocínio automati automati%ado %ado para usar a informação arma)enada para responder #uestões e
para tirar novas conclusõesI •
aprendi%ado de m&"uina para se adaptar & novas circunstJncias e para detectar e etrapolar
padrões. chamado 'este 'otal de 'uring re#uer do computador outras capacidades comoH •
vis$o computacional computacional para perce$er o$etos, e
•
ro()tica para manipular o$etos.
Pensar humanamente: A proposta de modelagem cognitiva Se formos di)er #ue um programa pensa como um humano, precisamos de alguma forma de determinar como humanos pensam. recisamos estar por dentro do funcionamento da mente humana. !istem duas formas de fa)er istoH atrav(s de introspecção K tentando pegar nossos pr7prios pr7prios pensamentos pensamentos a medida #ue eles surgem K e atrav(s de eperimentos eperimentos psicol7gicos. psicol7gicos. 'ma ve) #ue temos uma teoria precisa o suficiente so$re a mente, se torna poss;vel epressar essa teoria como como um prog progra rama ma de comp comput utad ador or.. Se as entr entrad adas as e sa;d sa;das as do prog progra rama ma e o temp tempoo dos dos comportamentos correspondem com comportamentos humanos, ( evidente #ue alguns mecanismos de programas podem tam$(m estar operando em humanos. or eemplo, %llen Ee?ell e 0er$ert Simon, #ue desenvolveram o "S, o "eneral ro$lem Solver /1L14 não estavam contentes #ue seu programa resolvesse pro$lemas corretamente, eles #ueriam comparar os passos do seu racioc;nio com os de como um humano resolve o mesmo pro$lema.
Pensar racionalmente: A proposta das “leis do pensamento” fil7sofo grego %rist7teles foi um dos primeiros a tentar codificar o *pensamento correto+, #ue (, irrefutavelmente, o processo de racioc;nio. Seu silogismo provê padrões para estruturas de argumentos #ue sempre produ)em conclusões corretas #uando dadas corretas premissas K por eemplo, *S7crates ( um homem+I todos os homens são mortaisI logo, S7crates ( mortal+. !stas leis de pensamento eram supostas por governar a operação da menteI seu estudo iniciou o campo chamado l)gica.
Agir racionalmente: A proposta de agente racional 'm agente ( apen apenas as algo #ue #ue age age /agen /agente te vem do latim latim agere, fa)er4. Mas agentes de computador computador são esperados por terem outros outros atri$utos atri$utos #ue distinguem distinguem eles de meros programas, tal como como oper operan ando do so$r so$ree cont control rolee autn autnom omo, o, perce perce$e $end ndoo seu am$i am$ien ente, te, persi persisti stind ndoo so$r so$ree um prologando per;odo de tempo, se adaptando & mudanças e sendo capa) de pensar em outros = de =1
o$etivos. 'm agente racional ( um #ue age de forma a alcançar o melhor resultado ou, #uando em incerte)a, o melhor resultado esperado. Ea proposta das *leis do pensamento a enfase foi em inferências corretas. Fa)endo corretas inferências ( algumas ve)es parte de ser um agente racional, devido uma forma de agir racionalmente ( raciocinar logicamente para a conclusão #ue uma dada ação ir alcançar um o$etivo e então agir na conclusão. or outro lado, inferências corretas não são tudo de racionalidade, devido eistirem fre#uentemente ações onde não h uma coisa provavelmente correta a fa)er, mas alguma coisa deve ser feita. !istem tam$(m formas de agir racionalmente #ue não podem envolver inferência. or eemplo, se afastar de um forno #uente ( uma ação de refleo #ue tem normalmente mais sucesso #ue uma ação mais lenta tomada depois de cuidadosa deli$eração.
As Fundações da Inteligência Artificial % B% se fundamente em diversas reas do conhecimento, como mostrado a seguir.
Neurociência Chips de computador podem eecutar instruções em nanosegundos, en#uanto neurnios são milhões de ve)es mais lentos. % lei de Moore di) #ue o nNmero de transistores por polegada #uadrada do$ra a cada 1 ou 1,3 ano. % capacidade do c(re$ro humano do$ra grosseiramente a cada = a O milhões de anos.
Filosofia >enneth Crai: especificou os três passos chaves de um agente $aseado em conhecimento /D!FBEBA %"!EG! 8%S!%D !M CE0!CBM!EG4H 14 o est;mulo deve ser tradu)ido em representações internas, =4 a representação ( manipulada pelo processo cognitivo /D!FBEBA C"EBGBP4 para derivar novas representações internas, e Q4 estes são por sua ve), retradu)idos de volta em ação. !le claramente eplicou por #ue isso era um $om proeto para um agenteH Se o organismo transporta um “modelo de pequena escala” de realidade externa e de suas próprias possíveis ações dentro de sua cabeça, ele é capaz de tentar vrias alternativas, concluir qual é a melhor delas, reagir a situações !uturas antes que elas sur"am, utilizar o conhecimento de eventos passados tratando com o presente e o !uturo, e em cada !orma de reagir de uma muito mais completa, segura e mais competente maneira # emerg$ncias com as quais ele encara%
Engenharia de Computação primeiro computador eletrnico, o %8C, foi montado por Rohn %tanasoff e seu estudante Clifford 8err entre 1O@ e 1O= na universidade estadual de Bo?a. Sua pes#uisa rece$eu pouco suporte e reconhecimentoI foi o !EB%C, desenvolvido como parte de um proeto militar secreto na universidade de ennslvania pelo time incluindo Rohn Mauchl e Rohn !c:ert, #ue provou ser o mais influente precursor dos computadores modernos. Ea metade do s(culo, desde então, cada geração de hard?are de computador tem tra)ido um aumento na velocidade e capacidade e redu)ido no preço. erformance do$ra a cada 12 meses ou mais, com uma d(cada ou duas nesta taa de crescimento. Depois disto, n7s precisaremos de engenharia molecular ou alguma outra nova tecnologia. Q de =1
% m#uina anal;tica de Charles 8a$$age /19=12914 foi de longe a mais am$iciosaH ele inclu;a mem7ria endereçvel, programas arma)enados e pulos condicionais, e foi a primeira capa) de reali)ar computação universal. % colega de 8a$$age, %da Tovelace, foi talve) a primeira programadora do mundo /a linguagem de programação %da foi nomeada depois dela4. % B% tem pioneiri)ado muitos tra$alhos na rea de ciência da computação, como time sharing, interpretadores interativos, computadores pessoais com anelas e mouse, am$ientes de desenvolvimento rpido de aplicações /Aapid %pplication Development Gools K A%D Gools4, tipos de dados de listas encadeadas, gerenciamento automtico de arma)enamento e conceitos chaves de programação sim$7lica, funcional, dinJmica e orientada a o$etos.
Teoria do controle e cibernética Tingu;stica moderna e B%, *nasceram+ ao mesmo tempo, e cresceram untas, tendo intersecção em um campo h;$rido chamado linguística computacional ou processamento de linguagem natural. pro$lema de se entender linguagem em $reve se tornou consideravelmente mais compleo do #ue parecia ser em 139. !ntender linguagem re#uer um entendimento do assunto e conteto, não apenas entender da estrutura das sentenças. Bsto pode parecer 7$vio, mas não era amplamente apreciado at( a d(cada de 1L@. Muito dos tra$alhos anteriores em representação do conhecimento /o estudo de como colocar o conhecimento em uma forma #ue o computador possa raciocinar so$re ele4 foi ligado a linguagem e informado pes#uisas em lingu;stica, #ue foi conectado por sua ve), a d(cadas de tra$alho de anlise filos7fica de linguagem.
A história da Inteligência Artificial
A gestação da inteligência artificial primeiro tra$alho #ue ( hoe geralmente reconhecido como B% foi feito por
O de =1
O nascimento da IA (1!"# rinceton foi a casa de outra figura influente em B%, Rohn McCarth. Depois da graduação foi para o Dartmouth College, #ue se tornou o local oficial de nascimento da rea de B%.
$ntusiamo anterior% grandes e&pectativas (1!'1"# Sucessos anteriores de Ee?ell e 0er$ert Simon foram seguidos do "eneral ro$lem Solver ou "S. Diferente da T7gica Georista, este programa foi proetado no in;cio para imitar os protocolos humanos de resolução de pro$lemas. Dentro de uma limitada classe de ogosU#ue$ra ca$eças #ue ele podia manipular, ele revelou #ue a ordem em #ue o programa considerava su$ o$etivos e poss;veis ações era semelhante &#uela em #ue o homem a$ordava os mesmos pro$lemas. %ssim, o programa "S foi provavelmente o primeiro a incorporar a proposta do *pensar humanamente+. sucesso do "S e programas su$se#uentes como modelos de cognição guiaram Ee?ell e Simon /19L4 para formular a famosa hip7tese do sistema de sím(olos físicos, #ue afirma #ue *um sistema de s;m$olo f;sico tem os meios necessrios e suficientes para ações inteligentes gerais+. #ue eles #uiseram di)er ( #ue #ual#uer sistema /homem ou m#uina4 ei$indo inteligência devem operar pela manipulação de estruturas de dados compostas de s;m$olos. Rohn McCarth foi de Dartmouth para o MBG e l fe) Q cruciais contri$uições em um ano hist7rico de 132H definiu a linguagem de alto n;vel chamada Tisp, #ue se tornou a linguagem dominante para programação de B%. Tisp ( a segunda mais velha linguagem de alto n;vel em uso, um ano mais nova #ue FAGA%E. Com Tisp, McCarth tinha a ferramenta #ue precisava, mas acesso escasso e caro a recursos computacionais era um s(rio pro$lema. !m resposta, ele e outros no MBG invetaram o time sharing. Gam$(m em 132 ele pu$licou o artigo *rograms ?ith Common Sense+ em #ue ele descreveu o %dvice Ga:er /Gomador de Conselhos4, um programa hipot(tico #ue pode ser visto como o primeiro sistema de B% completo. Como a Georia T7gica e o rovador de Georemas "eom(tricos, o programa de McCarth foi proetado para usar conhecimento para encontrar soluções para pro$lemas. Mas diferente de outros, ele incorporou o conhecimento geral do mundo. or eemplo, ele mostrou como alguns aiomas /D!FBEBA %VBM%S4 simples poderiam permitir a programas gerarem um plano para dirigir at( o aeroporto. programa foi proetado tam$(m para #ue possa aceitar novos aiomas durante o curso normal de operação, permitindo #ue ele alcance competência em novas reas sem ser reprogramado. %dvice Ga:er então incorpora os princ;pios centrais de representação do conhecimento e racioc;nioH #ue ( Ntil ter uma representação epl;cita e formal do mundo, e da forma #ue as ações dos agentes afetam o mundo e ser capa) de manipular essas representações com processo dedutivos.
)ma dose de realidade Desde o in;cio, pes#uisadores de B% não eram t;midos em fa)er predições de seus pr7imos sucessos. Germos como *futuro vis;vel+ podem ser interpretados de vrias formas mas Simon tam$(m fe) uma predição mais concretaH #ue em 1@ anos um computador poderia ser campeão mundial de adre). 'ma t;pica hist7ria ocorrida no in;cio dos esforços de tradução de tetos por m#uina, #ue foram generosamente financiados pelo Conselho Eacional de es#uisa dos !'% na tentativa de agili)ar a tradução de artigos cient;ficos em russo, no fraco lançamento do Sputni: /nome do programa de lançamento de sat(lites artificiais da antiga 'ASS 'nião das AepN$licas Socialistas 3 de =1
Sovi(ticas4 em 139. Foi pensado inicialmente #ue seriam simples transformações sintticas $aseadas nas gramticas russa e inglesa, e su$stituição de palavras usando um dicionrio eletrnico, $astaria para preservar o eato significado das sentenças. fato ( #ue a tradução re#uer conhecimento geral do assunto para resolver am$iguidades e esta$elecer o conteNdo da sentença. segundo tipo de dificuldade foi a não intrata$ilidade de pro$lemas #ue a %B estava tentando resolver. Muitos dos primeiros programas de B% resolveram pro$lemas tentando diferentes com$inações de passos at( a solução ser encontrada. !sta estrat(gia funcionou inicialmente por#ue micro mundos continham pou#u;ssimos o$etos e portanto, pou#u;ssimas ações poss;veis e curt;ssimas se#uências de solução. %ntes da teoria de compleidade computacional ser desenvolvida, era amplamente pensado #ue resolver pro$lemas maiores era simplesmente uma #uestão de hard?are mais rpido e mais mem7ria.
*istemas +aseados em conhecimento: A chave do poder, (1"1-# % figura da resolução de pro$lemas #ue surgiu durante a primeira d(cada de pes#uisa em B% foi de um mecanismo de pes#uisa para fins gerais tentando untar passos elementares de racioc;nio para encontrar soluções completas. Gais propostas foram chamadas de m*todos fracos, pois, apesar de gerais, elas não funcionam para pro$lemas de maior escala. % alternativa para os m(todos fracos ( usar conhecimento de dom;nio espec;fico mais poderosos #ue permita maiores passos de racioc;nio e possa mais facilmente manusear tipicamente casos de ocorrência em estreitas reas de epertise. %lgu(m pode di)er #ue para resolver um pro$lema dif;cil, você precisa #uase conhecer a resposta. programa D!EDA%T foi um eemplo inicial desta proposta, #ue o$etivava resolver o pro$lema de inferência de estruturas moleculares a partir de informações providas por um espectrmetro de massa. !le foi significante pois foi o primeiro sistema de conhecimento intenso de sucessoH sua epertise derivava de um amplo nNmero de regras de prop7sito especial. Sistemas posteriores tam$(m incorporaram o principal tema da proposta do programa %dvice Ga:er de McCarth K a clara separação do conhecimento /na forma de regras4 do componente de racioc;nio. Com esta lição em mente, Feigen$aum e outros em Stanford iniciaram o 0euristic rogramming roect /04, para investigar a onde a nova metodologia de sistemas especialistas poderia ser aplicada para outras reas do conhecimento humano. pr7imo maior esforço foi na rea de diagn7sticos m(dicos. Feigen$aum, 8uchanan e o Dr !d?ard Shortliffe desenvolveram o MWCBE para diagn7sticos de infecções sangu;neas. Com cerca de O3@ regras, o MWCBE era capa) de tra$alhar tão $em como um especialista, e consideravelmente melhor #ue um m(dico estagirio. !le tam$(m continha duas maiores diferenças do D!EDA%T. rimeiro, diferente das regras do D!EDA%T, não eistia nenhum modelo te7rico geral a partir do #ual as regras do MWCBE poderiam ser dedu)idas. !las tinham #ue ser ad#uiridas em etensas entrevistas com especialistas, #ue por sua ve) ad#uiriam em livros, outros especialistas e eperiência vividas. Segundo, as regras tinham #ue refletir as incerte)as associadas com o conhecimento m(dico. MWCBE incorporou um clculo de incerte)as chamado fatores de certe%a , #ue pareciam /na (poca4 se ade#uar $em na forma como os m(dicos avaliavam o impacto de evidências no diagn7stico. % importJncia do dom;nio do conhecimento foi tam$(m evidente na rea da compreensão de linguagem natural. crescimento generali)ado de aplicações para pro$lemas do mundo real causaram um aumento paralelo na demanda de ee#u;veis es#uemas de representação do conhecimento. 'm amplo nNmero de diferentes representações e linguagens de racioc;nio foram desenvolvidas. %lgumas foram $aseadas na l7gica por eemplo, a linguagem rolog se tornou popular na !uropa.
L de =1
IA se torna um padrão de ind.stria (1/0 at o presente# !m toda parte, a indNstria de B% estourou, de poucos milhões de d7lares em 12@ para $ilhões de d7lares em 122. Togo depois veio o per;odo chamado *Bnverno da B%+, em #ue muitas companhia sofreram por terem feito promessas etravagantes. !m$ora a ciência da computação tenha amplamente a$andonado o campo de redes neurais no final da d(cada de 19@, o tra$alho continuou em outros campos. F;sicos como Rohn 0opfield /12=4 usou t(cnicas de m#uinas estat;sticas para analisar o arma)enamento e propriedades de otimi)ação de redes neurais, tratando coleções de n7s como coleções de tomos. sic7logos incluindo David Aumelhart e "eoff 0inton continuaram o estudo de modelos de mem7ria de redes neurais. real impulso veio em meados da d(cada de 12@ #uando pelo menos #uatro diferentes grupos reinventaram o algoritmo de aprendi)agem $ac:propagation /retro propagação4 primeiro encontrado em 1L por 8rson e 0o. algoritmo foi aplicado para muitos pro$lemas de aprendi)ado em ciência da computação e psicologia, e a generali)ada disseminação dos resultados na coleção arallel Distri$uted rocessing /Aumelhart e McClelland, 12L4 causou grande ecitação.
AI se tornou uma ciência (1/- at o presente# 'sando metodologias melhoradas e frame?or:s te7ricos, o campo chegou no entendimento de #ue redes neurais podem atualmente ser comparadas com correspondentes t(cnicas da estat;stica, reconhecimento de padrões, aprendi)ado de m#uina e a mais promissora t(cnica pode ser aplicada para cada aplicação. Como resultado destes desenvolvimento, a então chamada tecnologia de data mining tem dado novos vigorosos padrões de indNstria. formalismo das redes +aesianas foi inventado para permitir representação eficiente de um rigoroso racioc;nio com conhecimento incerto. !sta proposta amplamente resultou muitos pro$lemas de sistemas de racioc;nio pro$a$il;stico de 1L@ e 19@I ela agora domina as pes#uisa de B% em racioc;nio incerto e sistemas especialistas.
esumo •
•
•
•
•
9 de =1
Diferentes pessoas pensam so$re B% diferentemente. Duas importantes #uestões para perguntar sãoH Pocê est preocupado com o conhecimento ou com o comportamentoX Pocê #uer modelar humanos ou tra$alhar a partir de um padrão idealX Eeste livro, adotamos a visão de #ue inteligência se preocupa principalmente com ação racional. Bdealmente, um agente inteligente eecuta a melhor ação poss;vel em uma situação. E7s estudaremos o pro$lema de construção de agentes #ue são inteligentes neste sentido. Fil7sofos /anteriores a O@@ a.C.4 conce$eram B% considerando as id(ias #ue a mente ( de alguma forma como uma m#uina, #ue ela opera so$re conhecimento codificado em alguma linguagem interna, e #ue o pensamento pode ser usado para escolher #uais ações eecutar. Matemticos proveram ferramentas para manipular declarações de certe)as l7gicas $em como incerte)as e declarações pro$a$il;sticas. !les tam$(m configuraram a $ase para compreender computação e racioc;nio so$re algoritmos. !conomistas formali)aram o pro$lema de tomar decisões #ue maimi)em os resultados esperados pelo administrador /decisionmar:er4.
•
•
•
•
•
•
sic7logos adotaram a id(ia de #ue humanos e animais podem ser considerados m#uinas de processamento de informações. Tinguistas mostraram #ual uso de linguagem ( ade#uado neste modelo. !ngenheiros de computação proveram os artefatos #ue fa)em as aplicações de B% poss;veis. rogramas de B% tendem a ser grandes, e eles podem não funcionar sem um grande avanço na velocidade e mem7ria #ue a indNstria de computadores tem provido. Georia do controle trata com proeto de dispositivos #ue agem opcionalmente na $ase de feed$ac:s do am$iente. Bnicialmente, as ferramentas matemticas de teoria do controle eram muito diferentes da B%, mas os campos estão ficando mais pr7imos. % hist7ria da B% tem ciclos de sucesso, otimismos mal colocados, resultando cortes no entusiamo e financiamento. 0ouveram tam$(m ciclos de introdução de novas propostas criativas e sistemtico refinamento das melhores. B% tem avançado mais rapidamente na d(cada passada devido ao grande uso de m(todos cient;ficos em eperimentos e propostas de comparação. rogresso recente no entendimento da $ase te7rica de inteligência tem sido disseminado, com melhorias nas capacidades reais do sistema. %s su$reas da B% tem se tornado mais integradas, e a %B tem encontrado $ase comum com outras disciplinas.
!" Agentes Inteligentes Agentes e Ambientes 'm agente ( #ual#uer coisa #ue pode perce$er seu am$iente atrav(s de sensores e e agir nesse am$iente por meio de atuadores. !sta simples id(ia ( ilustrada na figura =.1. 'm agente humano tem olhos, orelhas e outros 7rgãos como sensores, e mãos, pernas, $oca e outras partes do corpo como atuadores. 'm agente ro$ pode ter cJmeras e locali)adores infravermelho como sensores, e vrios motores como atuadores. 'm agente de soft?are rece$e entradas do teclado, conteNdo de ar#uivos e pacotes de rede como sensores de entrada e age no am$iente mostrando resultados na tela, gravando em ar#uivos e enviando pacotes pela rede.
2 de =1
!m geral, a ação de escolha de um agente a #ual#uer instante pode depender de todo o hist7rico de percepções at( o momento atual. Matematicamente falando, n7s di)emos #ue um comportamento de agente ( descrito por uma fun#$o de agente #ue mapeia #ual#uer dada se#uência de percepções para uma ação. odemos imaginar ta$ular a função de agente #ue descreve #ual#uer agenteI para a maioria dos agentes, esta poderia ser uma ta$ela muito grande, at( infinita, de fato, ao menos #ue colo#uemos uma fronteira no tamanho das se#uências de percepções #ue #ueremos considerar. Dado um agente como eperimento, podemos, em princ;pio, construir sua ta$ela tentando todas as poss;veis se#uências de percepções e gravando cada ação #ue o agente fa) em resposta. % ta$ela (, o$viamente, uma caracteri)ação eterna do agente. Bnternamente, a função de agente para um agente artificial ser implementada por um programa de agente. Y importante distinguir essas duas id(ias. % função de agente ( uma descrição matemtica a$strataI o programa do agente ( uma implementação concreta, rodando na ar#uitetura do agente.
ara ilustrar essas id(ias, usaremos um eemplo simples do mundo do aspirador de p7, mostrado na figura =.=, #ue ( $em simples e podemos descrever tudo #ue acontece nele. !le tem apenas dois locais, #uadrado % e #uadrado 8. agente aspirador de p7 perce$e em #ue #uadrado ele est e se h sueira l. !le pode se mover para direita ou es#uerda, aspirar a sueira ou não fa)er nada. 'ma muito simples função de agente (H se o #uadrado atual est suo, aspire a sueira, senão, de =1
v para o outro #uadrado. 'ma ta$ulação parcial desta função de agente ( mostrada na figura =.Q. 'm simples programa de agente para esta função de agente ( dado posteriormente na figura =.2.
Bom comportamento: conceito de racionalidade 'm agente racional ( um #ue fa) a coisa certa K conceitualmente falando, cada entrada na ta$ela para a função de agente ( preenchida corretamente. $viamente, fa)er a coisa certa ( melhor #ue fa)er a errada, mas o #ue significa fa)er a coisa certaX Como uma primeira aproimação, diremos #ue a ação correta ( a#uela #ue permite ao agente ter mais sucesso.
#edidas de performance % medida de performance incorpora o crit(rio de sucesso do comportamento de um agente. Zuando um agente ( atirado em um am$iente, ele gera uma se#uência de ações de acordo com as percepções #ue ele rece$e. Se a se#uência ( desevel, então o agente tem desempenhado seu tra$alho $em. $viamente, não eiste nenhuma medida fia ade#uada para todos os agentes. odemos propor como uma medida de performance, a #uantidade de sueira limpa em um Nnico turno de 2 horas. 'm agente racional pode maimi)ar esta medida de performance, limpando a sueira e ogando ela no chão novamente, então limpando outra ve), e assim consecutivamente. 'ma medida de performance mais ade#uada poderia premiar o agente por ter limpado o chão. or eemplo, um ponto pode ser conseguido por cada #uadrado limpo a cada passo /talve) com uma penalidade por consumo de energia e geração de ru;do4. % seleção de uma medida de performance não ( sempre fcil. or eemplo, a noção de *chão limpo+ no pargrafo anterior ( $aseada na m(dia de limpe)a so$re o tempo. %inda #ue a mesma m(dia de limpe)a possa ser alcançada por dois diferentes agentes, um pode fa)er um tra$alho med;ocre todo o tempo en#uanto o outro limpa energicamente mas fa) longas paradas.
1@ de =1
acionalidade #ue ( racional em um dado intervalo depende de O coisasH • • • •
% medida de performance #ue define os crit(rios de sucesso conhecimento pr(vio do agente so$re o am$iente %s ações #ue o agente pode reali)ar % se#uência de percepções do agente at( o momento atual Bsto guia para uma defini#$o de agente racional H &ara cada sequ$ncia de percepções possíveis, um agente racional deve selecionar uma aç'o que é esperada para maximizar suas medida de per!ormance, dada a evid$ncia provida pela sequ$ncia de percepções, e ignorar o conhecimento embutido que o agente tem%
Considerando o agente aspirador de p7, ele pode ser considerado racional, pois ele reali)a as ações visando maimi)ar sua performance, a geografia do am$iente ( conhecida, mas a sua distri$uição da sueira e locali)ação inicial não, as ações de ir para es#uerda ou direita são eecutadas de modo #ue o agente não saia dos dois #uadrados, o agente perce$e sua locali)ação e se eiste sueira nela. %lgu(m pode ver facilmente #ue um mesmo agente poderia ser irracional so$re diferentes circunstJncias. or eemplo, uma ve) #ue toda a sueira ( limpa, ele ir ficar se movendo desnecessariamenteI se a medida de performance inclui uma penalidade de um ponto para cada movimento, o agente ir ter um desempenho $ai;ssimo. 'm agente melhor para este caso poderia não fa)er nada, uma ve) #ue ele est certo de #ue todos os #uadrados estão limpos. Se o #uadrado pode se tornar suo novamente, o agente poderia ocasionalmente checar e limpar novamente se necessrio.
Onisciência% aprendi2agem e autonomia recisamos ser cuidadosos em distinguir entre racionalidade e onisci-ncia. 'm agente onisciente conhece o resultado atual de suas ações e pode agir de acordoI mas onisciência ( imposs;vel na realidade. Considere o eemplo seguinteH !u estou caminhando em direção & Champs !ls(es e veo um velho amigo cru)ar a rua. Eão h trfego pr7imo e eu não estou ocupado, então, sendo racional, eu inicio a travessia da rua. !n#uanto isso, a 1@.@@@ metros de altitude, uma carga cai de um avião #ue estava passando, e antes #ue eu chegue ao outro lado da rua, sou achatado pela carga. !ntão, eu fui irracional ao atravessar a ruaX !ste eemplo mostra #ue racionalidade não ( o mesmo #ue perfeição. Aacionalidade maimi)a a performance esperada, en#uanto perfeição maimi)a a performance atual. Eossa definição de racionalidade não re#uer onisciência, devido a escolha racional depender somente da se#uência de percepções at( o momento atual. E7s tam$(m asseguramos #ue não temos inadvertidamente permitido ao agente aderir em atividades decididamente não inteligentes. or eemplo, se um agente não olha para am$os os lados antes de atravessar uma rua movimentada, então sua se#uência de percepções não dir a ele #ue h um grande caminhão se aproimando em alta velocidade. Eossa definição de racionalidade di) #ue est tudo > para cru)ar a ruaX Tonge disso. rimeiro, poderia não ser racional cru)ar a rua dado essa se#uência de percepções não informativasH o risco de acidente ao cru)ar uma rua sem olhar para am$os os lados ( muito grande. Segundo, um agente racional deveria escolher a ação de *olhar+ antes de atravessar a rua, por#ue 11 de =1
olhar auda a maimi)ar a performance esperada. Fa)endo ações para modificar percepções futuras K algumas ve)es chamada de o(ten#$o de informa#.es K ( uma importante parte da racionalidade. 'm segundo eemplo de o$tenção de informações ( provido pela e/plora#$o #ue deve ser responsa$ilidade do agente aspirador de p7 em um am$iente inicialmente desconhecido. Eossa definição de agente racional não ( somente no sentido de o$ter informações, mas tam$(m de aprender tanto #uanto poss;vel a partir de suas percepções. agente pode ter algum conhecimento pr(vio do am$iente. !istem casos etremos em #ue o am$iente ( totalmente conhecido a priori, nestes casos, o agente não precisa perce$er ou aprenderI ele simplesmente age corretamente. $viamente, tais agentes são muito frgeis. Per eemplo do $esouro e da vespa na pgina Q9.
A nature$a dos am%ientes $specificando o am+iente de tarefas !m nossas discussões de racionalidade do simples agente aspirador de p7, n7s tivemos #ue especificar a medida de performance, o am$iente, os atuadores e sensores do agente. Bremos agrupar tudo isso so$re o t;tulo de am(iente de tarefas , onde definiremos a sigla !%S /erformance, !nvironment, %ctuators, Sensors, na primeira versão do livro era denominado %"! K ercepts, %ctions, "oals, !nvironment4 como descrição do am$iente. !m proeto de agentes, o primeiro passo ( sempre especificar o am$iente tão completo #uanto poss;vel. mundo do aspirador foi um eemplo muito simplesI vamos considerar um pro$lema mais compleoH um motorista automtico de ti. % figura =.O resume a descrição !%S para o am$iente do ti. 'ipo de Agente
Medidas de 0erformance 0erformance Measure
Am(iente 3nvironment
Atuadores Actuators
ensores ensors
Gi Seguro, rpido, legal, viagem Auas, trfego, Direção, acelerador, CJmeras, sonar, automati)ado confortvel, maimi)ar pedestre, clientes fr(io, setas, $u)ina, veloc;metro, "S, lucros painel od7metro, medidor de aceleração, sensores no motor, teclado
Figura =.O
!%S para o am$iente de tarefa de um ti automati)ado
rimeiro, #ual ( a medida de performance #ue gostar;amos #ue nosso ti aspireX Zualidades deseveis incluem pegar o destino corretoI minimi)ar consumo de com$ust;vel e desgasteI minimi)ar tempo de viagem eUou custoI minimi)ar violações de leis de trJnsito e pertur$ações a outros motoristasI maimi)ar a segurança e conforto do passageiroI maimi)ar os lucros. $viamente, alguns desses o$etivos conflitam, logo, eistirão trocas envolvidas. !m seguida, #ual ( o am$iente #ue o ti ir encararX Zual#uer motorista de ti deve tratar com uma variedade de ruas, desde vielas rurais e $ecos ur$anos a autoestradas. %s ruas cont(m outros trfegos, pedestres, animais de$andados, ruas em o$ras, carros de pol;cia, poças e $uracos. ti deve tam$(m interagir com potenciais e atuais passageiros. !istem tam$(m algumas escolhas opcionais. ti pode precisar operar na Calif7rnia do Sul, onde neve ( um pro$lema rar;ssimo, ou no %lasca, onde constantemente (. !le pode sempre dirigir pela direita, mas pode ser fle;vel para dirigir pela es#uerda #uando estiver no Rapão ou "rã8retanha. $viamente, #uanto mais restrito o am$iente, mais fcil de proetar uma solução. s atuadores dispon;veis em um ti automati)ado serão #uase os mesmos dos dispon;veis para um motorista humanoH controle so$re o motor atrav(s do acelerador e controle so$re a direção e frenagem. %dicionalmente, ele necessitar de uma sa;da para uma tela ou sinteti)ador de vo) para falar com os passageiros, e talve) alguma forma de se comunicar com outros ve;culos, 1= de =1
educadamente. ara alcançar seus o$etivos no am$iente, o ti necessitar conhecer onde ele est, o #ue mais h na rua, e a velocidade #ue ele est indo. Seus sensores $sicos podem então incluir uma ou mais cJmeras de GP controlveis, um veloc;metro e um odmetro. !le pode ter um "S para dar informações precisas de seu posicionamento e sensores de infravermelho ou sonares para detectar a distJncia de outros carros ou o$stculos. Finalmente, ele precisa de um microfone ou teclado para os passageiros re#uisitarem um destino. Ea figura =.3 temos um es$oço dos elementos !%S $sicos para diversos outros tipos de agentes. De fato, o #ue importa ( a compleidade do relacionamento entre o comportamento do agente, a se#uência de percepções geradas pelo am$iente e a medida de performance. %lguns am$ientes reais são muito simples. or eemplo, um ro$ proetado para inspecionar peças vindas por uma esteira rolante pode fa)er algumas suposições simplesH #ue as Nnicas coisas vindas pela esteira são peças #ue ele conhece e #ue eistem apenas duas ações /aceitar ou reeitar4. 'ipo de Agente
Medidas de 0erformance 0erformance Measure
Am(iente 3nvironment
Atuadores Actuators
ensores ensors
Sistema de diagn7stico m(dico
SaNde do paciente, aciente, hospital, Mostrar #uestões, !ntrada dos sintomas minimi)ar custos, causas e#uipe m(dica testes, diagn7sticos, por teclado, respostas do tratamentos, paciente, pes#uisa orientação
Sistema de anlise de imagem de sat(lite
Categori)ação correta da Do?nlin: a partir do Mostrar %rras de piels de imagem sat(lite em 7r$ita categori)ação da cena cores
Ao$ coletor ercentual de partes na !steira rolante com 8raço articulado e CJmera, sensores de partes caia correta partesI caias mão Jngulo articulado
de
Controlador de Maimi)ar pure)a, Aefinaria, operadores Plvulas, $om$as de Gemperatura, pressão, refinaria produção, segurança gua, a#uecedores, sensores #u;micos telas Gutor de inglês Maimi)ar a pontuação de Conunto de Mostrar eerc;cios, !ntrada pelo teclado interativo estudantes em testes estudantes, agência de sugestões, correções testes
Figura =.3
!emplos de tipos de agentes e suas descrições !%S
!m contraste, alguns agentes de soft4are /soft?ares ro$s ou sof(ots 4 eistem em dom;nios ricos e ilimitados. Bmagine um soft$ot proetado para voar em um simulador de voo. simulador ( muito detalhado, o am$iente compleo inclui outros aviões e operações em terra, e o agente de soft?are deve escolher uma ação, a partir de uma ampla variedade de ações, em tempo real. u imagine um sof$ot proetado para scanear fontes de not;cias na internet e mostrar itens de interesse para seus clientes. ara fa)er isso $em, ele necessitar de ha$ilidades de processamento de linguagem natural, aprender os interesses de cada cliente e mudar os planos dinamicamente K por eemplo, #uando a coneão para um fonte de not;cias cai ou #uando outra se torna online.
Propriedades dos am+ientes de tarefa % faia de am$ientes #ue podem surgir em B% ( o$viamente vasta. E7s podemos, todavia, identificar um suficiente pe#ueno nNmero de dimensões em #ue o am$iente pode ser categori)ado. •
'otalmente o(serv&vel / parcialmente o(serv&vel acessível / inacessível H se o sensor
1Q de =1
•
do agente tem acesso completo ao estado do am(iente o tempo todo , conseguindo o$servar todos os aspectos relevantes para escolher uma ação a eecutar, assim, o am$iente ( completamente o$servvel, sendo #ue relevJncia depende das medidas de performance. 'm am$iente pode ser parcialmente o$servvel devido a ru;do ou sensores não acurados ou parte do estado do am$iente #ue esteam faltando por eemplo, o agente aspirador de p7 com apenas um sensor de sueira local não pode di)er se h sueira em outros #uadrados, e um ti automati)ado não pode sa$er o #ue outros motoristas estão pensando. Determinístico / estoc&stico determinístico / n$o determinístico H e o pr)/imo estado do am(iente * completamente determinado pelo estado atual e a#.es e/ecutadas pelo agente , ent$o podemos di%er "ue o am(iente * determinístico, ou se5a, previsível6 sen$o, * estoc&stico . !m princ;pio, um agente não precisa se preocupar so$re incerte)as em
•
•
um am$iente determin;stico e completamente o$servvel. Se o am$iente ( parcialmente o$servvel, todavia, ele pode parecer ser estocstico. Motorista de ti ( claramente estocstico, por#ue ele não pode predi)er o comportamento do trfego, al(m do mais, um pneu pode estourar. mundo do aspirador de p7, como descrevemos, ( determin;stico, mas variações podem incluir elementos estocsticos como aparecimento randmico de sueira e um mecanismo de sucção não confivel. Se o am$iente ( determin;stico, eceto pelas ações de outros agentes, di)emos #ue o am$iente ( estrat*gico. 3pis)dico / se"uencial epis)dico / n$o epis)dicoH em um am(iente epis)dico, a e/peri-ncia do agente * dividida em epis)dios at7micos . Cada epis7dio consiste da percepção do agente e reali)ação de uma Nnica ação. Crucialmente, o pr)/imo epis)dio n$o depende de a#.es reali%adas em epis)dios anteriores . !m um am$iente epis7dico, a escolha de uma ação depende somente do pr7prio epis7dio. 'm agente para apontar peças defeituosas em uma linha de montagem $aseia cada decisão somente na peça atual, sem se preocupar com decisões anteriores, e a decisão atual não afeta decisões futuras. 3m am(ientes se"uenciais, a decis$o atual pode afetar todas as decis.es futuras . Vadre) e um motorista de ti são se#uenciaisH em am$os os casos, ações de curto pra)o podem ter conse#uências de longo pra)o. Am(ientes epis)dicos s$o mais simples por"ue o agente n$o tem "ue pensar a frente, ou se5a, n$o tem "ue pensar nas conse"u-ncias futuras de suas a#.es, apenas nas conse"u-ncias da a#$o atual . 3st&tico / din8mico9 e o am(iente pode mudar en"uanto o agente est& deli(erando, podemos di%er "ue ele * din8mico, sen$o, * est&tico . %m$ientes estticos são mais fceis
de lidar pois o agente não precisa ficar o$servando o mundo en#uanto est decidindo uma ação a eecutar, nem precisa se preocupar com a passagem do tempo. %m$ientes dinJmicos, por outro lado, estão continuamente perguntando ao agente o #ue ele #uer fa)erI se ele não decidiu ainda, isto conta como se tivesse decidido por fa)er nada. e o am(iente n$o muda com a passagem do tempo mas a performance do agente sim, ent$o di%emos "ue ele * semi!din8mico. Dirigir um ti ( claramente dinJmico. Vadre), #uando ogado com um
rel7gio, ( semidinJmico. Rogos de palavras cru)adas são estticos. •
Discreto / continuo9 :m am(iente discreto, como o 5ogo de /adre%, tem um con5unto finito de estados, al*m de um discretofinito con5unto de percep#.es e a#.es . Dirigir um
ti ( um pro$lema de estados, ações e tempo cont;nuos. •
Agente ;nico / multi agente9 :m 5ogo de palavras cru%adas * claramente de apenas um agente, 5& o /adre% * um am(iente de 2 agentes< =adre% * um am(iente multi agente competitivo< No am(iente do t&/i, evitar colis.es ma/imi%a a performance de todos os agentes, logo ele * um am(iente multi agente parcialmente cooperativo, al*m de parcialmente competitivo, por e/emplo, competindo por vagas de estacionamento e passageiros.
Como podemos esperar, o mais dif;cil caso ( parcialmente o$servvel, estocstico, 1O de =1
se#uencial, dinJmico, cont;nuo e multi agente. % figura =.L lista algumas propriedades de diversos am$ientes. %lgumas podem variar de acordo com a forma #ue o am$iente foi definido e a especificidade com a #ual desease implementar a solução. or eemplo, muitos am$ientes são epis7dicos em um n;vel mais alto do #ue as ações individuais do agente, como em um torneio de adre), #ue consiste de uma se#uência de ogos, onde cada ogo ( um epis7dio, assim, a contri$uição de um movimento em um ogo para a performance geral do agente não ( afetada pelos movimentos no ogo anterior. or outro lado, decisões feitas em um Nnico ogo são certamente se#uenciais. Am(iente
>(serv&vel
Determinístico
3pis)dico
3st&tico
Discreto
Agentes
alavras cru)adas
Gotalmente
Determin;stico
Se#uencial
!sttico
Discreto
Single
Vadre) com rel7gio
Gotalmente
!strat(gico
Se#uencial
SemiDinJmico Discreto
Multi
Dirigir ti
arcialmente
!stocstico
Se#uencial
DinJmico
Cont;nuo
Multi
Diagn7stico m(dico
arcialmente
!stocstico
Se#uencial
DinJmico
Cont;nuo
Single
%nlise de imagens
Gotalmente
Determin;stico
!pis7dico
SemiDinJmico Cont;nuo
Single
Ao$ coletor de partes
arcialmente
!stocstico
!pis7dico
DinJmico
Cont;nuo
Single
Controlador de Aefinaria
arcialmente
!stocstico
Se#uencial
DinJmico
Cont;nuo
Single
Gutor de inglês interativo
arcialmente
!stocstico
Se#uencial
DinJmico
Discreto
Multi
Figura =.L
!emplos de am$ientes e suas caracter;sticas
A estrutura de agentes tra$alho da B% ( proetar o programa do agente #ue implementa a função de agente mapeando percepções para ações. E7s assumimos #ue este programa rodar em algum tipo de dispositivo computacional com sensores f;sicos e atuadores, o #ue chamamos de ar"uiteturaH agente [ ar#uitetura \ programa. $viamente, o programa #ue escolhemos deve ser apropriado para a ar#uitetura, #ue pode ser um C comum ou um carro ro$ com muitas cpu]s, cJmeras e outros sensores. !m geral, a ar#uitetura fa) as percepções para o programa a partir dos sensores, roda o programa e alimenta as escolhas de ações do mesmo para os atuadores.
Programas de agente programa do agente #ue proetaremos ter o mesmo s:eletonH ele pega as percepções atuais como entradas a partir de sensores e retorna uma ação para os atuadores. Eote a diferença entre o programa do agente, #ue toma a percepção atual como entrada, e a função de agente, #ue toma todo o hist7rico de percepções. programa do agente toma apenas a percepção atual como entrada pois nada mais ( disponi$ili)ado pelo am$ienteI se as ações do agente dependem de toda a se#uência de percepções, ele deve arma)enar as percepções. or eemplo, a figura =.9 mostra um programa de agente realmente trivial, #ue fica de olho na se#uência de percepções e então as usa para indear uma ta$ela de ações para decidir o #ue fa)er. % ta$ela representa eplicitamente a função de agente #ue o programa do agente incorpora. ara construir um agente racional desta forma, precisamos construir uma ta$ela #ue contenha as ações apropriadas para cada se#uência de percepções poss;vel.
13 de =1
Y instrutivo considerar por#ue uma proposta $aseada em ta$elas para construção de agentes ( condenada a falhar. Considere um ti automticoH a entrada visual a partir de uma Nnica cJmera vem na faia de grosseiramente, =9M$ps /Q@ framesUs, LO@O2@ piels com =O $its de informação de cor4. Bsto d uma ta$ela com cerca de 1@ =3@.@@@.@@@.@@@entradas para uma hora de direção. %t( uma ta$ela para adre) poderia ter 1@13@ entradas. nNmero de tomos em um universo o$servvel ( menos #ue 1@2@. %pesar disto, um agente dirigido por ta$elas fa) o #ue #ueremosH implementa a função desevel de agente. desafio chave para B% ( encontrar como escrever programas #ue, para uma etensão poss;vel, produ)am comportamento racional a partir de uma #uantidade pe#uena de c7digo no lugar de um grande nNmero de entradas de ta$ela.
s tipos $sicos de programas de agentes, #ue incorporam os princ;pios su$acentes de #uase todos os sistemas inteligentes sãoH •
Agentes refle/ivos simplesH tipo mais simples de agente, #ue selecionam ações com $ase
na percepção atual, ignorando o resto do hist7rico de percepções. or eemplo, o agente aspirador de p7, pois suas decisões são $aseadas somente na locali)ação atual e se l h sueira. 'm programa para esse agente ( mostrado na figura =.2. Bmagine você dirigindo um carro. Se a lu) de freio do carro da frente acende, você nota isto e começa a frenar. !m outras palavras, alguns processamentos são feitos em entradas visuais para esta$elecer a condição #ue chamamos * carro na frente est parando+. !ntão, isto dispara alguma coneão esta$elecida no programa do agente para a ação *iniciar frenagem+. E7s chamamos tal coneão de regra de condi#$o!a#$o , escrita comoH if carinfrontis$ra:ing then initiate$ra:ing. 0umanos tem muitas coneões, algumas das #uais são aprendidas /como dirigir4 e outras 1L de =1
#ue são refleos natos /como piscar4. programa da figura =.2 ( espec;fico para um am$iente particular. 'ma proposta mais gen(rica e fle;vel ( primeiro construir um interpretador de prop7sito geral para regras de condiçãoação e então criar um conunto de regras para um am$iente espec;fico. % figura =. d a estrutura desse programa geral em uma forma es#uemtica, mostrando como as regras de condiçãoação permitem ao agente fa)er coneões de percepções para ações. programa do agente ( mostrado na figura =.1@.
•
Agentes refle/ivos (aseados em modelos H % forma mais efetiva de gerenciar am$ientes
parcialmente o$servveis ( manter estados internos #ue depende do hist7rico de percepções, e com isso, temse informações de estado da rea parcialmente o$servvel do am$iente. %tuali)ar esta informação com o tempo re#uer #ue dois tipos de conhecimento seam codificados no programa do agente. rimeiro, precisamos de informações de como o mundo evolui, independentemente do agente. Segundo, precisamos de algumas informações so$re como as ações do agente afetam o mundo. !ste conhecimento do mundo ( chamado de modelo do mundo. 'm agente #ue usa tal modelo ( chamado de agente $aseado em modelo. % figura =.11 d a estrutura de um agente refleivo com estado interno, mostrando como a percepção atual ( com$inado com um estado interno antigo para gerar a descrição atuali)ada do estado atual. programa do agente ( mostrado na figura =.1=.
19 de =1
•
Agentes (aseados em o(5etivoH Conhecer o estado atual do am$iente não ( sempre
suficiente para decidir o #ue fa)er. or eemplo, em uma unção de ruas, o ti pode virar & es#uerda, & direita ou ir em frente. % decisão correta depende de onde ele est tentando chegar, ou sea, al(m da descrição do estado atual, o agente precisa de algum tipo de informação de o$etivo #ue descreva situações #ue são deseveis K por eemplo, o destino do passageiro. agente pode com$inar isso com o resultado de poss;veis ações para poder escolher ações #ue alcancem seus o$etivos. % figura =.1Q mostra a estrutura deste tipo de agente.
Eote #ue tomar decisões desse tipo ( fundamentalmente diferente das regras de condição-ação descritas anteriormente, pois envolvem considerações so$re o futuro como * #ue acontecer se eu fi)er isto e istoX+ e *Bsto me far feli)X+. Eo proeto de agentes refleivos, esta informação não ( eplicitamente representada, por#ue as regras em$utidas 12 de =1
mapeiam diretamente percepções para ações. !m$ora um agente $aseado em o$etivo pareça menos eficiente, ele ( mais fle;vel pois o conhecimento #ue suporta suas decisões ( representado eplicitamente e pode ser modificado. Se começar a chover, o agente pode atuali)ar seu conhecimento de como efetivamente seu freio ir operarI isto automaticamente far com #ue todos os comportamentos relevantes seam alterados para se ade#uarem &s novas condições. ara um agente refleivo, por outro lado, n7s podemos ter #ue reescrever muitas regras de condiçãoação. comportamento do agente $aseado em o$etivo pode facilmente ser alterado para ir a um local diferente. %s regras do agente refleivo para #uando virar e #uando ir em frente funcionam somente para um Nnico destinoI elas devem ser todas su$stitu;das para ir a #ual#uer lugar novo. •
Agentes (aseados em utilidade no sentido de ser ;til H $etivos so)inhos não são
realmente suficientes para gerar comportamento de alta #ualidade na maioria dos am$ientes. or eemplo, eistem muitas se#uências de ações #ue levariam o ti ao seu destino /desta forma, alcançando seu o$etivo4 mas algumas são mais rpidas, seguras e confiveis, ou mais $aratas #ue outras. $etivos apenas proveem uma distinção $inria crua entre os estados *feli)+ e *infeli)+, en#uanto uma medida de performance mais geral pode permitir uma comparação de diferentes estados do mundo de acordo com eatamente #uão feli) eles podem fa)er o agente e se eles podem ser alcançados. Devido *feli)+ não soar muito cient;fico, uma terminologia costumeira ( di)er #ue um estado ( prefer;vel do #ue outro, então ele tem maior utilidade para o agente. % figura =.1O mostra a estrutura deste tipo de agente. % função de utilidade mapeia estados /ou uma se#uência de estados4 em nNmeros reais, #ue descrevem o associado grau de felicidade. 'ma completa especificação da função de utilidade permite decisões racionais de dois tipos de casos onde os o$etivos são inade#uados. rimeiro, #uando eistem o$etivos conflitantes, somente um dos #uais pode ser alcançado /por eemplo, velocidade e segurança4, a função de utilidade especifica a troca apropriada. Segundo, #uando eistem muitos o$etivos #ue o agente pode mirar, e nenhum dos #uais pode ser alcançado com certe)a, a utilidade provê uma forma em #ue a pro$a$ilidade de sucesso pode ser ponderada contra a importJncia dos o$etivos. 'm agente #ue possui uma epl;cita função de utilidade pode tomar decisões racionais.
1 de =1
Aprendi2ado de agentes !m um famoso paper anterior, Guring /13@4 considerou a id(ia de programar sua m#uina inteligente & mão. m(todo #ue ele props ( para construir m#uinas de aprendi)agem e então ensinlas. !m muitas reas de B%, isto ( atualmente o m(todo preferido para criação de sistemas no estado da arte. %prendi)ado tem outra vantagemH permite ao agente operar em um am$iente inicialmente desconhecido e se tornar mais competente #ue seu conhecimento inicial so)inho poderia permitir. 'm aprendi)ado de agente pode ser dividido em #uatro componentes conceituais, como mostra a figura =.13. % mais importante distinção ( entre o elemento de aprendi%agem, #ue ( responsvel por fa)er melhorias, e o elemento de performance , #ue ( responsvel por selecionar ações eternas. elemento de performance ( o #ue n7s temos previamente considerado ser o agente inteiroH ele toma as percepções e decide em ações. elemento de aprendi)agem usa feed$ac:s a partir da crítica de como o agente est agindo e determina como o elemento de performance deve ser modificado para operar melhor no futuro.
proeto do elemento de aprendi)agem depende muito do proeto do elemento de performance. Zuando tentamos proetar um agente #ue aprende uma certa capacidade, a primeira #uestão não ( *Como vou coloclo para aprender istoX+ mas *Zue tipo de elemento de performance meu agente necessitar para fa)er isto uma ve) e aprender como fa)erX+. Dado um proeto de agente, mecanismos de aprendi)agem podem ser constru;dos para melhorar cada parte do agente. elemento ?crítica@ di) ao elemento de aprendi)agem #uão $em o agente est operando com respeito a um padrão de performance fio. % cr;tica ( necessria por#ue as percepções por elas mesmas não proveem indicação do sucesso do agente. Nltimo componente do aprendi)ado do agente ( o gerador de pro(lemas. !le ( responsvel por sugerir ações #ue irão guiar para novas e informativas eperiências. ponto ( #ue, se o elemento de performance tem sua forma, ele pode continuar fa)endo as ações #ue são melhores, dado o #ue ele conhece. Mas se o agente est deseando eplorar um pouco, e fa)er talve) algumas ações opcionais num curto pra)o, ele pode desco$rir muito melhores ações a longo pra)o. tra$alho do gerador de pro$lemas ( sugerir estas ações eplorat7rias. =@ de =1
ara tornar todo o proeto mais concreto, vamos retornar ao eemplo do ti automati)ado. elemento de performance consiste de ignorar coleções de conhecimento e procedimentos #ue o ti tem para selecionar suas ações de direção. ti vai a rua e dirige, usando seu elemento de performance. % cr;tica o$serva o mundo e passa informações para o elemento de aprendi)agem. or eemplo, depois #ue o ti fa) uma virada rpida & es#uerda entre três ruas de grande trfego, a cr;tica o$serva a linguagem chocante dos outros motoristas. % partir desta eperiência, o elemento de aprendi)agem ( capa) de formular uma regra di)endo #ue a#uilo foi uma ação ruim, e o elemento de performance ( modificado instalando a nova regra. gerador de pro$lemas pode identificar certas reas de comportamento necessitando de melhoria e sugerir eperimentos, tal como tentar parar em ruas de diferentes superf;cies, so$re diferentes condições de tempo. elemento de aprendi)agem pode fa)er mudanças para #ual#uer componente de *conhecimento+ mostrado no diagrama do agente /figuras =., =.11, =.1Q e =.1O4. caso mais simples envolve aprender diretamente a partir de se#uências de percepções. $servações de pares de sucessivos estados do am$iente podem permitir #ue o agente aprenda *como o mundo evolui+ e o$servações dos resultados de suas ações podem permitir ao agente aprender *o #ue minhas ações fa)em+. or eemplo, se um ti eerce uma certa pressão de frenagem en#uanto dirigindo em uma rua molhada, então ele ir em $reve encontrar #uanto de desaceleração ele ir alcançar.
3esumo •
•
•
•
•
•
'm agente ( alguma coisa #ue perce$e e age no am$iente. % fun#$o de agente para um agente especifica a ação tomada por um agente em resposta a #ual#uer se#uência de percepções. % medida de performance avalia o comportamento do agente no am$iente. 'm agente racional age para maimi)ar o valor esperado da medida de performance, dada a se#uência de percepções #ue ele vê. 'ma especificação de am(iente inclui uma medida de performance, o am$iente eterno, os atuadores e os sensores. roetando um agente, o primeiro passo deve sempre ser especificar o am$iente tão completamente #uanto poss;vel. %m$ientes variam ao longo de vrias dimensões significantes. !les podem ser completamente ou parcialmente o$servveis, determin;sticos ou estocsticos, epis7dicos ou se#uenciais, estticos ou dinJmicos, discretos ou cont;nuos e de Nnico agente ou multi agente. programa do agente implementa a função do agente. Agentes refle/ivos simples respondem diretamente a percepções, en#uanto um agente refle/ivo (aseado em modelo mantem um estado interno para rastrear aspectos do mundo #ue não são evidentes na percepção atual. Agentes (aseados em o(5etivo agem para alcançar seus o$etivos, e agentes (aseados em utilidade tentam maimi)ar suas pr7prias
epectativas de *felicidade+. •
Godos os agentes podem melhorar suas performance atrav(s de aprendi%ado.
=1 de =1
