resumo-cap-1-e-2-artificial-intelligence-russel-and-norvig.pdf

Resumo Artificial Intelligence Intelligence – A Modern Approach, Russel and Norvig Capítulos 1 e 2 Disciplina de istemas Multi!agentes Multi!agentes Manoel Campos da Silva Filho

O que é IA? Definições de inteligência artificial são mostradas na figura 1.1, de acordo com oito livros teto. !stas definições variam ao longo de duas principais dimensões. "rosseiramente, as no topo são preocupadas com processos de pensamento e raciocínio, en#uanto as de $aio endereçam a comp compor orta tamen mento to.. %s defin definiç ições ões & es#ue es#uerd rdaa mede medem m suce sucesso sso em term termos os de fide fideli lida dade de para para a performance humana, en#uanto as da direita medem contra um conceito ideal de inteligência, #ue chamarem chamaremos os de racionalidade. 'm sistema ( racional se ele fa) a *coisa certa+, dado o #ue ele sa$e. istemas "u "ue pe pensam co como hu humanos

istemas "u "ue pe pensam ra racionalmente

* ecitante novo esforço para fa)er * estudo de faculdades mentais por meio do comp comput utad ador ores es pens pensar arem em - m#u m#uin inas as com com uso de modelos computacionais.+ /Charnia: e mentes, es, no sent entido litera eral e completo eto.+ McDermott, 1234 /0augeland, 1234 *5% automaçã ação de6 atividades #ue n7s * estudo de computações #ue fa)em poss;vel associamos com pensamento humano, atividades perce$er, raciocinar e agir.+ /
istemas "ue agem racionalmente

*% arte de criar m#uinas #ue reali)am funções *Bntel *Bnteligê igênc ncia ia Comp Comput utaci acion onal al ( o estu estudo do do #ue re#uerem inteligência #uando reali)adas por proeto de agentes inteligentes.+ /oole et al., pessoas.+ />ur)?eil, 1@4 124 * estu studo de como fa)er )er computad tadores *B% ...( preocupada comportamento inteligente reali)arem reali)arem coisas em #ue, no momento, momento, pessoas pessoas em artefatos.+ /Eilssom, 124 são melhores.+ /Aic: e >night, 114 Figura 1.1  %lgumas definições de inteligência artificial, organi)adas em #uatro categorias 0istoricamente todas as #uatro propostas têm sido seguidas. Como algu(m pode esperar, uma tensão eiste entre propostas centradas ao redor de humanos e propostas centradas ao redor de racionalidade /não estamos di)endo #ue humanos são irracionais no sentido de *emocionalmente instveis+ ou *insanos+, apenas #ue não somos perfeitos4. 'ma proposta centrada em humanos deve ser uma ciência emp;rica, envolvendo hip7teses e confirmações eperimentais. 'ma proposta racionalista envolve uma com$inação de matemtica e engenharia.

1 de =1

Agir humanamente: A proposta do Teste de Turing  Geste de Guring, proposto por %lan Guring /13@4, foi proetado para prover uma definição satisfat7ria de inteligência. 'm computador passa no teste se um humano interrogador, depois de colocar algumas #uestões escritas, não puder di)er se as respostas escritas são de uma pessoa ou não. 'm computador, para passar no teste, precisa ter as seguintes capacidadesH •

representa#$o representa#$o de conhecimento para arma)enar o #ue ele sa$e ou ouveI

•

raciocínio raciocínio automati automati%ado %ado para usar a informação arma)enada para responder #uestões e

para tirar novas conclusõesI •

aprendi%ado de m&"uina para se adaptar & novas circunstJncias e para detectar e etrapolar

padrões.  chamado 'este 'otal de 'uring re#uer do computador outras capacidades comoH •

vis$o computacional computacional para perce$er o$etos, e

•

ro()tica  para manipular o$etos.

Pensar humanamente: A proposta de modelagem cognitiva Se formos di)er #ue um programa pensa como um humano, precisamos de alguma forma de determinar como humanos pensam. recisamos estar por dentro do funcionamento da mente humana. !istem duas formas de fa)er istoH atrav(s de introspecção K tentando pegar nossos pr7prios pr7prios pensamentos pensamentos a medida #ue eles surgem K e atrav(s de eperimentos eperimentos psicol7gicos. psicol7gicos. 'ma ve) #ue temos uma teoria precisa o suficiente so$re a mente, se torna poss;vel epressar essa teoria como como um prog progra rama ma de comp comput utad ador or.. Se as entr entrad adas as e sa;d sa;das as do prog progra rama ma e o temp tempoo dos dos comportamentos correspondem com comportamentos humanos, ( evidente #ue alguns mecanismos de programas podem tam$(m estar operando em humanos. or eemplo, %llen Ee?ell e 0er$ert Simon, #ue desenvolveram o "S, o "eneral ro$lem Solver /1L14 não estavam contentes #ue seu programa resolvesse pro$lemas corretamente, eles #ueriam comparar os passos do seu racioc;nio com os de como um humano resolve o mesmo pro$lema.

Pensar racionalmente: A proposta das “leis do pensamento”  fil7sofo grego %rist7teles foi um dos primeiros a tentar codificar o *pensamento correto+, #ue (, irrefutavelmente, o processo de racioc;nio. Seu silogismo provê padrões para estruturas de argumentos #ue sempre produ)em conclusões corretas #uando dadas corretas premissas K por eemplo, *S7crates ( um homem+I todos os homens são mortaisI logo, S7crates ( mortal+. !stas leis de pensamento eram supostas por governar a operação da menteI seu estudo iniciou o campo chamado l)gica.

Agir racionalmente: A proposta de agente racional 'm agente ( apen apenas as algo #ue #ue age age /agen /agente te vem do latim latim agere, fa)er4. Mas agentes de computador computador são esperados por terem outros outros atri$utos atri$utos #ue distinguem distinguem eles de meros programas, tal como como oper operan ando do so$r so$ree cont control rolee autn autnom omo, o, perce perce$e $end ndoo seu am$i am$ien ente, te, persi persisti stind ndoo so$r so$ree um prologando per;odo de tempo, se adaptando & mudanças e sendo capa) de pensar em outros = de =1

o$etivos. 'm agente racional ( um #ue age de forma a alcançar o melhor resultado ou, #uando em incerte)a, o melhor resultado esperado. Ea proposta das *leis do pensamento a enfase foi em inferências corretas. Fa)endo corretas inferências ( algumas ve)es parte de ser um agente racional, devido uma forma de agir racionalmente ( raciocinar logicamente para a conclusão #ue uma dada ação ir alcançar um o$etivo e então agir na conclusão. or outro lado, inferências corretas não são tudo de racionalidade, devido eistirem fre#uentemente ações onde não h uma coisa provavelmente correta a fa)er, mas alguma coisa deve ser feita. !istem tam$(m formas de agir racionalmente #ue não podem envolver inferência. or eemplo, se afastar de um forno #uente ( uma ação de refleo #ue tem normalmente mais sucesso #ue uma ação mais lenta tomada depois de cuidadosa deli$eração.

As Fundações da Inteligência Artificial % B% se fundamente em diversas reas do conhecimento, como mostrado a seguir.

Neurociência Chips de computador podem eecutar instruções em nanosegundos, en#uanto neurnios são milhões de ve)es mais lentos. % lei de Moore di) #ue o nNmero de transistores por polegada #uadrada do$ra a cada 1 ou 1,3 ano. % capacidade do c(re$ro humano do$ra grosseiramente a cada = a O milhões de anos.

Filosofia >enneth Crai: especificou os três passos chaves de um agente $aseado em conhecimento /D!FBEBA %"!EG! 8%S!%D !M CE0!CBM!EG4H 14 o est;mulo deve ser tradu)ido em representações internas, =4 a representação ( manipulada pelo processo cognitivo /D!FBEBA C"EBGBP4 para derivar novas representações internas, e Q4 estes são por sua ve), retradu)idos de volta em ação. !le claramente eplicou por #ue isso era um $om proeto para um agenteH Se o organismo transporta um “modelo de pequena escala” de realidade externa e de suas próprias possíveis ações dentro de sua cabeça, ele é capaz de tentar vrias alternativas, concluir qual é a melhor delas, reagir a situações !uturas antes que elas sur"am, utilizar o conhecimento de eventos passados tratando com o presente e o !uturo, e em cada !orma de reagir de uma muito mais completa, segura e mais competente maneira # emerg$ncias com as quais ele encara%

Engenharia de Computação  primeiro computador eletrnico, o %8C, foi montado por Rohn %tanasoff e seu estudante Clifford 8err entre 1O@ e 1O= na universidade estadual de Bo?a. Sua pes#uisa rece$eu pouco suporte e reconhecimentoI foi o !EB%C, desenvolvido como parte de um proeto militar secreto na universidade de ennslvania pelo time incluindo Rohn Mauchl e Rohn !c:ert, #ue provou ser o mais influente precursor dos computadores modernos. Ea metade do s(culo, desde então, cada geração de hard?are de computador tem tra)ido um aumento na velocidade e capacidade e redu)ido no preço. erformance do$ra a cada 12 meses ou mais, com uma d(cada ou duas nesta taa de crescimento. Depois disto, n7s precisaremos de engenharia molecular ou alguma outra nova tecnologia. Q de =1

% m#uina anal;tica de Charles 8a$$age /19=12914 foi de longe a mais am$iciosaH ele inclu;a mem7ria endereçvel, programas arma)enados e pulos condicionais, e foi a primeira capa) de reali)ar computação universal. % colega de 8a$$age, %da Tovelace, foi talve) a primeira programadora do mundo /a linguagem de programação %da foi nomeada depois dela4. % B% tem pioneiri)ado muitos tra$alhos na rea de ciência da computação, como time sharing, interpretadores interativos, computadores pessoais com anelas e mouse, am$ientes de desenvolvimento rpido de aplicações /Aapid %pplication Development Gools K A%D Gools4, tipos de dados de listas encadeadas, gerenciamento automtico de arma)enamento e conceitos chaves de programação sim$7lica, funcional, dinJmica e orientada a o$etos.

Teoria do controle e cibernética Tingu;stica moderna e B%, *nasceram+ ao mesmo tempo, e cresceram untas, tendo intersecção em um campo h;$rido chamado linguística computacional ou processamento de linguagem natural.  pro$lema de se entender linguagem em $reve se tornou consideravelmente mais compleo do #ue parecia ser em 139. !ntender linguagem re#uer um entendimento do assunto e conteto, não apenas entender da estrutura das sentenças. Bsto pode parecer 7$vio, mas não era amplamente apreciado at( a d(cada de 1L@. Muito dos tra$alhos anteriores em representação do conhecimento /o estudo de como colocar o conhecimento em uma forma #ue o computador possa raciocinar so$re ele4 foi ligado a linguagem e informado pes#uisas em lingu;stica, #ue foi conectado por sua ve), a d(cadas de tra$alho de anlise filos7fica de linguagem.

A história da Inteligência Artificial

A gestação da inteligência artificial  primeiro tra$alho #ue ( hoe geralmente reconhecido como B% foi feito por
O de =1

O nascimento da IA (1!"# rinceton foi a casa de outra figura influente em B%, Rohn McCarth. Depois da graduação foi para o Dartmouth College, #ue se tornou o local oficial de nascimento da rea de B%.

$ntusiamo anterior% grandes e&pectativas (1!'1"# Sucessos anteriores de Ee?ell e 0er$ert Simon foram seguidos do "eneral ro$lem Solver ou "S. Diferente da T7gica Georista, este programa foi proetado no in;cio para imitar os protocolos humanos de resolução de pro$lemas. Dentro de uma limitada classe de ogosU#ue$ra ca$eças #ue ele podia manipular, ele revelou #ue a ordem em #ue o programa considerava su$ o$etivos e poss;veis ações era semelhante &#uela em #ue o homem a$ordava os mesmos pro$lemas. %ssim, o programa "S foi provavelmente o primeiro a incorporar a proposta do *pensar humanamente+.  sucesso do "S e programas su$se#uentes como modelos de cognição guiaram Ee?ell e Simon /19L4 para formular a famosa hip7tese do sistema de sím(olos físicos, #ue afirma #ue *um sistema de s;m$olo f;sico tem os meios necessrios e suficientes para ações inteligentes gerais+.  #ue eles #uiseram di)er ( #ue #ual#uer sistema /homem ou m#uina4 ei$indo inteligência devem operar pela manipulação de estruturas de dados compostas de s;m$olos. Rohn McCarth foi de Dartmouth para o MBG e l fe) Q cruciais contri$uições em um ano hist7rico de 132H definiu a linguagem de alto n;vel chamada Tisp, #ue se tornou a linguagem dominante para programação de B%. Tisp ( a segunda mais velha linguagem de alto n;vel em uso, um ano mais nova #ue FAGA%E. Com Tisp, McCarth tinha a ferramenta #ue precisava, mas acesso escasso e caro a recursos computacionais era um s(rio pro$lema. !m resposta, ele e outros no MBG invetaram o time sharing. Gam$(m em 132 ele pu$licou o artigo *rograms ?ith Common Sense+ em #ue ele descreveu o %dvice Ga:er /Gomador de Conselhos4, um programa hipot(tico #ue pode ser visto como o primeiro sistema de B% completo. Como a Georia T7gica e o rovador de Georemas "eom(tricos, o programa de McCarth foi proetado para usar conhecimento para encontrar soluções para pro$lemas. Mas diferente de outros, ele incorporou o conhecimento geral do mundo. or eemplo, ele mostrou como alguns aiomas /D!FBEBA %VBM%S4 simples poderiam permitir a programas gerarem um plano para dirigir at( o aeroporto.  programa foi proetado tam$(m para #ue possa aceitar novos aiomas durante o curso normal de operação, permitindo #ue ele alcance competência em novas reas sem ser reprogramado.  %dvice Ga:er então incorpora os princ;pios centrais de representação do conhecimento e racioc;nioH #ue ( Ntil ter uma representação epl;cita e formal do mundo, e da forma #ue as ações dos agentes afetam o mundo e ser capa) de manipular essas representações com processo dedutivos.

)ma dose de realidade Desde o in;cio, pes#uisadores de B% não eram t;midos em fa)er predições de seus pr7imos sucessos. Germos como *futuro vis;vel+ podem ser interpretados de vrias formas mas Simon tam$(m fe) uma predição mais concretaH #ue em 1@ anos um computador poderia ser campeão mundial de adre). 'ma t;pica hist7ria ocorrida no in;cio dos esforços de tradução de tetos por m#uina, #ue foram generosamente financiados pelo Conselho Eacional de es#uisa dos !'% na tentativa de agili)ar a tradução de artigos cient;ficos em russo, no fraco lançamento do Sputni: /nome do programa de lançamento de sat(lites artificiais da antiga 'ASS 'nião das AepN$licas Socialistas 3 de =1

Sovi(ticas4 em 139. Foi pensado inicialmente #ue seriam simples transformações sintticas $aseadas nas gramticas russa e inglesa, e su$stituição de palavras usando um dicionrio eletrnico, $astaria para preservar o eato significado das sentenças.  fato ( #ue a tradução re#uer conhecimento geral do assunto para resolver am$iguidades e esta$elecer o conteNdo da sentença.  segundo tipo de dificuldade foi a não intrata$ilidade de pro$lemas #ue a %B estava tentando resolver. Muitos dos primeiros programas de B% resolveram pro$lemas tentando diferentes com$inações de passos at( a solução ser encontrada. !sta estrat(gia funcionou inicialmente por#ue micro mundos continham pou#u;ssimos o$etos e portanto, pou#u;ssimas ações poss;veis e curt;ssimas se#uências de solução. %ntes da teoria de compleidade computacional ser desenvolvida, era amplamente pensado #ue resolver pro$lemas maiores era simplesmente uma #uestão de hard?are mais rpido e mais mem7ria.

*istemas +aseados em conhecimento: A chave do poder, (1"1-# % figura da resolução de pro$lemas #ue surgiu durante a primeira d(cada de pes#uisa em B% foi de um mecanismo de pes#uisa para fins gerais tentando untar passos elementares de racioc;nio para encontrar soluções completas. Gais propostas foram chamadas de m*todos fracos, pois, apesar de gerais, elas não funcionam para pro$lemas de maior escala. % alternativa para os m(todos fracos ( usar conhecimento de dom;nio espec;fico mais poderosos #ue permita maiores passos de racioc;nio e possa mais facilmente manusear tipicamente casos de ocorrência em estreitas reas de epertise. %lgu(m pode di)er #ue para resolver um pro$lema dif;cil, você precisa #uase  conhecer a resposta.  programa D!EDA%T foi um eemplo inicial desta proposta, #ue o$etivava resolver o pro$lema de inferência de estruturas moleculares a partir de informações providas por um espectrmetro de massa. !le foi significante pois foi o primeiro sistema de conhecimento intenso de sucessoH sua epertise derivava de um amplo nNmero de regras de prop7sito especial. Sistemas posteriores tam$(m incorporaram o principal tema da proposta do programa %dvice Ga:er de McCarth K a clara separação do conhecimento /na forma de regras4 do componente de racioc;nio. Com esta lição em mente, Feigen$aum e outros em Stanford iniciaram o 0euristic rogramming roect /04, para investigar a onde a nova metodologia de sistemas especialistas poderia ser aplicada para outras reas do conhecimento humano.  pr7imo maior esforço foi na rea de diagn7sticos m(dicos. Feigen$aum, 8uchanan e o Dr !d?ard Shortliffe desenvolveram o MWCBE para diagn7sticos de infecções sangu;neas. Com cerca de O3@ regras, o MWCBE era capa) de tra$alhar tão $em como um especialista, e consideravelmente melhor #ue um m(dico estagirio. !le tam$(m continha duas maiores diferenças do D!EDA%T. rimeiro, diferente das regras do D!EDA%T, não eistia nenhum modelo te7rico geral a partir do #ual as regras do MWCBE poderiam ser dedu)idas. !las tinham #ue ser ad#uiridas em etensas entrevistas com especialistas, #ue por sua ve) ad#uiriam em livros, outros especialistas e eperiência vividas. Segundo, as regras tinham #ue refletir as incerte)as associadas com o conhecimento m(dico.  MWCBE incorporou um clculo de incerte)as chamado fatores de certe%a , #ue pareciam /na (poca4 se ade#uar $em na forma como os m(dicos avaliavam o impacto de evidências no diagn7stico. % importJncia do dom;nio do conhecimento foi tam$(m evidente na rea da compreensão de linguagem natural.  crescimento generali)ado de aplicações para pro$lemas do mundo real causaram um aumento paralelo na demanda de ee#u;veis es#uemas de representação do conhecimento. 'm amplo nNmero de diferentes representações e linguagens de racioc;nio foram desenvolvidas. %lgumas foram $aseadas na l7gica  por eemplo, a linguagem rolog se tornou popular na !uropa.

L de =1

IA se torna um padrão de ind.stria (1/0 at o presente# !m toda parte, a indNstria de B% estourou, de poucos milhões de d7lares em 12@ para $ilhões de d7lares em 122. Togo depois veio o per;odo chamado *Bnverno da B%+, em #ue muitas companhia sofreram por terem feito promessas etravagantes. !m$ora a ciência da computação tenha amplamente a$andonado o campo de redes neurais no final da d(cada de 19@, o tra$alho continuou em outros campos. F;sicos como Rohn 0opfield /12=4 usou t(cnicas de m#uinas estat;sticas para analisar o arma)enamento e propriedades de otimi)ação de redes neurais, tratando coleções de n7s como coleções de tomos. sic7logos incluindo David Aumelhart e "eoff 0inton continuaram o estudo de modelos de mem7ria de redes neurais.  real impulso veio em meados da d(cada de 12@ #uando pelo menos #uatro diferentes grupos reinventaram o algoritmo de aprendi)agem $ac:propagation /retro propagação4 primeiro encontrado em 1L por 8rson e 0o.  algoritmo foi aplicado para muitos pro$lemas de aprendi)ado em ciência da computação e psicologia, e a generali)ada disseminação dos resultados na coleção arallel Distri$uted rocessing /Aumelhart e McClelland, 12L4 causou grande ecitação.

AI se tornou uma ciência (1/- at o presente# 'sando metodologias melhoradas e frame?or:s te7ricos, o campo chegou no entendimento de #ue redes neurais podem atualmente ser comparadas com correspondentes t(cnicas da estat;stica, reconhecimento de padrões, aprendi)ado de m#uina e a mais promissora t(cnica pode ser aplicada para cada aplicação. Como resultado destes desenvolvimento, a então chamada tecnologia de data mining tem dado novos vigorosos padrões de indNstria.  formalismo das redes +aesianas foi inventado para permitir representação eficiente de um rigoroso racioc;nio com conhecimento incerto. !sta proposta amplamente resultou muitos pro$lemas de sistemas de racioc;nio pro$a$il;stico de 1L@ e 19@I ela agora domina as pes#uisa de B% em racioc;nio incerto e sistemas especialistas.

esumo •

•

•

•

•

9 de =1

Diferentes pessoas pensam so$re B% diferentemente. Duas importantes #uestões para perguntar sãoH Pocê est preocupado com o conhecimento ou com o comportamentoX Pocê #uer modelar humanos ou tra$alhar a partir de um padrão idealX Eeste livro, adotamos a visão de #ue inteligência se preocupa principalmente com ação racional. Bdealmente, um agente inteligente eecuta a melhor ação poss;vel em uma situação. E7s estudaremos o pro$lema de construção de agentes #ue são inteligentes neste sentido. Fil7sofos /anteriores a O@@ a.C.4 conce$eram B% considerando as id(ias #ue a mente ( de alguma forma como uma m#uina, #ue ela opera so$re conhecimento codificado em alguma linguagem interna, e #ue o pensamento pode ser usado para escolher #uais ações eecutar. Matemticos proveram ferramentas para manipular declarações de certe)as l7gicas $em como incerte)as e declarações pro$a$il;sticas. !les tam$(m configuraram a $ase para compreender computação e racioc;nio so$re algoritmos. !conomistas formali)aram o pro$lema de tomar decisões #ue maimi)em os resultados esperados pelo administrador /decisionmar:er4.

•

•

•

•

•

•

sic7logos adotaram a id(ia de #ue humanos e animais podem ser considerados m#uinas de processamento de informações. Tinguistas mostraram #ual uso de linguagem ( ade#uado neste modelo. !ngenheiros de computação proveram os artefatos #ue fa)em as aplicações de B% poss;veis. rogramas de B% tendem a ser grandes, e eles podem não funcionar sem um grande avanço na velocidade e mem7ria #ue a indNstria de computadores tem provido. Georia do controle trata com proeto de dispositivos #ue agem opcionalmente na $ase de feed$ac:s do am$iente. Bnicialmente, as ferramentas matemticas de teoria do controle eram muito diferentes da B%, mas os campos estão ficando mais pr7imos. % hist7ria da B% tem ciclos de sucesso, otimismos mal colocados, resultando cortes no entusiamo e financiamento. 0ouveram tam$(m ciclos de introdução de novas propostas criativas e sistemtico refinamento das melhores. B% tem avançado mais rapidamente na d(cada passada devido ao grande uso de m(todos cient;ficos em eperimentos e propostas de comparação. rogresso recente no entendimento da $ase te7rica de inteligência tem sido disseminado, com melhorias nas capacidades reais do sistema. %s su$reas da B% tem se tornado mais integradas, e a %B tem encontrado $ase comum com outras disciplinas.

!" Agentes Inteligentes  Agentes e Ambientes 'm agente ( #ual#uer coisa #ue pode perce$er seu am$iente atrav(s de sensores  e e agir nesse am$iente por meio de atuadores. !sta simples id(ia ( ilustrada na figura =.1. 'm agente humano tem olhos, orelhas e outros 7rgãos como sensores, e mãos, pernas, $oca e outras partes do corpo como atuadores. 'm agente ro$ pode ter cJmeras e locali)adores infravermelho como sensores, e vrios motores como atuadores. 'm agente de soft?are rece$e entradas do teclado, conteNdo de ar#uivos e pacotes de rede como sensores de entrada e age no am$iente mostrando resultados na tela, gravando em ar#uivos e enviando pacotes pela rede.

2 de =1

!m geral, a ação de escolha de um agente a #ual#uer instante pode depender de todo o hist7rico de percepções at( o momento atual. Matematicamente falando, n7s di)emos #ue um comportamento de agente ( descrito por uma fun#$o de agente  #ue mapeia #ual#uer dada se#uência de percepções para uma ação. odemos imaginar ta$ular a função de agente #ue descreve #ual#uer agenteI para a maioria dos agentes, esta poderia ser uma ta$ela muito grande, at( infinita, de fato, ao menos #ue colo#uemos uma fronteira no tamanho das se#uências de percepções #ue #ueremos considerar. Dado um agente como eperimento, podemos, em princ;pio, construir sua ta$ela tentando todas as poss;veis se#uências de percepções e gravando cada ação #ue o agente fa) em resposta. % ta$ela (, o$viamente, uma caracteri)ação eterna do agente. Bnternamente, a função de agente para um agente artificial ser implementada por um programa de agente. Y importante distinguir essas duas id(ias. % função de agente ( uma descrição matemtica a$strataI o programa do agente ( uma implementação concreta, rodando na ar#uitetura do agente.

ara ilustrar essas id(ias, usaremos um eemplo simples do mundo do aspirador de p7, mostrado na figura =.=, #ue ( $em simples e podemos descrever tudo #ue acontece nele. !le tem apenas dois locais, #uadrado % e #uadrado 8.  agente aspirador de p7 perce$e em #ue #uadrado ele est e se h sueira l. !le pode se mover para direita ou es#uerda, aspirar a sueira ou não fa)er nada. 'ma muito simples função de agente (H se o #uadrado atual est suo, aspire a sueira, senão,  de =1

v para o outro #uadrado. 'ma ta$ulação parcial desta função de agente ( mostrada na figura =.Q. 'm simples programa de agente para esta função de agente ( dado posteriormente na figura =.2.

Bom comportamento:  conceito de racionalidade 'm agente racional ( um #ue fa) a coisa certa K conceitualmente falando, cada entrada na ta$ela para a função de agente ( preenchida corretamente. $viamente, fa)er a coisa certa ( melhor #ue fa)er a errada, mas o #ue significa fa)er a coisa certaX Como uma primeira aproimação, diremos #ue a ação correta ( a#uela #ue permite ao agente ter mais sucesso.

#edidas de performance % medida de performance  incorpora o crit(rio de sucesso do comportamento de um agente. Zuando um agente ( atirado em um am$iente, ele gera uma se#uência de ações de acordo com as percepções #ue ele rece$e. Se a se#uência ( desevel, então o agente tem desempenhado seu tra$alho $em. $viamente, não eiste nenhuma medida fia ade#uada para todos os agentes. odemos propor como uma medida de performance, a #uantidade de sueira limpa em um Nnico turno de 2 horas. 'm agente racional pode maimi)ar esta medida de performance, limpando a sueira e ogando ela no chão novamente, então limpando outra ve), e assim consecutivamente. 'ma medida de performance mais ade#uada poderia premiar o agente por ter limpado o chão. or eemplo, um ponto pode ser conseguido por cada #uadrado limpo a cada passo /talve) com uma penalidade por consumo de energia e geração de ru;do4. % seleção de uma medida de performance não ( sempre fcil. or eemplo, a noção de *chão limpo+ no pargrafo anterior ( $aseada na m(dia de limpe)a so$re o tempo. %inda #ue a mesma m(dia de limpe)a possa ser alcançada por dois diferentes agentes, um pode fa)er um tra$alho med;ocre todo o tempo en#uanto o outro limpa energicamente mas fa) longas paradas.

1@ de =1

acionalidade  #ue ( racional em um dado intervalo depende de O coisasH • • • •

% medida de performance #ue define os crit(rios de sucesso  conhecimento pr(vio do agente so$re o am$iente %s ações #ue o agente pode reali)ar % se#uência de percepções do agente at( o momento atual Bsto guia para uma defini#$o de agente racional H  &ara cada sequ$ncia de percepções possíveis, um agente racional deve selecionar uma aç'o que é esperada para maximizar suas medida de per!ormance, dada a evid$ncia provida pela sequ$ncia de percepções, e ignorar o conhecimento embutido que o agente tem%

Considerando o agente aspirador de p7, ele pode ser considerado racional, pois ele reali)a as ações visando maimi)ar sua performance, a geografia do am$iente ( conhecida, mas a sua distri$uição da sueira e locali)ação inicial não, as ações de ir para es#uerda ou direita são eecutadas de modo #ue o agente não saia dos dois #uadrados, o agente perce$e sua locali)ação e se eiste sueira nela. %lgu(m pode ver facilmente #ue um mesmo agente poderia ser irracional so$re diferentes circunstJncias. or eemplo, uma ve) #ue toda a sueira ( limpa, ele ir ficar se movendo desnecessariamenteI se a medida de performance inclui uma penalidade de um ponto para cada movimento, o agente ir ter um desempenho $ai;ssimo. 'm agente melhor para este caso poderia não fa)er nada, uma ve) #ue ele est certo de #ue todos os #uadrados estão limpos. Se o #uadrado pode se tornar suo novamente, o agente poderia ocasionalmente checar e limpar novamente se necessrio.

Onisciência% aprendi2agem e autonomia recisamos ser cuidadosos em distinguir entre racionalidade e onisci-ncia. 'm agente onisciente conhece o resultado atual de suas ações e pode agir de acordoI mas onisciência ( imposs;vel na realidade. Considere o eemplo seguinteH !u estou caminhando em direção & Champs !ls(es e veo um velho amigo cru)ar a rua. Eão h trfego pr7imo e eu não estou ocupado, então, sendo racional, eu inicio a travessia da rua. !n#uanto isso, a 1@.@@@ metros de altitude, uma carga cai de um avião #ue estava passando, e antes #ue eu chegue ao outro lado da rua, sou achatado pela carga. !ntão, eu fui irracional ao atravessar a ruaX !ste eemplo mostra #ue racionalidade não ( o mesmo #ue perfeição. Aacionalidade maimi)a a performance esperada, en#uanto perfeição maimi)a a performance atual. Eossa definição de racionalidade não re#uer onisciência, devido a escolha racional depender somente da se#uência de percepções at( o momento atual. E7s tam$(m asseguramos #ue não temos inadvertidamente permitido ao agente aderir em atividades decididamente não inteligentes. or eemplo, se um agente não olha para am$os os lados antes de atravessar uma rua movimentada, então sua se#uência de percepções não dir a ele #ue h um grande caminhão se aproimando em alta velocidade. Eossa definição de racionalidade di) #ue est tudo > para cru)ar a ruaX Tonge disso. rimeiro, poderia não ser racional cru)ar a rua dado essa se#uência de percepções não informativasH o risco de acidente ao cru)ar uma rua sem olhar para am$os os lados ( muito grande. Segundo, um agente racional deveria escolher a ação de *olhar+ antes de atravessar a rua, por#ue 11 de =1

olhar auda a maimi)ar a performance esperada. Fa)endo ações para modificar percepções futuras  K algumas ve)es chamada de o(ten#$o de informa#.es K ( uma importante parte da racionalidade. 'm segundo eemplo de o$tenção de informações ( provido pela e/plora#$o   #ue deve ser responsa$ilidade do agente aspirador de p7 em um am$iente inicialmente desconhecido. Eossa definição de agente racional não ( somente no sentido de o$ter informações, mas tam$(m de aprender tanto #uanto poss;vel a partir de suas percepções.  agente pode ter algum conhecimento pr(vio do am$iente. !istem casos etremos em #ue o am$iente ( totalmente conhecido a priori, nestes casos, o agente não precisa perce$er ou aprenderI ele simplesmente age corretamente. $viamente, tais agentes são muito frgeis. Per eemplo do $esouro e da vespa na pgina Q9.

A nature$a dos am%ientes $specificando o am+iente de tarefas !m nossas discussões de racionalidade do simples agente aspirador de p7, n7s tivemos #ue especificar a medida de performance, o am$iente, os atuadores e sensores do agente. Bremos agrupar tudo isso so$re o t;tulo de am(iente de tarefas , onde definiremos a sigla !%S /erformance, !nvironment, %ctuators, Sensors, na primeira versão do livro era denominado %"! K ercepts, %ctions, "oals, !nvironment4 como descrição do am$iente. !m proeto de agentes, o primeiro passo ( sempre especificar o am$iente tão completo #uanto poss;vel.  mundo do aspirador foi um eemplo muito simplesI vamos considerar um pro$lema mais compleoH um motorista automtico de ti. % figura =.O resume a descrição !%S para o am$iente do ti. 'ipo de Agente

Medidas de 0erformance 0erformance Measure

Am(iente 3nvironment

Atuadores Actuators

ensores ensors

Gi Seguro, rpido, legal, viagem Auas, trfego, Direção, acelerador, CJmeras, sonar, automati)ado confortvel, maimi)ar pedestre, clientes fr(io, setas, $u)ina, veloc;metro, "S, lucros painel od7metro, medidor de aceleração, sensores no motor, teclado

Figura =.O

!%S para o am$iente de tarefa de um ti automati)ado

rimeiro, #ual ( a medida de performance #ue gostar;amos #ue nosso ti aspireX Zualidades deseveis incluem pegar o destino corretoI minimi)ar consumo de com$ust;vel e desgasteI minimi)ar tempo de viagem eUou custoI minimi)ar violações de leis de trJnsito e pertur$ações a outros motoristasI maimi)ar a segurança e conforto do passageiroI maimi)ar os lucros. $viamente, alguns desses o$etivos conflitam, logo, eistirão trocas envolvidas. !m seguida, #ual ( o am$iente #ue o ti ir encararX Zual#uer motorista de ti deve tratar com uma variedade de ruas, desde vielas rurais e $ecos ur$anos a autoestradas. %s ruas cont(m outros trfegos, pedestres, animais de$andados, ruas em o$ras, carros de pol;cia, poças e $uracos.  ti deve tam$(m interagir com potenciais e atuais passageiros. !istem tam$(m algumas escolhas opcionais.  ti pode precisar operar na Calif7rnia do Sul, onde neve ( um pro$lema rar;ssimo, ou no %lasca, onde constantemente (. !le pode sempre dirigir pela direita, mas pode ser fle;vel para dirigir pela es#uerda #uando estiver no Rapão ou "rã8retanha. $viamente, #uanto mais restrito o am$iente, mais fcil de proetar uma solução. s atuadores  dispon;veis em um ti automati)ado serão #uase os mesmos dos dispon;veis para um motorista humanoH controle so$re o motor atrav(s do acelerador e controle so$re a direção e frenagem. %dicionalmente, ele necessitar de uma sa;da para uma tela ou sinteti)ador de vo) para falar com os passageiros, e talve) alguma forma de se comunicar com outros ve;culos, 1= de =1

educadamente. ara alcançar seus o$etivos no am$iente, o ti necessitar conhecer onde ele est, o #ue mais h na rua, e a velocidade #ue ele est indo. Seus sensores  $sicos podem então incluir uma ou mais cJmeras de GP controlveis, um veloc;metro e um odmetro. !le pode ter um "S para dar informações precisas de seu posicionamento e sensores de infravermelho ou sonares para detectar a distJncia de outros carros ou o$stculos. Finalmente, ele precisa de um microfone ou teclado para os passageiros re#uisitarem um destino. Ea figura =.3 temos um es$oço dos elementos !%S $sicos para diversos outros tipos de agentes. De fato, o #ue importa ( a compleidade do relacionamento entre o comportamento do agente, a se#uência de percepções geradas pelo am$iente e a medida de performance. %lguns am$ientes reais são muito simples. or eemplo, um ro$ proetado para inspecionar peças vindas por uma esteira rolante pode fa)er algumas suposições simplesH #ue as Nnicas coisas vindas pela esteira são peças #ue ele conhece e #ue eistem apenas duas ações /aceitar ou reeitar4. 'ipo de Agente

Medidas de 0erformance 0erformance Measure

Am(iente 3nvironment

Atuadores Actuators

ensores ensors

Sistema de diagn7stico m(dico

SaNde do paciente, aciente, hospital, Mostrar #uestões, !ntrada dos sintomas minimi)ar custos, causas e#uipe m(dica testes, diagn7sticos, por teclado, respostas do tratamentos, paciente, pes#uisa orientação

Sistema de anlise de imagem de sat(lite

Categori)ação correta da Do?nlin: a partir do Mostrar %rras de piels de imagem sat(lite em 7r$ita categori)ação da cena cores

Ao$ coletor ercentual de partes na !steira rolante com 8raço articulado e CJmera, sensores de partes caia correta partesI caias mão Jngulo articulado

de

Controlador de Maimi)ar pure)a, Aefinaria, operadores Plvulas, $om$as de Gemperatura, pressão, refinaria produção, segurança gua, a#uecedores, sensores #u;micos telas Gutor de inglês Maimi)ar a pontuação de Conunto de Mostrar eerc;cios, !ntrada pelo teclado interativo estudantes em testes estudantes, agência de sugestões, correções testes

Figura =.3

!emplos de tipos de agentes e suas descrições !%S

!m contraste, alguns agentes de soft4are /soft?ares ro$s ou sof(ots 4 eistem em dom;nios ricos e ilimitados. Bmagine um soft$ot proetado para voar em um simulador de voo.  simulador ( muito detalhado, o am$iente compleo inclui outros aviões e operações em terra, e o agente de soft?are deve escolher uma ação, a partir de uma ampla variedade de ações, em tempo real. u imagine um sof$ot proetado para scanear fontes de not;cias na internet e mostrar itens de interesse para seus clientes. ara fa)er isso $em, ele necessitar de ha$ilidades de processamento de linguagem natural, aprender os interesses de cada cliente e mudar os planos dinamicamente K por eemplo, #uando a coneão para um fonte de not;cias cai ou #uando outra se torna online.

Propriedades dos am+ientes de tarefa % faia de am$ientes #ue podem surgir em B% ( o$viamente vasta. E7s podemos, todavia, identificar um suficiente pe#ueno nNmero de dimensões em #ue o am$iente pode ser categori)ado. •

'otalmente o(serv&vel / parcialmente o(serv&vel acessível / inacessível H se o sensor

1Q de =1

•

do agente tem acesso completo ao estado do am(iente o tempo todo , conseguindo o$servar todos os aspectos relevantes para escolher uma ação a eecutar, assim, o am$iente ( completamente o$servvel, sendo #ue relevJncia depende das medidas de performance. 'm am$iente pode ser parcialmente o$servvel devido a ru;do ou sensores não acurados ou parte do estado do am$iente #ue esteam faltando  por eemplo, o agente aspirador de p7 com apenas um sensor de sueira local não pode di)er se h sueira em outros #uadrados, e um ti automati)ado não pode sa$er o #ue outros motoristas estão pensando. Determinístico / estoc&stico determinístico / n$o determinístico H e o pr)/imo estado do am(iente * completamente determinado pelo estado atual e a#.es e/ecutadas pelo agente , ent$o podemos di%er "ue o am(iente * determinístico, ou se5a, previsível6 sen$o, * estoc&stico . !m princ;pio, um agente não precisa se preocupar so$re incerte)as em

•

•

um am$iente determin;stico e completamente o$servvel. Se o am$iente ( parcialmente o$servvel, todavia, ele pode parecer ser estocstico. Motorista de ti ( claramente estocstico, por#ue ele não pode predi)er o comportamento do trfego, al(m do mais, um pneu pode estourar.  mundo do aspirador de p7, como descrevemos, ( determin;stico, mas variações podem incluir elementos estocsticos como aparecimento randmico de sueira e um mecanismo de sucção não confivel. Se o am$iente ( determin;stico, eceto pelas ações de outros agentes, di)emos #ue o am$iente ( estrat*gico. 3pis)dico / se"uencial epis)dico / n$o epis)dicoH em um am(iente epis)dico, a e/peri-ncia do agente * dividida em epis)dios at7micos . Cada epis7dio consiste da percepção do agente e reali)ação de uma Nnica ação. Crucialmente, o pr)/imo epis)dio n$o depende de a#.es reali%adas em epis)dios anteriores . !m um am$iente epis7dico, a escolha de uma ação depende somente do pr7prio epis7dio. 'm agente para apontar peças defeituosas em uma linha de montagem $aseia cada decisão somente na peça atual, sem se preocupar com decisões anteriores, e a decisão atual não afeta decisões futuras. 3m am(ientes se"uenciais, a decis$o atual pode afetar todas as decis.es futuras . Vadre) e um motorista de ti são se#uenciaisH em am$os os casos, ações de curto pra)o podem ter conse#uências de longo pra)o. Am(ientes epis)dicos s$o mais simples por"ue o agente n$o tem "ue pensar a frente, ou se5a, n$o tem "ue pensar nas conse"u-ncias futuras de suas a#.es, apenas nas conse"u-ncias da a#$o atual . 3st&tico / din8mico9 e o am(iente pode mudar en"uanto o agente est& deli(erando, podemos di%er "ue ele * din8mico, sen$o, * est&tico . %m$ientes estticos são mais fceis

de lidar pois o agente não precisa ficar o$servando o mundo en#uanto est decidindo uma ação a eecutar, nem precisa se preocupar com a passagem do tempo. %m$ientes dinJmicos, por outro lado, estão continuamente perguntando ao agente o #ue ele #uer fa)erI se ele não decidiu ainda, isto conta como se tivesse decidido por fa)er nada. e o am(iente n$o muda com a passagem do tempo mas a performance do agente sim, ent$o di%emos "ue ele * semi!din8mico. Dirigir um ti ( claramente dinJmico. Vadre), #uando ogado com um

rel7gio, ( semidinJmico. Rogos de palavras cru)adas são estticos. •

Discreto / continuo9 :m am(iente discreto, como o 5ogo de /adre%, tem um con5unto finito de estados, al*m de um discretofinito con5unto de percep#.es e a#.es . Dirigir um

ti ( um pro$lema de estados, ações e tempo cont;nuos. •

Agente ;nico / multi agente9 :m 5ogo de palavras cru%adas * claramente de apenas um agente, 5& o /adre% * um am(iente de 2 agentes< =adre% * um am(iente multi agente competitivo< No am(iente do t&/i, evitar colis.es ma/imi%a a performance de todos os agentes, logo ele * um am(iente multi agente parcialmente cooperativo, al*m de parcialmente competitivo, por e/emplo, competindo por vagas de estacionamento e passageiros.

Como podemos esperar, o mais dif;cil caso ( parcialmente o$servvel, estocstico, 1O de =1

se#uencial, dinJmico, cont;nuo e multi agente. % figura =.L lista algumas propriedades de diversos am$ientes. %lgumas podem variar de acordo com a forma #ue o am$iente foi definido e a especificidade com a #ual desease implementar a solução. or eemplo, muitos am$ientes são epis7dicos em um n;vel mais alto do #ue as ações individuais do agente, como em um torneio de adre), #ue consiste de uma se#uência de ogos, onde cada ogo ( um epis7dio, assim, a contri$uição de um movimento em um ogo para a performance geral do agente não ( afetada pelos movimentos no ogo anterior. or outro lado, decisões feitas em um Nnico ogo são certamente se#uenciais. Am(iente

>(serv&vel

Determinístico

3pis)dico

3st&tico

Discreto

Agentes

alavras cru)adas

Gotalmente

Determin;stico

Se#uencial

!sttico

Discreto

Single

Vadre) com rel7gio

Gotalmente

!strat(gico

Se#uencial

SemiDinJmico Discreto

Multi

Dirigir ti

arcialmente

!stocstico

Se#uencial

DinJmico

Cont;nuo

Multi

Diagn7stico m(dico

arcialmente

!stocstico

Se#uencial

DinJmico

Cont;nuo

Single

%nlise de imagens

Gotalmente

Determin;stico

!pis7dico

SemiDinJmico Cont;nuo

Single

Ao$ coletor de partes

arcialmente

!stocstico

!pis7dico

DinJmico

Cont;nuo

Single

Controlador de Aefinaria

arcialmente

!stocstico

Se#uencial

DinJmico

Cont;nuo

Single

Gutor de inglês interativo

arcialmente

!stocstico

Se#uencial

DinJmico

Discreto

Multi

Figura =.L

!emplos de am$ientes e suas caracter;sticas

A estrutura de agentes  tra$alho da B% ( proetar o programa do agente  #ue implementa a função de agente mapeando percepções para ações. E7s assumimos #ue este programa rodar em algum tipo de dispositivo computacional com sensores f;sicos e atuadores, o #ue chamamos de ar"uiteturaH agente [ ar#uitetura \ programa. $viamente, o programa #ue escolhemos deve ser apropriado para a ar#uitetura, #ue pode ser um C comum ou um carro ro$ com muitas cpu]s, cJmeras e outros sensores. !m geral, a ar#uitetura fa) as percepções para o programa a partir dos sensores, roda o programa e alimenta as escolhas de ações do mesmo para os atuadores.

Programas de agente  programa do agente #ue proetaremos ter o mesmo s:eletonH ele pega as percepções atuais como entradas a partir de sensores e retorna uma ação para os atuadores. Eote a diferença entre o programa do agente, #ue toma a percepção atual como entrada, e a função de agente, #ue toma todo o hist7rico de percepções.  programa do agente toma apenas a percepção atual como entrada pois nada mais ( disponi$ili)ado pelo am$ienteI se as ações do agente dependem de toda a se#uência de percepções, ele deve arma)enar as percepções. or eemplo, a figura =.9 mostra um programa de agente realmente trivial, #ue fica de olho na se#uência de percepções e então as usa para indear uma ta$ela de ações para decidir o #ue fa)er. % ta$ela representa eplicitamente a função de agente #ue o programa do agente incorpora. ara construir um agente racional desta forma, precisamos construir uma ta$ela #ue contenha as ações apropriadas para cada se#uência de percepções poss;vel.

13 de =1

Y instrutivo considerar por#ue uma proposta $aseada em ta$elas para construção de agentes ( condenada a falhar. Considere um ti automticoH a entrada visual a partir de uma Nnica cJmera vem na faia de grosseiramente, =9M$ps /Q@ framesUs, LO@O2@ piels com =O $its de informação de cor4. Bsto d uma ta$ela com cerca de 1@ =3@.@@@.@@@.@@@entradas para uma hora de direção. %t( uma ta$ela para adre) poderia ter 1@13@ entradas.  nNmero de tomos em um universo o$servvel ( menos #ue 1@2@. %pesar disto, um agente dirigido por ta$elas fa) o #ue #ueremosH implementa a função desevel de agente.  desafio chave para B% ( encontrar como escrever programas #ue, para uma etensão poss;vel, produ)am comportamento racional a partir de uma #uantidade pe#uena de c7digo no lugar de um grande nNmero de entradas de ta$ela.

s tipos $sicos de programas de agentes, #ue incorporam os princ;pios su$acentes de #uase todos os sistemas inteligentes sãoH •

Agentes refle/ivos simplesH  tipo mais simples de agente, #ue selecionam ações com $ase

na percepção atual, ignorando o resto do hist7rico de percepções. or eemplo, o agente aspirador de p7, pois suas decisões são $aseadas somente na locali)ação atual e se l h sueira. 'm programa para esse agente ( mostrado na figura =.2. Bmagine você dirigindo um carro. Se a lu) de freio do carro da frente acende, você nota isto e começa a frenar. !m outras palavras, alguns processamentos são feitos em entradas visuais para esta$elecer a condição #ue chamamos * carro na frente est parando+. !ntão, isto dispara alguma coneão esta$elecida no programa do agente para a ação *iniciar frenagem+. E7s chamamos tal coneão de regra de condi#$o!a#$o , escrita comoH if  carinfrontis$ra:ing then initiate$ra:ing. 0umanos tem muitas coneões, algumas das #uais são aprendidas /como dirigir4 e outras 1L de =1

#ue são refleos natos /como piscar4.  programa da figura =.2 ( espec;fico para um am$iente particular. 'ma proposta mais gen(rica e fle;vel ( primeiro construir um interpretador de prop7sito geral para regras de condiçãoação e então criar um conunto de regras para um am$iente espec;fico. % figura =. d a estrutura desse programa geral em uma forma es#uemtica, mostrando como as regras de condiçãoação permitem ao agente fa)er coneões de percepções para ações.  programa do agente ( mostrado na figura =.1@.

•

Agentes refle/ivos (aseados em modelos H % forma mais efetiva de gerenciar am$ientes

parcialmente o$servveis ( manter estados internos #ue depende do hist7rico de percepções, e com isso, temse informações de estado da rea parcialmente o$servvel do am$iente. %tuali)ar esta informação com o tempo re#uer #ue dois tipos de conhecimento seam codificados no programa do agente. rimeiro, precisamos de informações de como o mundo evolui, independentemente do agente. Segundo, precisamos de algumas informações so$re como as ações do agente afetam o mundo. !ste conhecimento do mundo ( chamado de modelo do mundo. 'm agente #ue usa tal modelo ( chamado de agente $aseado em modelo. % figura =.11 d a estrutura de um agente refleivo com estado interno, mostrando como a percepção atual ( com$inado com um estado interno antigo para gerar a descrição atuali)ada do estado atual.  programa do agente ( mostrado na figura =.1=.

19 de =1

•

Agentes (aseados em o(5etivoH Conhecer o estado atual do am$iente não ( sempre

suficiente para decidir o #ue fa)er. or eemplo, em uma unção de ruas, o ti pode virar & es#uerda, & direita ou ir em frente. % decisão correta depende de onde ele est tentando chegar, ou sea, al(m da descrição do estado atual, o agente precisa de algum tipo de informação de o$etivo #ue descreva situações #ue são deseveis K por eemplo, o destino do passageiro.  agente pode com$inar isso com o resultado de poss;veis ações para poder escolher ações #ue alcancem seus o$etivos. % figura =.1Q mostra a estrutura deste tipo de agente.

Eote #ue tomar decisões desse tipo ( fundamentalmente diferente das regras de condição-ação descritas anteriormente, pois envolvem considerações so$re o futuro como * #ue acontecer se eu fi)er isto e istoX+ e *Bsto me far feli)X+. Eo proeto de agentes refleivos, esta informação não ( eplicitamente representada, por#ue as regras em$utidas 12 de =1

mapeiam diretamente percepções para ações. !m$ora um agente $aseado em o$etivo pareça menos eficiente, ele ( mais fle;vel pois o conhecimento #ue suporta suas decisões ( representado eplicitamente e pode ser modificado. Se começar a chover, o agente pode atuali)ar seu conhecimento de como efetivamente seu freio ir operarI isto automaticamente far com #ue todos os comportamentos relevantes seam alterados para se ade#uarem &s novas condições. ara um agente refleivo, por outro lado, n7s podemos ter #ue reescrever muitas regras de condiçãoação.  comportamento do agente $aseado em o$etivo pode facilmente ser alterado para ir a um local diferente. %s regras do agente refleivo para #uando virar e #uando ir em frente funcionam somente para um Nnico destinoI elas devem ser todas su$stitu;das para ir a #ual#uer lugar novo. •

Agentes (aseados em utilidade no sentido de ser ;til H $etivos so)inhos não são

realmente suficientes para gerar comportamento de alta #ualidade na maioria dos am$ientes. or eemplo, eistem muitas se#uências de ações #ue levariam o ti ao seu destino /desta forma, alcançando seu o$etivo4 mas algumas são mais rpidas, seguras e confiveis, ou mais $aratas #ue outras. $etivos apenas proveem uma distinção $inria crua entre os estados *feli)+ e *infeli)+, en#uanto uma medida de performance mais geral pode permitir uma comparação de diferentes estados do mundo de acordo com eatamente #uão feli) eles podem fa)er o agente e se eles podem ser alcançados. Devido *feli)+ não soar muito cient;fico, uma terminologia costumeira ( di)er #ue um estado ( prefer;vel do #ue outro, então ele tem maior utilidade para o agente. % figura =.1O mostra a estrutura deste tipo de agente. % função de utilidade mapeia estados /ou uma se#uência de estados4 em nNmeros reais, #ue descrevem o associado grau de felicidade. 'ma completa especificação da função de utilidade permite decisões racionais de dois tipos de casos onde os o$etivos são inade#uados. rimeiro, #uando eistem o$etivos conflitantes, somente um dos #uais pode ser alcançado /por eemplo, velocidade e segurança4, a função de utilidade especifica a troca apropriada. Segundo, #uando eistem muitos o$etivos #ue o agente pode mirar, e nenhum dos #uais pode ser alcançado com certe)a, a utilidade provê uma forma em #ue a pro$a$ilidade de sucesso pode ser ponderada contra a importJncia dos o$etivos. 'm agente #ue possui uma epl;cita função de utilidade pode tomar decisões racionais.

1 de =1

Aprendi2ado de agentes !m um famoso paper anterior, Guring /13@4 considerou a id(ia de programar sua m#uina inteligente & mão.  m(todo #ue ele props ( para construir m#uinas de aprendi)agem e então ensinlas. !m muitas reas de B%, isto ( atualmente o m(todo preferido para criação de sistemas no estado da arte. %prendi)ado tem outra vantagemH permite ao agente operar em um am$iente inicialmente desconhecido e se tornar mais competente #ue seu conhecimento inicial so)inho poderia permitir. 'm aprendi)ado de agente pode ser dividido em #uatro componentes conceituais, como mostra a figura =.13. % mais importante distinção ( entre o elemento de aprendi%agem, #ue ( responsvel por fa)er melhorias, e o elemento de performance , #ue ( responsvel por selecionar ações eternas.  elemento de performance ( o #ue n7s temos previamente considerado ser o agente inteiroH ele toma as percepções e decide em ações.  elemento de aprendi)agem usa feed$ac:s a partir da crítica de como o agente est agindo e determina como o elemento de performance deve ser modificado para operar melhor no futuro.

 proeto do elemento de aprendi)agem depende muito do proeto do elemento de performance. Zuando tentamos proetar um agente #ue aprende uma certa capacidade, a primeira #uestão não ( *Como vou coloclo para aprender istoX+ mas *Zue tipo de elemento de performance meu agente necessitar para fa)er isto uma ve) e aprender como fa)erX+. Dado um proeto de agente, mecanismos de aprendi)agem podem ser constru;dos para melhorar cada parte do agente.  elemento ?crítica@ di) ao elemento de aprendi)agem #uão $em o agente est operando com respeito a um padrão de performance fio. % cr;tica ( necessria por#ue as percepções por elas mesmas não proveem indicação do sucesso do agente.  Nltimo componente do aprendi)ado do agente ( o gerador de pro(lemas. !le ( responsvel por sugerir ações #ue irão guiar para novas e informativas eperiências.  ponto ( #ue, se o elemento de performance tem sua forma, ele pode continuar fa)endo as ações #ue são melhores, dado o #ue ele conhece. Mas se o agente est deseando eplorar um pouco, e fa)er talve) algumas ações opcionais num curto pra)o, ele pode desco$rir muito melhores ações a longo pra)o.  tra$alho do gerador de pro$lemas ( sugerir estas ações eplorat7rias. =@ de =1

ara tornar todo o proeto mais concreto, vamos retornar ao eemplo do ti automati)ado.  elemento de performance consiste de ignorar coleções de conhecimento e procedimentos #ue o ti tem para selecionar suas ações de direção.  ti vai a rua e dirige, usando seu elemento de performance. % cr;tica o$serva o mundo e passa informações para o elemento de aprendi)agem. or eemplo, depois #ue o ti fa) uma virada rpida & es#uerda entre três ruas de grande trfego, a cr;tica o$serva a linguagem chocante dos outros motoristas. % partir desta eperiência, o elemento de aprendi)agem ( capa) de formular uma regra di)endo #ue a#uilo foi uma ação ruim, e o elemento de performance ( modificado instalando a nova regra.  gerador de pro$lemas pode identificar certas reas de comportamento necessitando de melhoria e sugerir eperimentos, tal como tentar parar em ruas de diferentes superf;cies, so$re diferentes condições de tempo.  elemento de aprendi)agem pode fa)er mudanças para #ual#uer componente de *conhecimento+ mostrado no diagrama do agente /figuras =., =.11, =.1Q e =.1O4.  caso mais simples envolve aprender diretamente a partir de se#uências de percepções. $servações de pares de sucessivos estados do am$iente podem permitir #ue o agente aprenda *como o mundo evolui+ e o$servações dos resultados de suas ações podem permitir ao agente aprender *o #ue minhas ações fa)em+. or eemplo, se um ti eerce uma certa pressão de frenagem en#uanto dirigindo em uma rua molhada, então ele ir em $reve encontrar #uanto de desaceleração ele ir alcançar.

3esumo •

•

•

•

•

•

'm agente  ( alguma coisa #ue perce$e e age no am$iente. % fun#$o de agente para um agente especifica a ação tomada por um agente em resposta a #ual#uer se#uência de percepções. % medida de performance avalia o comportamento do agente no am$iente. 'm agente racional age para maimi)ar o valor esperado da medida de performance, dada a se#uência de percepções #ue ele vê. 'ma especificação de am(iente inclui uma medida de performance, o am$iente eterno, os atuadores e os sensores. roetando um agente, o primeiro passo deve sempre ser especificar o am$iente tão completamente #uanto poss;vel. %m$ientes variam ao longo de vrias dimensões significantes. !les podem ser completamente ou parcialmente o$servveis, determin;sticos ou estocsticos, epis7dicos ou se#uenciais, estticos ou dinJmicos, discretos ou cont;nuos e de Nnico agente ou multi agente.  programa do agente implementa a função do agente. Agentes refle/ivos simples respondem diretamente a percepções, en#uanto um agente refle/ivo (aseado em modelo  mantem um estado interno para rastrear aspectos do mundo #ue não são evidentes na percepção atual. Agentes (aseados em o(5etivo  agem para alcançar seus o$etivos, e agentes (aseados em utilidade tentam maimi)ar suas pr7prias

epectativas de *felicidade+. •

Godos os agentes podem melhorar suas performance atrav(s de aprendi%ado.

=1 de =1