I~' a : v e ! 1 l i i r \'~r.l~taif~.le
je l d "s "s le le m e r (}QUii' 1 ! ~ je
~e(;~elllir :!i1J~
ui ! l ) q u e , ~ e i P 'r'r e s t't' :i:i ~ H "I)OlU la ~ n e r ui
p a : ! ' ~ ~ c ! U H ~ f e r n e ! ] l dausIe
d Q i m a i ! M ~'lechniquee~l-lm]~ v ~ r u o l p p . ' l m ~ m 1iI1QSsif d lll l i ; ph ph o ~ o cO cO ' pm p m a g ~ ) '> '> . gen6nlis6e. : lolo 1 a : i , c f d , ::: : iiii i . I,I, .e.e . . , ~ ~ a , b l l : S ! e m e n ~ s C e u o :p :p ra ra l q i H i q i s 'C 'C n : S l I ,e , e n e ; ! lI l I r, r , p m v o q l l,l, e , IIII D O l IcIc l la la l s deliy:res" d·ej~i8bilemlerU w w s s e hi'll lal,e O!lW p o n t q u ~e JiJOU p o o s : i i b l U 1 6 :menl'e P O U I I lies OlililteUrs: creer d e - s e l v ~e v l:l: l e s C ~ I d e e s f i r l ; :~ :~ ~ d lili l.l. C : OOfm\eClel1l1lielil~e:Sl rep~O(hiCtioln, N,(lus: N,(lus: tappeWo:l tappeWo:liS iS do:n; ~i!le ~i!le Ve S8 a ~ l m iiss a lrlr uo uo n < lJ lJ l S , U J
rd hUI n ~ e n c fe fe , l!IVTage. p3rti.!e:~~e:mJlial:i1l~!e. mJlial:i1l~!e.
mn
es
de pOl.lr,sl!,il~.
L e d ~n ~ n l~ l~ a d es e s ; d '~llto[['i!i~niol1l de pbol, pbol,ooopr oooprue~ ue~ doiive
T O l u s dmi~s
d e ~ r a d uC u C 'l' l i m de ~ . e p O OH OH C o n
T0ll!11e fep~e&enilati)Ct,n,.rep.oouclioni ( l O I l ~ ~ t e ! m l e ~ n i~'aUlt!liIu'o~ s e s
wh:le;s 42:3 42:3IH IH iSll iSllIi Ii¥J ¥J!l !lli lit~ t~ dU P o w a i~ i ~ I ~ i!i! f,f , l I~ ~ , Q i ma uliUsati(m
iinoo~l~
~ j lal a J l l5 l5 i c a u s e ,
SSN
:~n8~2~ 7m.08,,08.96,~1 7 m.08,,08.96,~1
S ,2 , 2 '('( )6 )6 4
;pelo o n s t i : l i 1 a e , lune 't'iolltreJa~()n~!'!!n.cl~Onl!:!!,~e: ~Q~ le e.!!l iJll~cil
195,"1 ~ u ! ~ C O O Wrijim:!enC'mc!i!ll~ l
( § E d ~ l o l:l : i s T e ch ch n p , P a r s . 2 0 0 7 Intpri,.u,,}eitFrtitu:"C'
ISBN
Ql:I
d Ja J a d ap a p ta t a t o n r es e s er e r v6 v 6 s 1 1 0 I I t o !:! : lIlI S p a y s .
co.pic~
Ol!!
les
~ @ ~ l i L 'C 'C : I .I. I O O
destimSe.s
11lII~(,':
matieres
bis,tongyuc:s
l.s l6
21
nz
R eg e g lc lc s d ~a ~ a pp p p r n d s sa sa g
21
n .o .o n . s u p e r v . i s e
21 Jl.2.J
RegIe, JustaI'
A p p re r e . l t s sa s a g es e s llll pe p e .r.r v s e
ns.z
ave
la.r:e:sle
perceptrOIll
23 25 25
Prb.icipe
.Appn~l1Iti.ssage d e W i
26
o w -H -H o
27
30
Elem Elemen ents ts sous sous omit omit
auteur
T ab ab l
Vl 11.6~! 1l,(12
i e s lnati~res
Formlila,tiou du prohle.me
32
32
11.6.3
1/"6.4
33
n.?
36
11.8.1
40 4~, 4~.
PrillCfpc
U.:9
n..•
ii:x,(ln;ice
;50
EmrciC'f? E ' C e X ic ic e
~,Pril1cipe~
Prlnclpa.les
65
69
nt'1
P eF e F t e p tr tr o
M u l ~ .~ .~ c o u C h eAute-asseeiatif
72
ePMA)
Elem Elemen ents ts sous sous omit omit
auteur
lI
.IV.3
IVA
ctass ctassif ific ica: a:UJon UJon non. su,arv su,arv~see ~see ArehhccJure des, des, rese reseau au denc dencur uron ones es mnltj,cm~cibes Uo
7'9'
85
topolQgiques,~ e u a u t o - s a n : s a , o e s d e K o h e n e n L ea e a rn rn in in g V e o r QUG.ntizQ,lfon)
90
93 de pat on
Hopfield discret, Utilisation
enrceonuaissance
~ a p p ! ilil e n titi s sa sa g e e t m i
99 V.
m.
.5..
H op op f e l
d y na n a m l s n ! s cont~nus
Pr n ,e ,e d g e de e o m m e r e e Optimisatio.n:M3€e sur I e r ec e c u s im im u
AP
J4
is e a u llll , d , ~&g!gue~nol!lledans: h~:s;r is neil neill. l.l: l:rQ rQ'I 'III II:C :CS: S: ~e rest restou ou); );
vu
g,e' g,e'lI lII[ I[\O \O"; ";OO OOps ps
V[.2
t3
I.
Principe
1109'
VLll
Vl3.3
112, [4
Vl 4... VI.,
V.I.
5)wtemes de-mise EX(l:n~p~.e'
11S ]]5,
C.HA'ITRE
VU.
'inference neuro-jlousadaptatift' eeuvre d"urn, e se s e a n eu eu m - o n
"S C Q o x A p p ~ ic i c a t o ::nn . d es e s : e "S ~ ( , : o l J l m a n d e d e s processus
Mo VIJ.l.
n , e l u · · a o e s ; i la
12.5 .ModeJe dinu':l
Elem Elemen ents ts sous sous o r o n s
auteur
VIII
VII.2.
26
. M o d e l e in~lerse Yll.2..3 .Modelis,mion du ,ctJ,mpe.trsrUeur
126
e n ma Yl JlJ1.3.3 ,Vl1;
C O mm m m an an d .R€Cvpied'un C(nm~umde
Bc d t u n . s , y s tet e : m VII. 4 . , . 1 VIIA.l
ys me
mm
w ae ae l
re/erence nv
m o d e U s a H o n et o m m an an d
Pl
.Description procikJe o m d , di di r e c t Modale n ' C u r om Modele n e ur u r oonn a v er e r se se ~ . ,Qlu'icipalion Co n d neurollale
Fo
mc
I'll.
VU
.i
n e ur u r oonn a O d e lel e : Interne .neu,ronal (eMf) 1.28 29
struclure boucles ne on
t31 e i
tbCOF~qUCS
base .V1I1;)',2 c ~~~~~ti(jrlnel$ ) ',2 .App.ro:dm(J.f;cur:$c~~~~~ti(jrlnel$ Y I . .1 . 1 . A'pp A'ppro roxi xima ma,t ,tio iond nd'u 'unc ncjb jb.n .n.c .cti tioT oTl' l' no .linerdro neurones im i i c r u r c e a de,n:euro"u~s c l e m . ) .rlll.lA L im la m(Jdeli'sat,ion .sys.lem,e's dy.rJ'CllffJqules
V[lI.2
la conception . r e s e a u x d e n eu e u ro ro ne ne s pour la modclisatiol1l. de p r o c e s s u s , r llJJ l . 1 .
P r i , .'.' C i p e
Vl11.2.2 A'gorilhmcs d e c o n s r oocc titi o V l1 l1 1 .2 . 2 ,.,. J A llgg o r :i:i lh lh m& m & 5 ·e.lQ8~g¥!
l37 ~40
l4 l4
M·
Elem Elemen ents ts sous sous drof drofls ls
auteur
A s p 'e 'e c I~1.'1
h i s to t o ' n iq iq u e s
Male corrnexionhnes
Lcsmethodes
jnitia:Us~.es
fide fide]e ]eme ment nt po poss ssib ib l"inllelUgence
erta ertain in
uma ne propose
memo
mimant le boel bo elee eenn nnes es simp simple les. s. neurones
sons ma
aspects de
me
me
partir Us
d e fonetlons dece type de conouspour fait
~:
Pinformaticm dans leaeennexiensjruer-
:m
1.2'
Le n eu e u ro ro n eco
o lo lo g q u
(fig. la
mme
pa vi nn nt
t n e U r i influx, mm envlo:~el... d . ,-, - m e . tn p a r I 'i'i nl n l c rm rm e d i a if if c ig n al a l ]) ]) ; e .m .m : is is p a cOips ax ne qu pe me 1 l m e ~ e s ig autres IceUuhliire aux. autres ap l e d e n d ri ri to to s ,q ,q u : i S()n!E. k~r6ce k~r6cept~ pt~urs urs pdn pdnc:~ c:~pau pau du e s s ig ig na na u x
emen ements ts sous sous
its
auteur
m eU eU e
a u e s v ia ia le le s a xo xo ne n e se se t
e sd sd e u :
communiquer a v e c les
es
Axone Syna.pse
C o rp r p s c eU e U u la la i
el rofi rofi b~ologjq.tle
Fi u.re u.re
N,eurone ·artiflcle.I
'1..
C'est f " . e 1 6 m e . n : t
(y
d' ne so
eaUseun
neuroses,
des
tiea tiea p o n d c r c e
fOnCliof).
+ - : 1 signanx .t x~,.....,x ,x
..
p a : r v i e . B 1 1 c n t . (Ilg.
P. gu
N e u ro ro n
anHici.e~
.It
=""".lV-X...
~f(Y) L e c oe o e f c ie ie n
d S 'p 'p o u te te ' a t o n
J'
O ~1 ~1 ,
1 1 s ta ta pp p p eU eU e n
e s po~,ds
synapti.ques,. S~
j:
es
osit ositif if rcntree
x~
nega1ti:£,
nbibUl'ice..'
emen ements ts sous sous
its
auteur
Dans ~enellmlle
mc
Mac CI
~activaUoRfest 1. cntF cntFcc ccin inbi bibi bitr tr~c ~c XI[I XI[I'~ '~ parfo~s
on c : o n et P ' ~ U S tla f on
oc
scull .tucnant ml pr qu pa
t:
appeilce biais, fenetions d " a c U v a t~ t ~ o n l es e s p lu l u s u t U i s c e s sent l e s s u i v a n t e s (fig..1 .3 .3 ) 0111
au m o i n s d) f) g)
~ 5 Ig I g m o " id id e
e n c o n a rc r c ta t a n ge g e n te te ; radiale
I'
yp
'1
b')-·.·
a)
d)
c)
e)
h)
g)
Fonctiens ens d'activ d'activat~ at~onles onles plu ~tlli~e ~tlli~e F.igu.reJ.3 Foncti
1.1..4
ou
qu
mi
'ap
n te te m eu eu ro ro l a l f l
or
pr mi
vi ue
p a r R o se se n b a r
~m c~assificaliono.llt
ls
ranI]
ge
ceuplege .synapUque degenerescence
Itj.mpona:n.ce
renfercement
0'\.1
milieu e'x,teneur.
d e l.t.~nteracHon.
n lO lO d e~ e~ .
mod
pr
c ap ap a mo
montl'lees
reseau
d 'a'a pp p p ro r o nU n U s s a ge ge , clUJ
eteproposc
1'95.8
VIle pos:siibil~tc
~ e sm s m a th t h em e m . a c ic ic n
travaux, e o p a
eu cr
n sk sk y
CCtUX
emen ements ts sous sous
its
auteur
p oouu r ~~ 1t resou resoudr dre, e, des probl problemas emas d'eptimisationet
:reseaux
ceux
dereccnnaissaace
AlljO'u.rd·hui~les r e s e a u x . dans secteurs t r e s . mdlement
compression
neumnescapabl.es
nombreuses ; a p p l i . c a t i . o n s c on o n na n a i a nc nc e
d'lmages,
F eo eo o
d e caracteres
nn
de
de
formes
g na na . u r
,ctyptag;et
das.s,if' das.s,if'i, i,cati cation, on, .... .... t trtr a g e ~ c la la s s i f c a U o l 1 " d e n U c a U o n b'aUemenlt pa ol SOlJrCCS traitement d e c on o n t U . c om om m a n d d e p ro r o ce c e s u s diagnostic d e ! p a n n e S j , C Q l l t r o ~ e
e b o titi q u e . .... . ,qualite~ r eb o p m I a t o n p la la n a t o n
a UO UO ( a J deressoiuroe;s" tQumces v e :b :b ic ic u le l e s~ s ~ r eg e g l a t o n d e lranlc. g e s o n finance~.... n Q i rc rc ~ p r e v i:i: si s i o n m e t o .r . r Q . ~ ( )g )g i q u e
reeopie reeopie de modcles.~ modcles .~.... ....
1... .Archltecture ,e mf
1.2.1
en dquaUo.n
cornpotlite Lepe~ptron dont~a c on o n sU s U tu t u e d ~u ~u n
touche d'entroe Unea~re
g~fleral. du y p
tout
NOltant
pl
011
neurones eouehe sorthe, fQi1:ction fQi1:ctiond~,acti d~,activaJti vaJtianest anest en.
mo
1.4).
~ e p o i d s reliantle
neurone
v.ient:
j'ieme
-,
et:x
me
.1,-'
'x~,
emen ements ts sous sous
its
auteur
XG-~---
"7
figurp r e s e n ~ e e dans la figur-
decn.re ..
SOUiS
r m e m a t k ie ie U e , ~a o rm
J ' " '+'+ l V o
[Yl,'l,···· , Y m l --T
[ · : ~ l " I [ i o .Z2~····" zJlij]
,I'l'
~I
·'.......;1iIoI 1---.)...
Figu.... 1 . RcpreSl::'.nt~u~onmatricielle
_z_· S........
pC!iCeptron
erne ernent nt sous sous
ou
c om om p r n d iu reseau ci-dessous
neurones
le fonctionnemcnt
(fig. 1..6) avec
[W lV.
neurenes
exemple
d~entree
1~~ 2]
=0
'rJi·~ 1,2,....,5
w, .)'",;1
~]i,~.
d e me:me m o
S~l ~r
represent representc· c· I.epr I.eproduir oduir scaleire o]fi on de
.~
Vi·:;; 1 , . 2 , . • . . . , . 5 iT
'llui. 'co'tttsp()nd~
VJ
o u r le v e c t e u r poids ptod!u ptod!u~tsc ~tsca~a a~aire ire est m a x m u m . p ou
leplus
emen ements ts sous sous
its
auteur
dill neurone.
la l a . s o r tit i e
t;
rII .• OU'f
autres,
ella .~ J~i,~ l
leeuel
tI.~
s"effectue
u n e c la l a s s f le le a t o n d e sp s p o s e n s d e s v e e e u r d 'e 'e n tr tr e s e e n le le u ra r a p p a r e n ae ae e i n ic i c s apa;rHr d e s v e ce cinq z o n e s . d 6 f in (fig. ,.7).. c e eu e u r sp s p o ld ld s
.Flgure .'7 C~assJfiC'a.1.~on panir
p o ss s s ib ib l
d ~ ap a p .p . p :r : r en en d r
R,
11.,3
it est
fonctien d'apprentis:sage supervise e ssee u
f a r e d e a . c l a ss s s if if ic ic a t o n .
couches
BU
1.3.
ce
perceptron
mo,noco,uche, presen'ta,t/on D a n s leparngll'aphc
cmtrees c am am c t
o n de
an
r ep e p re r e se se n t
e p o ld ld s
de
precedent,
ass('lcle~
r:
presente
le
r-e:presen~.e
emreeau
poids Wjo,
jiam:
e n 6 ra ra ~ em e m e n t i n h ib i b i tr tr ic i c e c a ra ra C i c r s e r " a c ; U o n g en
e.ntt,e~xiO= JJf:\'
t; ......
~I
emen ements ts sous sous
its
auteur
:1'x,
'"
'~
,'fJ.io.
'·"'''m' .JL. .JL.
."
i-oil
Wo
_,,,',',0.,,,
tv 1 ;1; 1 1 1
Us Uo
v ee e e te te u
ma &d
~' &d
sortie, dlte pa ~o
it
d 'e 'e n e e e n d eu e u x c la la s e s d cm cm t n . o n c r
d e d im im e ,n ,n s o u
-1
et
e s d e n jj~~ ep e p .a .a r ~ , h yp y p e p ~ an an .
'I,equa~,ion: ,p:
,.
.Tij',"'~', '-'>'''0 ,J
s(JuHgne
PCfC-1lilptron
exemple, mu
pe me
nt
p aU aU i
au
c eu eu e
Mi,nsky
exclusif
reSe3U:X
ani at en
1 ~ 3 . 2 RJise,aux mul.tlc,ouches mp general. a u m o . n s trois plilJsj,eum cOlu:;he(s)cachee(s) 1.:8), ~·lnformatl.oDcirculant d e nt vcrs vcrs laso lasort rtie ie Ocs) cOlilchc{s) cach6e(s).
es no aUon
i!I}: sortie {i
'=
(i)
[{,f\
Z"'I
:: [,
etant
u iv iv an an ~
du { C 'm ' m ~ n e u ro r o n ed e l a e eu eu e h l,
:un eeuehe
.111
neurones
'~'~I
.""ll ~y", ~y ", _ •.. ~Y'ri
tl ii-neurone
):
laeouehe
au
ooucbel
fP
function. d~activation
htuJ
neurone de 13.couebe
Z ; ~ J I~Xi ~Xi
emen ements ts sous sous
its
auteur
.:
( · . : " . Y ~ ').... ~]
Z~/)
qu
d~ pp nt
ge
type
dev,e!oppees
p iu i u s o in in .
'C:lich6c
ne Figun
-(f)
.J.i)'}I. ={.'. . W
1.,8,
~.n/~~
neurones neurenes
I"2~,.. I"2~,..
:)
ueurones
troi troi couc couche he
Il't
emen ements ts sous sous
its
auteur
o i c ou ou c
(fig. 1.9)~avec:
tr e s ¢ he he m a t s e e · pe p e u e tr
mme
fQRicU(Jn~o fQRicU(Jn~ogique giqueest est ~a
plan(xnl,x
),
des vah!w,s
(fig.. vada vada le
elle definit quatre P Q , i n t : s M"I,M"2~,Ml
logi logiqu ques es
et
des
1 ':' : 2
emen ements ts sous sous
its
auteur
(t,
(O~O)~O
. r u n R e p r es esentaUQD
Fi
Un n~aUsaU()nJ
Iclant du t.ype;
fonctlon loglque
(fig, 1.1,
~,(lS
one ons
~ a c t v ,a ,a t ( )
_113
:Flgu :Flgu re .I.,.l.~·Realisation. ne~ronalc
II pp ppar arai ai U'I",lcnt
quez qu ez!~ !~ ,)
$,.
X :O :O R et it
Ie
ontraire,
CIl
2x 2x,1
:> 2x;!:
'C.ttou
-1
x~ ;·1
Z~2);
=>~f'n
J{~
=0
-xi-.ll ~X ~X2'"
1.5
XI
ct/:ou
x~
Z~2)
emen ements ts sous sous
its
auteur
12
a u a vo vo i
\101r2,(3)
1~.
m~e
(.QUicbe
d c u x i c m , c l c pointM]. La c ou o u ea ea e d e mn
po
cDch,ee
aUs
ET
og qu
de
or
, c a c l u ! : e (fig. 1.,12).
Les,reseaux
(Rad (Radia ia
R B P s om o m u su s u e e m en e n t d es e s re re se s e au au x d·,en.tr-cc. d o
ro
c o u ch c h e (fig. .•~,3 ~ ,3 ):
on
Inea~res ;,
SOtlit
sont
iii, (anctions d'acdyati,on
foncnons d ' a c U v a t ~ o n f en e n e titi on o n s d 'a ' a e titi va v a tit i r
donlt
l:incalr,es.
Basi Basis. s. F';l F';lmc mcti tion ons; s;
;)
( 1 . 1 ) =)(1
(e',~)'0=; '0=;
1.5 (~"O}~I
l(o.O}
OI)Uii::;bc cac:hc(::
NCluroncl
Couehe~hCc NCIllool1le2
Ceuehe cac,hoo Neurone
emen ements ts sous sous
its
auteur
13
..
'''11
F~gu
_.:{;l)
D a n s c c t e ec e c r u rree , et
(I'}
ca ac er se
d is i s pe p e rs rs io io n
'iB R e s e 3 l 1 l l R B . F
=.'"
J.J)
mr
C e ty ty p e
prec.ise plus lom~est princi.:pldementutiUs6 I{lpresentation
",.11~.'·.3.~
l:Ii1Q
(oncti01n g a u s s i e n n e
f}4)".)
C s ea e a u , d e n Pappr~,}ntissagc sera
dam,~csproblemes
classif-
~c ~l u: nt nt c e u x o ta ta le l e m e n b ou o u c le le s e eu eu x p e e l m e n boucles. P a r m i les reseaux partjoJI,ementoouch~s,~es reseeuxboncles e x t e r i e u ~ e , m e n t 0 11 1 1 t S O U \ C 11 1 1 ! utHisespout d6crirc~es ys me y a m iq iq u nu
emen ements ts sous sous
its
auteur
Le cas general
au
q u ~ s r~ nsem nsem le de
po .T,e
etrepartiUonne
iipouvant
sous,~vlect sous,~vlecteu:r eu:rsxi sxi avee: ;r~1,.' •• " X l " ' ;
p o u r i= 1 , • .
~C5cowpa53n1iCsx "'.·."'.· : .,., """" ,n,n . - ".". o · " ', ,", ",..,Ul
':,9
lJ
con;'espondant a u
, 1.·).··.', :=: ,,,,.:, ,,,,.:,.(. .(. " . . . . " ~ _ . . . . , "I"I I ....,1.·).··.',
· , :n , , O ', e-e - .,. , "· ·
s o e s d i M s c .a .a u e s
e ta ta rd r d an an t e i e n
.1lIllt)FC;S.
LV~=~
]I.,
:=UI:t·.··," : ' 1
cemposamcs
me
e n e es es .
C O I e -sp sp- on o n ua uJa -n
du veeteur
clant
'VIi
1,... ,v
aux
es
Uvieut:: xI,J X~"'i.j
' 1 i ' - ~. .' . . ~ . ... . . ... . . . ,
Nn
·R··
( 1 ' : ;;; ; X~ X ; ~ (I'~
'fIi:; It ..
zJ,~)(I
l 'o'o p e r a t e
q. J}
u.· 1'"
.... ,
1'.]
nt ee ex me
ma
1,.. 1,.. ,, VII,i~1
" ''' ' 'm ,p~ . ~ ' " la figure
'nfl 'nfl""--, -,
--'--'-,,-,~. ,~.---
-I
4.
En
pourtm e se se a
il v ] ' e , n t la sclilemalli.sation
mn d e n eu e u ro r o n eess r e cu c u rr r r en en t
ur
xo(t)
figarl!
~:u:r.rent 1.14 Rc:sellu ~:u:r.rent
oneveriable
emen ements ts sous sous
its
auteur
'1
x(t)
z(t+l)
.1(1)
~~lL...-
RN .· R_
IExe;rcices, &e.rcJce " ,c ,c a U se s e r o s f Q nc n c t o ns n s ~o ~o g q u e
a)x '~b) x+
~.c) xy
su van es e)
d)
t) x + y Z
Mini Minime mese ser, r, si po poss ss~b ~ble le,~ ,~~e ~enombre de neur neuron ones es utilises. ~o
ti:!!!!J
a)
'.----x
negadon
emen ements ts sous sous
its
auteur
c)
E e ,T, T '
ou encore encoreplu plu
mpl ment
erne ernent nt sous sous droi droits ts
auteur
17
e)
mp me
E!em E!emen ents ts sous sous croi croits ts
auteur
es
o ne ne t o n
d'acUvadofi
lot)
neurenes
telat1!t
m1J
dutype
rien
nc on
og qa
a)
emen ements ts sous sous
its
auteur
Eq
'.
'_
V'·:.l V'·:.l(u (u +x iY ~ · f ( X " 1 d ed ed u
ab
-U'~Xl
5) 1.S)
+v~O.5)
·vente suivantc ;.\:2
-I
I I I I
Il vient la function. :~ogiquedu e "s "s ea ea u a . u d c ; y:.::·.l:I
emen ements ts sous sous
its
auteur
b)
Equanons da
verite
,~
.~
I
t ~ a f u n c o n logi II v i c n t~ logiQtu Qtu ;::d ;::d
rose roseau au
e~udic
( X i , +x)}
emen ements ts sous sous
its
auteur
CHAP'l'fRE
type.s
1.11.•.
e2(lstc essenriellement
n o s up u p er e r v s e et rappront rappro ntis issage sage supervise.
d'ap d'appr pren enti tiss ssag age, e,
appr apprcn cnti tiss ssag ag
,ex:emples sent patrons prot.otypeS).} de: lois ~ocales qu'orrn laisse s~auto-organiser mo pr 1i q u iri r e g is i s s e n t e v o ~ u t o nd n d e s p o id i d s y na na p q u C em e m o d d 'e 'e pp p p r n t a eg e g e 'est { ~appr,en1iissa.gepar competit~on aussi
II~'~.2 App.rentlssagesupervlse fonctiormement
e s s or or t e s reseau res.eau syna synapi pi qtle qtles. s. trsnsfen me prcscntos.
fo~antapartir pJ Ie;u dlr ·cde d e sv ale urs
entrees donnees
resea reseauu un lui sont pIesentecs~
odif od ifia iant ntle le fihre
S0l11
aJu51cs
peid peid
dent
les
cntrCe150nJie
partir d'un reseau .1 ffectu€ o p , n : s aU a U o n ~ init ids. syrl;a.ptiques,C:tant~eplu8 initia iali lisa sati tion on es me C'
a lg lg o z h m e seuvent atcatoi
11.,2 11.
.superv:ise R :e :e g
C o ns n s id id e F ''oo n va ij
val.cur
,Hebb un
re,5C31!l
me
notations
l'1.nsmnt
emen ements ts sous sous
its
auteur
2. A p p . r e . n t l s s : a g e . fifrte
sortie-a r~nstant
neurone
f:oFJction. d'activatien
\':> v:=:iO.
et
simple La I.o d'appr d'apprent entiss issege egelap laplus lus le c o m p o n e m e n 1 t inte.reGnrn. inte.reGnrn.ec~es ec~es 80m sl:multanement: a.cdves,alors rc~ie doilelre r e :n Jg ~ m e :n f o r c e d " o u a Jg lV~
ij
e xp xp re r e s o n d an a n s a qu qu e e j
'C'5t
de le paid!)
(t)+
connexion
cru~
(t)Zj
u n e c o ns n s ta ta n t p o s v e dClfinissant ~~i[Jt.cnslte,
sa g e del' a p p e n s sa P o u r c,'Viter
f o rc rc em e m e n d e p e d s condaise methode d e n fo p o s si si bl bl ! d ~ i n . od o d u i:i : r e ; d a n s l~alg.orlthrnc l.lO terme cro!)lb~i aa po nf ur est,
gains
note
w~ (I
wij
La
(I):Z
rwij
S:ODlt
effet~
,.let
ma ma
neurones
(I
a c ; t i v . c c s . en m e m e
mps
nc
a .v.v O D S
z. (:t)z .'(.l')..
(I r } W ~ i
l'f/
.. {j
f.
=y
II. 2~.2 Regie de .Kobo'ne.n Cette regIe s,~cc s,~cc .ri
me
(i)·_
·;wij
~i(t)) ( t))
te 1 {1 {1 ' E U e p e i 1 1 l e t a u . n eu e u ro ro n
d o n e d·etre utiltse UapprenHssage
ensemble m~
dCifini
wu
d ~a ~ a pp pp l n d
.I C'Jl.
fonctian
le vecteurpresente
formes. ldl~ ldl~
a.ppanient:
un
objecti fs d C i a in in e
d an an s
n ap ap i
4.
em nt
ou oroi oroits ts
auteur
2 . A p p r e n ' titi 's's s aagg e
IJ~.2.3 .R~g.ie
et·e
deJlni,e pour ·cviner une d . e c r o i s s a n c , e prevoqaerla Ii.gJc de H c b b av'ec oubl~. le L ' a lg lg o n h m e p ro r o p os o s cc c c ta ta n ~.,.(., .. ' 1~\ J - ' . 1 1 I(- ( ··· · ' ) " l\.ij( 1 ' 1J Z"j;
r.~.
avec:
N o u s pouvons
i~ n e u r o n e e s t
constaeer
vlent: h.~;
le veeteur
rcg;te Instarlorsque
(I
f)··.
u,
1 -1- 1 1 " ( .
de
d ~c ~ c es es d e
Ol
Un mo scalaire et Ica.rac:tenSfi! p a
mp
y,
,~e ls que:
me
patron donne dcfinissant~epatron. 3 ! Y O f l S d O A . C u n n eu e u ro ro n
del1egenerertm
lve No
u r P I , : si o n e n e e
(auctions
faim,
.11' instanr
~·l
deperm rmen enre re regIe es depe
patron
r:
'~ equivalent£: type tout o a r i e n e t q u e
cs ac ve
z,
lt
(.
p ( ) . ~ d sest s est dep~nc,6vel's v e e t e u r d'cnlrce, dep~nc,6vel's nonnaliscs,t
ma le f o n c t i o n s d'acti\i'ntion~t)nt
mb
SO:Jilt
+.u . · · ·
e ga g a l e m en e n t a,.res apprendssag.e,
ro n le e ro NODS
),
(Zj;
w....( . . .
(t)::
lj
(j
Sinon,
il:lacllf(z~
1l
'.acHva. '.acHva.don don s o n l d u y p
e.gale
1.
at at n:
f( dc:finie.s· p a r :
/(1)):::::
S;
'~-l si
l}
S]
emen ements ts sous sous
its
auteur
.. Apptel.l.tisMge
:=i=fig!lJI.re 2.1 Reseal Reseal!~~His !~~His pour la ri~gl0outstar
nl
'eg~le
Le
d~obtenir la
p~'p p~'p... . P ~ ~ ~_I r e g i . c ' d~apprenti d~apprentissage ssage impos unoublipropo unoubliproportioe rtioene! ne!
it vieat:
WA;i
tI
( t ) + VPli (t)ttl.. (1)- tnt ( t ))ww
taux de decroissance
(I l):= e S Q i t ~ en . n
ma
l'entree
ega.~.auta autaux ux d"ap d"appr pren enti tiJ~ J~sa sage gev, v,
v n : ~ . (p'lj ( t
wk/
(1))
ci (,IT
( t ))++
'y
p a s d 'a ' a p p re r e n titi ss ss a g e
VlZi
(t)(p~.
w~(t))
II ~ s i : Itt 1'= l,pcHlftr"
1 , l 'a'a p p r e n titi s sa sa g e
e f e c u e e rn rn un u n e i~eraHon.
erne ernent nt sous sous
. . A p p r o : n .l. l isi s s .a. a g e .
I'\Blgle
p e c e p trtr o ,
:Fig,ur:e :Fig,ur:e 2.2P'e.rcept 2.2P'e.rcept
L a e ne n e t o n d ta ta c : v a t o n
.L'o :b : b je je e titi f e s d "a " a p p re re n d r
patrons
h~:s
Notons
pla!lrOilpF~sente
la sortie desiree
l'instant
lt
(t,)
s(t)
=[09
1}
1)
S:~I
(t),
(t)=
(t)r (t)]r
I(YI (t)~. po p',atron
! s o r 1 i c dill
X; 1) n eu e u ro r o ne n e , s u p re r e se se n a t o n
l'lnstant
(t),
1I~3.,2 1I~3.,2 Prlnc,;pe Prlnc,;pe d'
.succcssivcmcnt
wi
'"11'
to'Us ~C5 patruns e,ta
l\l'l' l
~e
consists
presen~er li
du
veeteur
neurone
l3 n t selon selon l~a~go l~a~gorit ritbll bllle leS u i"i" l3
emen ements ts sous sous
its
auteur
2. Appnn.ttisstlg:e
l'~f
lV,{
e~(I p ( t )
('I)
Ww(1)+
'1~(I
No
(t)+
desiree~ le p e i d s
.modlfi.es.
v ie ie n
en no at on mn
Ue
(I
W(t+l)~:,W(/)+epT l~1!I
(1'+1)
"'"'..
'1
~ . i)i ) ,
'''''10
Hi:i
.T
e=
"tV.... '!!
_T
w~o'
II' I;\
11.,3'.3
I;_t'm_
methode, co ap
', a v e c
pa on
( 1 ' ) ;1.
Zi
siwr"
;>
sinon
(,sj
(tn
Zj
etre mille
nulle
Soit E(t)
done;
p
de
C I Q !u !u t
l'instant
l:(Sr (t).(1) oh.p oh .pou ou mini mini is rE(t rE(t
po
,.
S.i'
:1 (t))
»(
%,- 'z
p( ..
du gr,adieJllt ell en du a p p l i q u a n t .~.~a]goriithrne
(aUK
W:
i·····
:.
'-'I}
'-all'
.l
lJ
em nt
ou oroi oroits ts
auteur
Apprentissage
1 ~ t l . . 4 A p p r e n t : l s s a g ' e .supervilse.~,regie Invers·e
Pseudo
Censiderens le
fonc,tio.l1l.
ac,tivation etant: ·~in{mire. ,.,.'
..
.7
1--................
. . . . . . . . . t . . .
detcnnincr1a.pan:~r
est
veeteurs prototypes
p~,~
reseau minimisant la
fllElll
~"".I
Ilsl' (t)-
IIEII
couplcs{
fixcs:~
t)iW
etanl
Damn,t.:
" [P [P I P 2 ~ ' '!
11
,Pq]
£2 ,.•••. ,.•••. ,.Sq..
E=S-WP d ''~~ a ru r u u j e r ~ e t e U t e n pusant:
e .s .s t n v er e r s b le le ~ H ..ee s p o s5 s5 ~ b
W~Sp-l~ pe
@t
p r n am am :
mlnim::de
es»:
U.
que:
Mo
Pell(OI.se~ telle
t= (p'fp (p'fpr1 r1 'f la
is i d iu iu v e c e u s' v o is
correspondJant.
v e e t e u r p,
p~ pr ch de
me fonetlon dt.ac;ttv.a:tlon
«(
egal.emoot sl gne )) et var ab es pr na 1!
reseau os
+L,
emen ements ts sous sous
its
auteur
2. Apprenl SSfJg
Exe,mpte: U :m :m e d " d cn cn t e r
,P-=:
df
m U n e u n rese.au
c8Jpaible
es pa on
' [ ' 1 ] s,-, ,~1""
:=:]
'-
-1]-1
] ,1 ] 1 1
....,1 I~.
Nous
,aVOIilS
UI 11.5 11.5.1 .1 Rese Reseau au'A 'ADA DALI LINE NE (ADA (ADApt ptiv iv Le re
n e a " N E u ro ro n
(fig.
e e qu qu i aetivation u . U s ee
lil1l~aire. iO
x,e:R;" ~J Rill
RtII
C e m m e p o u ~ . P e e cp c p t o .n .n ~ ~ e p la l a n s sCpamteurs d e c la la s e s
pour
equations:
,'~~ HI."" ,r:egle
, d a s s e s peuvenlu
etre
trespr-ochc{; d e p a o n
I,
plans sep:tmteur.s de v an a n t ~'app:rcntissa,gc:;
emen ements ts sous sous
its
auteur
