MLP

Les Multi-Layer Perceptron (MLP) Cl´ ement eme nt Chatel Cha telai ain n 14 novembre 2003

R´ esum´ e

On pr´ esente esente dans ce document les «MultiLayer Perceptrons», type de r´ eseaux ese aux de neur ne urone oness couram cou rammen mentt util ut ilis´ is´es. es. Apr`es avoir pr´esent´ ese nt´e le mod` ele ele connexionniste connexionn iste et les diff´ erents erents types d’architectures d’architectu res de r´ eeseaux, on se focalisera sur les MLP, leur apprentisage et leur application a ` la reconnaissance de chiffres manuscrits. Enfin on explorera brievement brievement les autres types de r´ eseau, eseau, en particulier les r´ eseaux eseaux a` connexion conn exionss r´ ecurrent ecur rentes. es.

Table ab le des de s mati` ma ti` eres er es 1 Intro duction : Le mo d` ele connexionniste

1.1 Topo pollogi ogies de r´eseau eaux de neuron onees . . . . . . . . . . . . . . . . 1.2 Le neurone formel . . . . . . . . . . . . . . . . . . . . . . . . . 2 Le Multilayer Perceptron

2

2 3 5

2.1 La r´etropr roprop opaagati gation on du grad gradiient . . . . . . . . . . . . . . . . . 2.2 2.2 Inte Interp rpre reta tati tion on prob probab abil ilis iste te des des sort sortie iess d’un d’un MLP MLP . . . . . . . . 3 Les MLP et la reconnaiss issance des chiffr iffres manuscrits

5 8 9

3.1 Avantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2 Inconv´enients . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.3 Des exemple exempless d’utilisati d’utilisation on des MLP en reconnai reconnaissance ssance du manuscrit. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.4 3.4 Am´ Am´elio e liora rati tion on des des perfo perform rman ance cess d’un d’un MLP MLP . . . . . . . . . . . 11 4 Autres types de r´ eseaux de neurones

11

4.1 Le Time Delay Neural ral Network (TD (TDNN) . . . . . . . . . . . . 12 4.2 4.2 Exem Exempl plee d’ut d’util ilis isati ation on d’u d’un n r´ r´esea e seau u r´ r´eccu e ccuren rentt . . . . . . . . . . . 12 4.3 Le Mult MultiLa iLay yer Con Convo volut lution ionnal nal Neural Neural Netwo Network rk (MLC (MLCNN) NN) . . . 13 1

1

Introduction : Le mod` ele connexionniste

Dans un mod`ele statistique, la connaissance, c’est a` dire la distribution des classes, est repr´esent´ee par un mod`ele math´ematique (exemple : gaussienne) dont les param`etres doivent ˆetre estim´es. Ces mod`eles constituent une limitation : ils ne seront jamais qu’une approximation de la «forme» des classes. Le mod`ele connexionniste surmonte ce probl`eme en representant la connaissance sous la forme d’un r´eseau. Il s’agit d’un r´eseau d’unit´es ´elementaires reli´ees par des arcs pond´er´es. C’est dans ces connexions que r´eside la connaissance, et celle ci peut prendre un forme plus vari´ee qu’avec un mod`ele math´ematique pr´ed´efini. Le but va ˆetre d’apprendre au r´eseau a` fournir les sorties voulues pour un ensemble de valeurs d’entr´ee. Pour cela, on se basera sur un tr`es grand nombre d’exemples qui vont permettre d’ajuster les param`etres - les poids des connexions - de mani`ere a` obtenir les sorties d´esir´ees en fonction des entr´ ees. On voit donc pour cela qu’il faut disposer d’une base d’apprentissage ´etiquett´ee : il s’agit d’apprentissage supervis´e.

1.1

Topologies de r´ eseaux de neurones

Il existe plusieurs topologies de r´eseaux de neurones : – Les r´eseaux multicouche : Ils sont organis´es en couches, chaque neurone prend g´en´eralement en entr´ee tous les neurones de la couche inf´erieure. Ils ne poss`edent pas de cycles ni de connexions intra-classe. On d´efinit alors une «couche d’entr´ee», une «couche de sortie», et n «couches cach´ees». Ce type de r´eseau est tr`es r´epandu, du fait de son apprentissage ais´e (voir §2.1.2). – Les r´eseaux a` connexions locales : On reprend la mˆeme structure en couche que pr´ecedemment, mais avec un nombre de connexions limit´e : un neurone n’est pas forc´ement connect´e a` tous les neurones de la couche pr´ec´edente. – Les r´eseaux a` connexion r´ecurrentes : On a toujours une structure en couche, mais avec des retours ou des connexions possibles entre les neurones d’une mˆeme couche. – Enfin dans les r´eseaux a` connexions compl`etes, tous les neurones sont interconnect´es (Cf. Le mod`ele de Hopfield  et lamachine de Boltzmann , mis `a part l’autoconnexion). 2

Fig. 1 : Exemple de r´ eseau multicouche ` a 1 couche cach´ ee, 3 entr´ e es et deux sorties.

Fig. 2 : Exemple de r´ eseau ` a connexions locales.

1.2

Le neurone formel

Le neurone formel est une unit´e ´el´ementaire. Il effectue la somme pond´er´ee de ses entr´ees, et la soumet a` une fonction non lin´eaire d´erivable : Pour un neurone formel poss´edant n entr´ees, le neurone effectue la somme pond´er´ee : n

y=



wi xi

i=1

puis «active» sa sortie grˆ ace a` une fonction non lin´eaire :

3

(1.1)

Fig. 3 : Exemple de r´ eseau ` a connexions r´ ecurrentes.

Fig. 4 : Exemple de r´ eseau ` a connexions compl` etes.

Fig. 5 : Neurone Formel

n

z = f (y ) = f (

 i=1

4

wi xi )

(1.2)

Plusieur fonctions sont utilis´ees pour l’activation : La fonction sigmo¨ıde : g (a) =

1 1 + exp(−a)

(1.3)

La fonction de Heavyside : g (a) = 0 si a < 0; 1 sinon. Une gaussienne : : g (a) = exp

2

  −a2

2

(1.4)

Le Multilayer Perceptron

Les Multilayer Perceptron (MLP) appartiennent au r´eseaux multicouche [1] : ils ne poss` edent donc pas de boucle de retour, ils sont «Feed-forward». Les MLP poss`edent une fonction d’activation de type sigmo¨  ıde ou de heavyside (voir §1.2). Le MLP est une extension multicouche du perceptron, qui est un r´eseau a` une couche, assez limit´e. Il utilise un algorithme d’apprentissage tr`es r´epandu car facile a` impl´ementer : la r´etropropagation du gradient, qui utilise une erreur quadratique moyenne.

2.1 2.1.1

La r´ etropropagation du gradient Principe

La r´etropropagaton du gradient consiste a` propager «`a l’envers» (de la couche de sortie vers la couche d’entr´ ee) l’erreur obtenue sur les exemples de la base d’apprentissage. On utilise pour cela l’erreur quadratique, i.e. le carr´e de la diff´erence entre ce qu’on obtient et ce qu’on d´esire. Si on calcule la d´eriv´ee partielle de l’erreur quadratique par rapport aux poids des connexions (d’ou le «gradient»), il est possible de determiner la contribution des poids a` l’erreur g´en´erale, et de corriger ces poids de mani`ere `a se rapprocher du r´esultat souhait´e. La correction se fait par it´eration en corrigant plus ou moins fortement les poids par l’intermediaire d’un coefficient η. A l’issue d’un certain nombre d’it´erations, lorsque qu’on est satisfait du classement des exemples de notre base d’apprentissage, on fixe les poids qui constituent ainsi des fronti` eres entre les classes.

5

2.1.2

Algorithme

Definition du reseau

Consid´erons un r´eseau a` une couche cach´ ee. Le

r´eseau poss`ede : – Une couche d’entr´ee a` m cellules d’entr´ees xi = ei (Il ne s’agit pas de neurones, ces cellules pr´esentent simplement les entr´ees ei au r´eseau). – Une couche cach´ee a` n neurones d’activation y j – Une couche de sortie a` p neurones d’activation zk – n × m connexions entre la couche d’entr´ee et la couche cach´ee, chacune pond´er´ee par v ji – m × p connexions entre la couche cach´ee et la couche de sortie, chacune pond´er´ee par wkj

Fig. 6 : Exemple de r´ eseau MLP ` a une couche cach´ ee avec 5 entr´ ees, 3 neurones dans la couche cach´ ee, et quatre sorties.

ETAPE 1 : Initialisation des poids des connexions

choisis au hasard. 6

Ces poids sont

ETAPE 2 : Propagation des entr´ ees d’entr´ee : xi = ei .

Les ei sont pr´esent´ees a` la couche

On propage vers la couche cach´ ee : m

y j = f (



xi vij + x0 )

(2.1)

i=1

puis de la couche cach´ee vers la couche de sortie : n

zk = f (



y j wkj + y0)

(2.2)

 j =1

Les valeurs x0 et y0 sont des biais : des scalaires et non des sorties de la couches pr´ec´edente. La fonction d’activation f  est choisie au §1.2. Pour chaque exemple de la base d’apprentissage appliqu´e en entr´ee du r´eseau, on calcule son erreur sur les couches de sorties, c’est a` dire la diff´erence entre la sortie d´esir´ee sk et la sortie r´eelle zk : ETAPE 3 : r´ etropropagation de l’erreur

E k = zk (1 − zk )(sk − zk )

(2.3)

On propage cette erreur sur la couche cach´ ee ; l’erreur de chaque neurone de la couche cach´ee est donn´ee par :  p

F  j = y j (1 − y j )



wkj E k

(2.4)

k=1

ETAPE 4 : Correction des poids des connexions

Il reste a` modifier

les poids des connexions : Entre la couche d’entr´ee et la couche cach´ee :

   

∆wkj = ηy j E k (2.5) ∆x0 = ηE k

Entre la couche cach´ ee et la couche de sortie : ∆v ji = ηxi F  j (2.6) ∆y0 = ηF  j

η ´etant un param`etre qu’il reste a` determiner.

7

BOUCLER ` a l’´ etape 2 2.1.3

jusqu’`a un crit`ere d’arrˆet a` d´efinir.

Remarques concernant l’algorithme de retropropagation

Lecun [2] remarque que le crit`ere global de l’algorithme de retropropagation n’est pas convexe, ce qui implique plusieurs points : – ∃ plusieurs configurations du vecteur solution w . – Il est possible de tomber dans un minimum local si le r´eseau a ´et´e mal dimensionn´e (nombre de neurones pas assez important) – La configuration de d´epart (valeurs al´eatoires de la matrice w ) ainsi que l’ordre de pr´esentation des exemples lors de l’apprentissage influe sur la solution finale. On voit ici qu’on ne contrˆole pas enti`erement le comportement du r´eseau lors de l’apprentissage. Le crit`ere d’arrˆet n’est pas forc´ement ´evident a` d´efinir. Plusieurs solutions : soit on d´ecide d’arreter quand les erreurs r´esiduelles sont inf´erieures `a un certain seuil, soit on regarde le comportement du r´eseau tout au long des it´erations sur une base de validation, et on arrˆete quand commence le ph´enom`ene de sur-apprentissage (Voir §3.2). De mˆeme, le param`etre η se d´etermine empiriquement.

2.2

Interpretation probabiliste des sorties d’un MLP

Selon Richards [3], les sorties d’un r´eseau multicouche estiment des probabilit´es bayesiennes quand on utilise une fonction coˆ ut des moindres carr´es. Cela est valable pour un r´eseau RBF, un r´eseau polynomial avec un ordre grand, et les MLP. Bridle [4] pr´econise l’utilisation de la fonction «Softmax» pour obtenir en sortie d’un MLP des vraies probabilit´es. Pour cela, il suffit de considerer les sorties du MLP comme des variables issues d’un processus stochastique ; elles v´erifient alors les propri´et´es (cf. §2.7), o`u les o j repr´esentent les N  sorties du MLP. L’utilisation de la fonction softmax  garanti ces conditions.

8

  

o j > o ∀ j N   j =1 o j

(2.7) =1

La fonction softmax est la suivante : O j =

e jI 



k

eI k

(2.8)

o`u les O sont les sorties, I  les entr´ees. Il peut ˆetre tr`es interessant d’avoir ce type de sorties : par exemple les HMM (Hidden Markov Mo del, Cf.[5]) requierent des probabilit´es et non de simples taux de confiance relatifs.

3

Les MLP et la reconnaissance des chiffres manuscrits

On se place ici dans le cas de la reconnaissance de chiffres manuscrits. Quels sont les avantages et les inconv´enients des «Multilayer Perceptrons» ? Comment tirer parti de ces avantages en s’affranchissant de ses limitations ?

3.1

Avantages

Les MLP sont rapides lors de la d´ ecision : execution de fonctions non lin´eaires de combinaisons lin´eaires ; voir le comparatif de Liu [6] des temps de traitements de diff´erents classifieurs sur les chiffres manuscrits. Cela autorise l’utilisation de vecteurs de caract´eristiques assez important, ce qui augmente le pouvoir discriminant du classifieur. De plus, ils permettent d’obtenir en sortie des probabilit´es (voir §2.2), ce qui est pr´ecieux pour l’interpretation des r´esultats. L’impl´ementation d’un MLP est ais´ee, et donne g´en´eralement des r´esultats satisfaisants. Les r´eseaux de neurones, du fait de leur structure, sont capables de determiner des fronti`eres de d´ecision complexe. C’est aussi l` a un d´efaut : une fronti`ere de d´ecision complexe aura tendance a` bien classer les exemples de la base d’apprentissage, au d´etriment de sa capacit´e a` g´en´eraliser (ph´enom`ene de sur-apprentissage).

9

3.2 3.2.1

Inconv´ enients Probl` eme du dimensionnement

Le gros probl`eme des MLP est qu’on ne peut pas connaitre a` priori les dimensions du r´eseau pour un probl`eme donn´e. L’experience montre qu’il n’est pas n´ecessaire d’avoir plus d’une couche cach´ ee : Liu [7] montre par exemple qu’il obtient de meilleurs r´esultats avec un r´eseau a` une couche cach´ ee de 150 neurones plutˆ ot qu’avec deux couches cach´ees de 65 puis 39 neurones en reconnaissance de lettres segment´ ees manuscrites. En revanche, on ne peut pas determiner a` priori le nombre de neurone de la couche cach´ee necessaire a` un probl`eme donn´e. Le η permettant d’ajuster les poids des connexions (voir §2.1.2) est ´egalement d´elicat a` optimiser ; il est n´ecessaire de regler ces param`etres «en tatonnant», c’est a` dire qu’on regarde le comportement du r´eseau sur la base d’apprentissage, et on choisit la meilleure configuration. 3.2.2

Probl` eme du sur-apprentissage

Un autre param`etre doit ˆetre trouv´e empiriquement : le nombre d’it´erations lors de la phase d’apprentissage. Celui ci est primordial puisque il apparait au bout d’un certain nombre d’it´eration le ph´enom`ene bien connu du «sur-apprentissage» ou «overfitting» ; durant lequel le MLP commence a` apprendre par cœur les exemples de la base d’apprentissage et perd sa capacit´e a` g´eneraliser. En utilisant une base de validation, on peut calculer l’erreur de g´en´eralisation du r´eseau en fonction du nombre d’it´eration. On choisira naturellement le nombre d’iteration qui minimise l’erreur de g´en´eralisation. Ainsi une limitation du MLP est qu’il n´ecessite des bases d’apprentissages cons´equentes. 3.2.3

Probl` eme des minima locaux

Nous avons vu en §refremarques qu’il ´etait possible de tomber dans des minima locaux. Cela est caract´eristique des m´ethodes a` gradient [8]. En lancant l’apprentissage plusieurs fois avec des initialisations diff´erentes des poids des connexions, on verifie que ce n’est pas le cas. On peut ´egalement ajouter une composante al´ eatoire dans les poids pour explorer des coins de l’espace des param`etres que l’algorithme n’explore pas (principe du recuit simul´e).

10

3.3

Des exemples d’utilisation des MLP en reconnaissance du manuscrit.

Du fait de ses nombreux avantages, on retrouve fr´equemment les MLP en reconnaissance de l’´ecriture manuscrite. Morita [9] l’utilise coupl´e a` un HMM pour la reconnaissance de dates manuscrites, comme Leroux [10] pour la lecture des montants num´eriques de ch`eques. A2iA [11] a ´egalement un MLP a` une couche cach´ee, sorties softmax  dans une combinaison de classifieurs pour la reconnaissance de caract`eres. La mˆeme combinaison HMM-MLP est utilis´ ee par Tay [12] pour la reconnaissance de mots manuscrits. L’architecture du r´eseau est la suivante : 140 entr´ ees, 200 neurones dans la couche cach´ ees, et 67 neurones en sortie avec utilisation de la normalisation softmax . Du fait de sa rapidit´e, le MLP peut ˆetre utilis´ e en premier dans une combinaison s´equentielle de classifieur. Bellili [13] exploite cette particularit´e : il soumet la forme a` un classifieur SVM lorsque le MLP h´esite entre deux classes. On touche ici au probl`eme de g´en´eralisation : lors de l’apprentissage, les MLP se contentent de bien classer les exemples de la base d’apprentissage, alors que les SVM minimisent la marge de part et d’autre de la fronti` ere de d´ecision sous la contrainte de bon classement des exemples.

3.4

Am´ elioration des performances d’un MLP

Les performances d’un MLP peuvent ˆetre am´elior´ee grˆ ace a` des techniques de boosting  [14]. R¨atsch montre qu’une technique de boosting revient a` implementer une SVM (Selection de «Support Vector» parmi la base d’exemple).

4

Autres types de r´ eseaux de neurones

Il existe d’autres types de r´eseaux de neurones (voir §1.1) tels que les Radial Basis Function (RBF). Ils poss`edent la mˆeme architecture «Feedforward» que les MLP, mais la fonction non lin´eaire des neurones de la couche cach´ ee est une gaussienne. Les neurones de la couche de sortie n’ont pas d’activation (somme pond´er´ee uniquement). Les r´eseaux a` connexions r´ecurrentes sont ´egalement utilis´es en reconnaissance. La r´ecurrence permise dans l’architecture du r´eseau fournit une capacit´e de m´emoire lors de balayages de signaux. Il est ainsi possible d’explorer des signaux «temporel», ou, dans le cas de reconnaissance de l’´ecriture manuscrite, des mots entiers.

11

4.1

Le Time Delay Neural Network (TDNN)

Agarwal utilise un Time Delay Neural Network (TDNN) [15]. Le TDNN est un r´eseau a` connexions r´ecurrentes (voir §1.1) qui prend en entr´ee des fenˆetres de l’image en effectuant un «Shift horizontal» sur celle ci. La derni`ere couche du r´eseau regroupe les infos donn´ees par chaque fenˆetre de l’image shift´ee. En utilisant ce principe, on obtient une abstraction de la position des particularit´es (intersection de traits, etc.) dans l’image. Ce type de r´eseau est ´egalement utilis´e en reconnaissance de la parole pour trouver les voyelles dans les longs discours, ou encore en biochimie.

4.2

Exemple d’utilisation d’un r´eseau r´eccurent

Senior [16] d´ecrit l’utilisation d’un r´eseau r´ecurrent pour la reconnaissance de l’´ecriture manuscrite cursive. Les r´eseaux r´ecurrents sont bien adapt´e aux signaux temporels tels que la parole, ou le processus de reconnaissance est r´ep´et´e tout au long du signal. L’adaptation a` l’´ecriture manuscrite se fait en consid´erant que l’axe des abscisses correspond au temps.

Fig. 7 : Exemple d’architecture d’un R´ eseau r´ ecurrent .

Le r´eseau r´ecurrent utilis´e par [16] ne poss`ede qu’une couche de type perceptron. Chaque neurone est connect´e a` toutes les entr´ees, mais seule une partie des entr´ees recoit l’information de l’image. L’autre partie recoit le retour de la couche de sortie avec un certain retard («delay»). De mˆeme, seule une partie des neurones de sortie fournit les probabilit´es des caract`eres. L’autre constitue la boucle de retour (Voir figure 7). Le retard choisit est de 2 «frames» (images shift´ees). 12

L’apprentissage est effectu´e grˆ a ce a` l’algorithme de retropropagation du gradient, leg`erement modifi´e puisqu’on ne retropropage l’erreur de sortie non pas a` travers les couches mais «`a travers le temps». Pour cel` a, on consid`ere chaque nouvel instant comme une nouvelle couche. Comme un nouvel instant est cr´e´e a` chaque nouvelle frame, il y a autant de couches que de frame d’entr´ ee. Puis la correction des poids est faite de mani`ere classique a` travers les couches.

4.3

Le MultiLayer Convolutionnal Neural Network (MLCNN)

L’architecture du MLCNN [17] est faite pour minimiser sa sensibilit´ e aux rotations , translations, distortions des caract`eres manuscrits. Les auteurs l’utilisent dans le cadre de la reconnaissance de caract`eres manuscrits «OnLine». C’est un r´eseau capable de travailler sur de tr`es large champs d’entr´ee, par exemple un mot entier (non segment´e). Il ne produit pas un vecteur de sortie mais plusieurs, ainsi on peut detecter des caract`eres a` diff´erents endroits dans le mot. Le MLCNN est un r´eseau multicouche a` connexions locales (voir §1.1) : chaque unit´e est connect´ee a` un partition des neurones de la couche pr´ec´edente. De plus, on va forcer plusieurs ensembles de neurones a` diff´erents endroits du r´eseau a` utiliser les mˆ emes poids, ce qui permettra la detection de la mˆeme caract´eristique a` diff´erents endroits. Selon Bengio, on peut donc voir chaque unit´e comme un «d´etecteur de caract´eristique local dont la fonction est determin´ee par le processus d’apprentissage». Le partage des poids implique une baisse du nombre de param`etres. Burges [18] utilise par exemple un r´eseau «feed-forward» (sans boucle de retour) a` convolution pour la reconnaissance de chiffres manuscrits qui poss`ede 150 000 connexions. Cependant et du fait du partage des connexions, seuls 3658 param`etres sont a` determiner. Concernant l’apprentissage, Bengio et Le Rec utilisent une variante de l’algorithme de la retropropagation du gradient. Le r´eseau est d’abord entrain´e sur des caract`eres segment´es, puis sur des mots entiers. Malgr´e un conception un peu obscure (pas tout compris...), ce r´eseau semble presenter certains avantages : une abstraction de la positon des caract` eres dans le vecteur d’entr´ees, ce qui permet de ne pas segmente les composantes. On retrouve un peu les qualit´es du TDNN.

13

R´ ef´ erences Neural Networks for Pattern Recognition . 1995.

[1]

C.M.Bishop,

[2]

LeCun,

[3]

M.D. Richard,

[4]

J.S.Bridle,

[5]

L.R.Rabiner,

[6]

C.L.Liu,

[7]

J.Liu,

[8]

A.Cornu´ ejols,

Y. Modeles connexionnistes de l’apprentissage (connectionist  learning models). PhD thesis, Universit´e P. et M. Curie (Paris 6), June 1987. R.P. Lippman, “Neural network classifiers estimates bayesian a posteriori probabilities”, Neural Computation , 1991. “Probabilistic interpretation of feedforward classification n etwork outputs, with relationships to statistical pattern recognition”, Neuro-computing : Algorithms, Architectures and Applications, 1989. “A tutorial on hidden markov models and selected applications in speech recognition”, 1989. K.Nakashima, H.Sako H.Fujisawa, “Handwritten digit recognition using state-of-the-art techniques”, IEEE , 2002. P.Gader,“Neural networks with enhanced outlier rejection ability for off -line handwritten word recognition”, Pattern Recognition , 2002. L.Miclet, Apprentissage artificiel, concepts et algo-

rithmes. 2002. [9]

M.Morita, R.Sabourin, F.Bortolozzi C.Y.Suen, “Segmentation and

re-

cognition of handwritten dates”, IWFHR, 2002. [10]

M.Leroux,

E.Lethelier, M.Gilloux and B.Lemarie, “Automatic reading of handwritten amounts on french checks”.

[11]

S.Knerr, V.Anisimov, O.Baret N.Gorski D.Price and J.C.Simon ,“The

a2ia interch`eque system : Courtesy amount and legal amount recognition for french checks”, 1996. [12]

Tay,

Y., P. Lallican, M. Khalid, C. Viard-Gaudin and S. Knerr, “An offline cursive handwritten word recognition system”, 2001.

[13]

Bellili,

[14]

R.Meir

[15]

A.Agarwal,

[16]

Senior ,

A., M. Gilloux and P. Gallinari . “An hybrid mlp-svm handwritten digit recognizer”. In ICDAR’01 (2001). and G. R¨ atsch. An Introduction to Boosting and Leveraging . 2003, pp. 119–184. L.Granowetter, K.Hussein and A.Gupta, “Detection of  courtesy amount block on banck checks”, 1995. A., “Robinson an off–line cursive handwriting recognition sys-

tem”.

14

[17]

Bengio ,

Yoshua, Yann LeCun, Craig Nohl and Chris Burges, “LeRec : A NN/HMM hybrid for on-line handwriting recognition”, Neural  Computation , vol. 7, no. 6, 1995, pp. 1289–1303.

[18]

C.J.C. Burges,

J.I. Ben, J.S. Denker and Y. et al. Lecun, “Off line recognition of handwritten postal words using neural networks”, Pattern  Recognition , 1993.

15