�������� ����� ������ � ������� ��������
������ ������
��� ���� ���� ������ �����
����������� ���� �������� (���) ����� ���������� ����������� ����������� ��������� � ����� ����� ����. +62�21�7862719/7863439, F��. +62�21�7863439, E����. ������@��.��.��
������� �������� Input
� 1 � 2 : � �
Metode
Output
�( � ,� )
�����������, �������, ����������, ���
• �������������: �������������: ������������ ���� (����� ������ ������), ���������/���������
����� ���� ����, ����� �� = ( � � 1 , � 2 , .., � �)� • ��������: ��������: ��������� ����� ��� ��������� ��������� ������, ����� �,
����������� ���� ��������� (�������� ( �������� ����) ����) • �������: �������: ��������� ������ ������ ���� ������� ( ������� ����) ����) ���� �����
���� ������ ���� ���������, �������� ������� ����� �������� ����� ����������� ������������ ���� ������. 2
�������� D�������� ���� ��������� � � , � � 1 �� �, ���/���� � � , � � 1 �� � •
���������� ��������. D��� ��������� �������� ������, ����� ���, ���, � = 1 �� �. ������ ������������ ������ ��������� ����� ���� ����� ������������ ������ ���� ����� ����� ����� ���� �����, ����� ����� �������, �������������, ������� �������, �������, ���
•
������������ ��������. D��� ��������� ����� �������� ������, ����� ��, � = 1 �� �. ������ ������������ ������ �������� ����� ���� ����� ��������� ��������/��������/����� ����������� ���� ���� ���������, ���� ����� ��������� �����: ������������� (����������), ������� ������� (��������� ���������), �����������, ��� 3
���������� �������� • �������
– ����� ������ � � �������� ������� (����) – B�������� ����������� ������ ���� ���� ���� ������ ������
• �����������
– ����� ������ � � �������� ������� (�����) – B�������� ��������������� ���� ���� ������ ������ 4
����� ������ •
����� ���� ���� ��������� ����� ������������� ������� ����������� ��� ������� ������ ����� ������, ����� ����� ���� ��������� ��������� ������ ���� ������ �����:
D����� � = ( � 1 , � 2 , ..., � �)� ������ �������� �����, ��� � = (� 0, � 1, ..., � �)� ������ ���������, φ φ( � ) ������ ������ �����, � ������ ������ ����� ��������� ���� ����� • B�������, •
φ 0( � ) � 1, �������� �0 ��������� ������� ����
A�� ������ ������� ���� ������� ����� ������ ����� φ ), ����� ������ ������, φ( � ������ ����������, ������ ��������, ������ ���������, ��� 5
����� ������ ������� D������
•
����� ������ �������� ����������� ���� ������� ���� ���� ����� ��������� ������ ��������. ���������� ����� ������ ������ ���������� ���������� ���� ������ ������ �������� ������������ ���� �������� ������� ���������� ���� ������� ������� (����� �� ��������������) 2
y x , w � w 0 w 1 x w 2 x w 3 x
3
1
D3
����� ����� ������ �, ���� ����������� ������ ��������� � ����������� ������ D�
6
����� ������ ���������� A���������
•
Pendekatan alternatif adalah menentukan jumlah fungsi basis didepan, akan tetapi masing-masing fungsi basis tersebut adaptif terhadap semua data pembelajaran.
•
Dengan kata lain, menggunakan bentuk parametrik tidak linear dimana nilai-nilai parameter adaptif selama proses training.
•
Contoh metode yang menggunakan pendekatan ini adalah neural networks (NN).
7
����� ������ ���������� �������������
•
Untuk menerapkan metode ini pada masalah skala besar, pendekatan umum yang dilakukan adalah membuat fungsi basis dapat beradaptasi dengan data pembelajaran, dan menetapkan data pembelajaran tersebut sebagai pusat fungsi basis. Selanjutnya, memilih sebagian dari data pembelajaran tersebut selama proses pelatihan (nonparametrik).
•
Dasarnya adalah bahwa data real biasanya memiliki sifat mulus, artinya perubahan sedikit pada data input hanya akan memberikan sedikit perubahan pada output
•
Penggunaan fungsi kernel sebagai fungsi basis adalah salah satu contoh pendekatan seperti ini yang banyak digunakan saat ini. 8
������ ������ F����� ������ : C�����
•
����� ���� ������ ������ ������ ���� ������ ��������� ������ �������� ������ ����� �������� (�BF), �����: �( � , � ') � φ (�� � � � '��) � ���(��� � � � '��2 / 2�2 ) ������ � ' ������ ������ ���� ������� ���� ���� ���������.
•
C�����: ������ ����� ������ �����/���� �' = 5 ��� ����� � = 0.04 ����� ����������� ���: � * �(�,5) = 0.04 * φ (�������) = 0.04 * ���(�����5�� 2 / 2�2) 9
F����� ������ D�������
•
F����� ������ ������ ����� ������ � ���� ���� ����� ����� ������ ����� � , � ���� �������� ������� �( � , � ) � φ ( � )� φ ( � ) ������ φ ( �) ������ ������ �������� ���� ����� ����� �� ����� �����
•
D����� ���� ����, ������ ������ ������ ������ ����� ���� ����� (����� ������� ) ���� ����� �����.
10
F����� ������ C����� •
C����� 1: �( , � ) � ( � � � )2 ������ ������ ������ ����� � , � ∈ �2 � B����: ����� �=(�1,�2), �=(�1,�2) ���� ( � � � )2
= (� 1�1 + � 2�2 )2 = � 12�12 + 2� 1�1 � 2�2 + � 22�22 = (� 12 , √2 � 1 � 2 , � 22 )� (�12 , √2 �1�2 , �22 ) = φ ( � )� φ ( � )
�������� �(�,�) = (���)2 ������ ����� ������ ������ ������ ������ �������� ) � (� 12 , √2 � 1 � 2 , � 22 ), ����� ����� ������ �������� ���� �2 �� �3 φ ( � 11
F����� ������ A���������� ����� ����� �������
•
•
D��� �������� ��� ������ ���������� ���� �������� ����� ���� ���� �������� ����� ������ ������ ���� ���� ����� ���������� ����� ������� ���� ����� ����� ������ �������� ���� ����� ����� ����� ������ ��������� ���������� ��������� �������� ������������� ������ ����� ���� ����� ����� ����� ������� ������ ������� ���� ������ ������� ������ ������ ���� ��������� ������ ��������� �������� ���� ���� ���� ����� �����, ����� ����� ���������� �����: ��φ ( � )�φ ( � )��2 = φ ( � )� φ ( � ) + φ ( � )� φ ( � ) � 2φ ( � )� φ ( � ) � �( � , � ) + �( � , � ) � 2�( � , � ) 12
F����� ������ ���������� 1 •
���������� ������� ������ ������� ����� ������ �������� φ ( � ) ��� �������� �������������� ����� �������������� ������ ������ ���� ���: M T
∑ x x '
k x , x ' � x x ' �
i
i
i �1
i x � x
i
k x , x ' untuk x ' � 0 13
F����� ������ ���������� 1 •
C����� ���� ����� ������ ����� G�������: M T
∑ x x '
k x , x ' � x x ' �
i
i
i �1
�
i x � exp −
2
x −i 2s
2
�
k x , x ' untuk x ' � 0 14
F����� ������ ���������� 1 •
C����� ���� ����� ������ ����� �������: M T
∑ x x '
k x , x ' � x x ' �
i
i
i �1
i x �
x −i s
dimana a �
1 1 exp −a
k x , x ' untuk x ' � 0 15
F����� ������ ���������� 2 •
���������� ���������� ������ ������ ���� �������������� ������ ������ ������ ��������. �����������, ���� ����� ���������� ����� ���� �� �������� ������ ����� ������ ������ ���� �����, ����� ����� ����� ������� ���� ����� �����. C�����: ���� C����� 1, �(�,�') = (���')2 ������ ����� ������ ������, ������ �� ��������� ���� ����� ����� ������� , ����� �( , � ') � φ ( � )� φ ( �� ), ���� ����� ����� ���� � 2 ������������ ���� ������ �������� φ ( � ) � (� 1 , √2 � 1 � 2 , � 22 )
•
������ ����, ����� ���������� ����� �( � , � ') ������ ������ ������ ����� ������ ��������� ������������� φ ( � ) ������ ����������� ������� ������� ���: �������� ����� ��� ����� ����� ����� ������ �( , � ') ������� ����� ������ ������ � ���� ����� ������ ����� ������ ���� �, ������ ��������������� ������ �( � � , � � ), ����� ����������� ������� ����� ����� ��������� ���� ������� ���� �������� � � �� 16
F����� ������ ���������� 3 •
���������� ���� ����� �������������� ������ ������ ����, ����� �(�,�'), ������ ����������� ������ ������ ���� ����� ��������� ���� ����� ���, ����� � 1(�,�') ��� �2(�,�'), ����������� ����������� ������� ���: 1. �(�,�') = � �1(�,�')
6. �(�,�') = �1(�,�') �2(�,�')
2. �(�,�') = �(�) �1(�,�') �(�')
7. �(�,�') = �3(φ ( � ),φ ( �� ))
3. �(�,�') = � (�1(�,�')) 4. �(�,�') = ���(�1(�,�'))
8. �(�,�') = �� A �' 9. �(�,�') = ��(��,��') + ��(��,��')
5. �(�,�') = �1(�,�') + �2(�,�')
10.�(�,�') = ��(��,��') ��(��,��')
������ � > 0 ������ ���������, �(.) ������ ����� ������, �(.) ������ ����� ���������� ������ ��������� ����������, φ ( � ) ������ ����� ������ ���� � �� � �, �3(.,.) ������ ����� ������ ���� � �, A ������ ����� ������ ������� ����������� �������, �� ��� �� ������ �������� � = (� �,��), ��� � � ��� �� ������ ������ ������ ���� ����� ���� �����������
17
F����� ������ ���������� 3
C�����: �(�,�') = ���(���� � �'��2/2σ 2 ) ������ ����� ������ ������ ������� ���� ������ ���� ������ ������ 'G�������' ���� ������ ������ ����� �������� (�BF). B����: ������ ��� � �'��2 = ��� + (�')��' � 2 ���, ���� �(�,�') = ���(����/2σ 2 ) ���(���'/σ 2 ) ���(�(�')��'/2σ 2 ). D����� ����������� ������� 1, 2 ��� ������� 4, ��� ����� � 1(�,�') = ��� ������ ������ ������, ���� �( �,�') ������ ����� ������ ������
18
F����� ������ C����� ������� •
������ : �(��, � �) = ��� � �
•
���������� : �(��, � �) = (γ ��� � � + �)�, ������ γ > 0
•
������ ����� �������� (�BF) :
�
∥ x i − x j∥2 k x i , x j �exp − 2 2 •
�
������� : T
k x i , x j � tanh x i x j r , dimana tanh a � 2 a −1, dan a �
1 1exp a 19
������ ������ ����������
•
F����� ������ ������������ ���� ����� ������������������� ����� ����� ���� ����� ������� ����� ������ (����� �����) ����� ����� �������������� ������ �������� ���� ����� ����� �� ����� ����� (C����� ���� ������� 11)
•
��������, ����� ����� ���� ���� �������� ��������� ���� ����� �����, ���������� ���� ������� �������� ��������� ���� ����� �����
•
�����������, ���� ����� ����������� ���������� ������� �������� �������� ������ ������� 20
������ ������ ����������
•
������ ����, ��� ��� ���� ���������� ������ ������ ���� ������� ��������, �����: – ���������� ��������, ����� ������ ������ ��������� ������� ������ ����� ���� ����� ������� �������� ��������, ������: ������ ����� �������� �������� – ���������� ����� �������� ������� ������ ����� , ����� ����������������� ����� ����� ������� ������������ ���� ���� ���������� ����� ������� ���� ������ ��������, ������: ������� ������ �������, ������ ������ ����������, ������ ����������, ���
������ ������ ������ �����
1 2 ∥w∥ 2
arg min w ,b
T
t n w x n b 1, n � 1, .. , N
s.t.
N
a � L
N
N
N
N
N
N
1 T T a n a m t n t m x n x n − a n a m t n t m x n x n − b a n t n an 2 n�1 m�1 n �1 m� 1 n �1 m�1 n �1
∑∑
N
∑∑
N
N
N
N
∑∑
∑
1 T � an − a n a m t n t m x n x m 2 n �1 n �1 m�1
∑ N
∑∑
1 � an − a n a m t n t m k x n , x m 2 n�1 m�1 n �1
∑
∑∑
N
N
N
1 a � arg max L an − a a t t k x n , xm 2 n � 1 m �1 n m n m a n�1
∑
s.t.
a n 0, n �1, .. , N N
∑a n �1
t � 0
n n
∑∑
��������� •
B�����, C. H., ������� ����������� ��� ������� ��������, ��������, 2006 (B�� 6.1, B�� 6.2)
•
������������, J., C����������, �., ������ ������ ��� ������� ��������, C�������� ���������� �����, 2004