Stochastic Gradient Boosting
Stochastic Gradient Boosting
Stochastic Gradient Boosting
net/publication/222573328
CITATIONS READS
6,042 11,449
1 author:
Jerome H. Friedman
Stanford University
246 PUBLICATIONS 218,602 CITATIONS
SEE PROFILE
All content following this page was uploaded by Jerome H. Friedman on 18 May 2018.
GE F HJIJKLNM'I
OPRQ'SUT VJW<X/YDZ<Z'[\X]T W%^_JZ'W%[\X`P]a%_bX][0Q'S%SUT X]T cdVeP]VJ^fP]VJ[`[`T Z'WhgZiSUVJj [Y<k[`Vl<a%VJW<X]T Qfj j kGm%X`X]T W%^ Qn[`T go%j V
oNQPRQfgVbX]VbP]T pJVSrqsa%W%_bX]T Z'WutvYNQf[`Vj VQP]W%VbPbwBX]Zx_JaUP`P]VJW<Xzy2o%[`VJaNSUZ'{|dP]VJ[`T SUaNQfj [GY<k j VQf[\X\|<[]l<aNQP]VJ[GQX
VQf_R} T X]VbPRQX]T Z'W~}%Vo%[`VJaNSUZ|dP]VJ[`T SUaNQfj [QP]VX]}%V^fPRQ'SUT VJW<XZfq%X]}%Vj Z'[`[ qsa%W%_bX]T Z'WNQfjiYDVJT W%^egT W%T gT pJVS
T X]}P]VJ[`oDVJ_bX#X]Z/X]}%VgZiSUVJjdc'Qfj a%VJ[)QX)VQf_R}X`PRQfT W%T W%^eS%QXRQ0oDZ'T W<XfVJc'Qfj aNQX]VSQX#X]}%V_JaUP`P]VJW<X)[\X]VJo~)X
T [)[`}%Z WX]}NQX YDZfX]}BX]}%VQfo%oUP]ZUT gGQX]T Z'W Qf_J_JaUPRQf_bknQfWNSBVbUVJ_JaUX]T Z'W[`oDVJVSZfq%^fPRQ'SUT VJW<X YDZ<Z'[\X]T W%^e_QfW
YDVB[`a%Y%[\XRQfW<X]T Qfj j kT goUP]ZcdVSGY<kT W%_JZfP]oDZfPRQX]T W%^PRQfWNSUZ'gT pQX]T Z'WhT W<X]Z X]}%VoUP]Z<_JVSUaUP]V'~ioDVJ_JT mN_Qfj j k<
QXVQf_R} T X]VbPRQX]T Z'WQ[`a%Y%[]Qfgo%j VZfqNX]}%VX`PRQfT W%T W%^S%QXRQT [SiPRQ WQX PRQfWNSUZ'g9t T X]}%Z'aUX P]VJo%j Qf_JVJgVJW<Xbw
q P]Z'g5X]}%Vqsa%j j<X`PRQfT W%T W%^S%QXRQ/[`VbX~}%T [)PRQfWNSUZ'gj kB[`VJj VJ_bX]VSn[`a%Y%[]Qfgo%j VT [#X]}%VJWna%[`VST Wno%j Qf_JVZfq%X]}%V
qsa%j j#[]Qfgo%j VX]Z m%X0X]}%VYNQf[`Vj VQP]W%VbPeQfWNS_JZ'go%aUX]VX]}%VBgZiSUVJja%oS%QX]VqsZfP/X]}%VB_JaUP`P]VJW<X/T X]VbPRQX]T Z'W~
}%T [)PRQfWNSUZ'gT pJVSQfo%oUP]ZdQf_R}Qfj [`ZeT W%_bP]VQf[`VJ[ P]Z'Y%a%[\X]W%VJ[`[ Qf^dQfT W%[\XZcdVbP]_QfoNQf_JT X2kZfq%X]}%VYNQf[`Vj VQP]W%VbP~
0 nx0fr
`-bh¡£¢¤b¥ ¦U§'¨]b¥ ©ª<b¥ ¦U¬«b¦U®¯ f©°¦UhªU¨ªr¨R±D¨]bf©¤¦U¨R¥s¨]b¥ ²r¦i¡ª Jªi³D¦U©µ´R¦U¢Db«¢DJ¶ ¦Ur´Rb·
¨R«#¦U¨R'¶x¸<ªib¥sªi®¯ ¹-ªi³-ª ¨R¦i¡>Jªi³D¦U©µ´R¥ «¢DJ¶ ¦U ´RºD«¯sªiª<b¦Ub±D¶¸<ªib¥sªi®¯ '¨ »5¼¾½'¿ ÀdÁfÂDÂN ÁR¿#Ã#Ä%Å
Æ ¥ ¸Uf ª ´]bJªi¥ ¥ ²%¶¨bªi©h«¯ G½'¹UÇ]ÁR»Ç]ÄdÈÀ ¦i¡ÉN¦<ÊB-Ë£¹)ÁR»Ì2ÍN¸<ªi¯ ¢'¨fÎ%b²U¦%ªi¯¥s¨b¦Ï³ ª¡£¢¤b¥ ¦UrÐÑiË£»Ì
bª< ©ªi«¨»§b¦¹)Î)¨R¢¤JÒbª< ¦<¸UfBbÓ]¦U¥ %³D¥s¨]bb¥ ®¢Db¥ ¦U ¦i¡/ªi¯ ¯Ë£¹)ÁR»Ì2ÍN¸<ªi¯ ¢'¨fÎbºD«#'¤b'³Ò¸<ªi¯ ¢
¦i¡¨R¦U©h¨R«#'¤¥ Ï'³ ¯ ¦%¨b¨e¡£¢¤b¥ ¦U-ÔË£¹)ÁbÐË£»ÌRÌe¥s¨B©h¥ ¥ ©h¥ Õf'³
Ð Ñ Ë£»Ì¼Öªib²e©h¥ Ù ÔË£¹)ÁbÐË£»ÌRÌÞ Ë]ßdÌ
×Ø ÙiÚdÛÜdÝ
àe¦N¦%¨]b¥ ²ªi««b¦dºD¥ ©ª<b'¨eÐÑUË£»Ìe®N± ªi5´bªU³³D¥ b¥ ¸U'¶ºD«ªi¨R¥ ¦U ¦i¡b¡£¦Ub©
ÐË£»Ì¼âã á äè Ë£»0ébê ä ÌÁ Ë2ëUÌ
äå æç
ÊBfbnb ¡£¢¤b¥ ¦U¨ è Ë£»0ébêÌË´R®ªU¨R ¯ 'ªibfJ¶%Ì/ªibn¢¨R¢ªi¯ ¯ ±¤J¦%¨Rfb¦h®#¨R¥ ©h«¯ ¡£¢¤b¥ ¦U¨¦i¡»¬ÊB¥ b
«ªiJªi©hbfJ¨êx¼>½dìÀ'ÁbìNí ÂU  Ä%Å0îºD«ªi¨R¥ ¦Ur¤¦Nïx¤¥ f%J¨ ½ Ä ªi³xb«ªiJªi©hbfJ¨n½dê Ä ªib
Ó]¦U¥ %b¯ ±¬Ïb¦ bbJªi¥ ¥ Ý ²¬³ª<Jª ¥ 5ªÒ¡£¦UbʪiJ³9´b¨]Jªi²UÍNÊB¥s¨R'¶ç rä ©ªiæá f'Åuðn ¨]JªiRJ¨ÊB¥ b5ªiä uæ¥á ¥ b¥sªi¯
²U¢'¨b¨Ð æ Ë£»ÌΪi³xbf ¡£¦UBñò¼óßUÁJëDÁfÂ<ÂU ÁJô
È
Ë ä Ábê ä Ì/¼Öªib²/©h¥ ã Ô*Ëv¹UÇRÁbÐ än÷ À<Ë£»Ç\Ìø è Ë£»ÇRébêÌbÌ Ëù%Ì
ç õ Ýö åÇ À ç
ªi³
Ð ä Ë£»Ì¼ÖÐ än÷ À<Ë£»Ìø äè Ë£»0ébê ä ÌÞ Ë£úNÌ
ûüýfþ£ÿ §üþý !ÿ"#$&ý %')(&*#+,#-ç /.10 )2 0 3#- !42 5
ß
Æ JªU³D¥ f%®#¦N¦%¨]b¥ ²Ë b¥ '³D©ªiß %̪i««b¦dºD¥ ©ª<bf¯ ±¨R¦U¯ ¸U'¨eËù%Ì ¡£¦U0ªib®¥ bJªib±h˳D¥ )fbf%b¥sªi®¯ d̯ ¦%¨b¨
¡£¢¤b¥ ¦U¨eÔË£¹)ÁbÐË£»ÌRÌÊB¥ bªn]Êe¦¨]bf««b¦D¤'³D¢bUÅ ¥ J¨]'Î<b¡£¢¤b¥ ¦U è Ë£»0ébêÌ¥s¨Ï/®N±¯ 'ªU¨]]ÍD¨ %¢ªib'¨
È
ê ä ¼ ªib²/©h¥ ã ¹UÇ ä Dè Ë£»ÇRébêÌ í Ë UÌ
öiÝ å Ç À
b¦bG¤¢bbf%´R«¨Rf¢³D¦%¶dÍNb'¨R¥s³D¢ªi¯s¨
¹UÇ ä ¼ ÔË£¹UÇ]ÁbÐË£»Ç\ÌRÌ
ÐË£»Ç\Ì ×Ø ÙiÚ å × bØ ÙiÚ Þ Ë %Ì
ç Ç å À ç
î¥s¨¨]bJª<bf²U±§bf«¯sªU¤'¨hª-«#¦ibf%b¥sªi¯ ¯ ±*³D¥ ïx¤¢¯ h¡£¢¤b¥ ¦U ¦U«Db¥ ©h¥ Õ'ª<b¥ ¦U*«b¦U®¯ f© Ëù%Ì®N± ¦Ur®ªU¨R'³
¦UÒ¯ 'ªU¨]]ÍD¨ %¢ªib'¨GË UÌΡ£¦U¯ ¯ ¦<Êe'³r®N±Òª¨R¥ ²U¯ G«ªiJªi©hbf¦U«Db¥ ©h¥ Õ'ª<b¥ ¦U*Ë iÌB®ªU¨R'³r¦UÒb²UffJªi¯¯ ¦%¨b¨
¤b¥ bfb¥ ¦UÒÔÅ
Æ JªU³D¥ f%bbf ®#¦N¦%¨]b¥ ²¨R«#'¤¥sªi¯ ¥ Õf'¨/b¥s¨ªi««b¦%ªU¤Jhb¦Gb¤fªU¨RnÊBfbb ®ªU¨Rn¯ 'ªibf è Ë£»0ébêÌ¥s¨
ªi Í%bfb©h¥ ªi¯D¦D³DBbf²Ub'¨b¨R¥ ¦UGbbfUÅ e/'ªU¤Jh¥ bfJª<b¥ ¦Uñ¬Î%ªbf²Ub'¨b¨R¥ ¦UbbfB«ªiRb¥ b¥ ¦U¨b»#ÍD¨R«ªU¤
¥ %b¦ ÍD³D¥s¨£Ó]¦U¥ %Bbf²U¥ ¦U¨n½ ä Ä å À ªi³ «b'³D¥s¤J¨Bªh¨Rf«ªiJª<b¤¦U¨]Jªi%¸<ªi¯ ¢¥ r'ªU¤J ¦U
! #"%$ #$&
å $ ('
. fb ¹ ä ¼¾ñ dì Ù
)$ ,/ 10 Ë ¹UÇ ä Ì¥s¨bx©h'ªi ¦i¡GË %Ì¥ 'ªU¤J§bf²U¥ ¦U ä ÅÒîx«ªiJªi©hbfJ¨¦i¡b¥s¨
7"%$
®ªU¨R¯ 'ªibfeªibBb¨R«¯ ¥ Rb¥ ²¸<ªib¥sªi®¯ '¨ªi³x¤¦Ubb'¨R«#¦U³D¥ ²G¨R«¯ ¥ «#¦U¥ %J¨e³DÏ¥ ²GbbbfUÎNÊB¥s¤Jx¥
)2 3465
'
bbf%ªi««b¦dºD¥ ©ª<b¥ ¦U Ð än÷ À<Ë£»Ì¥s¨ebfÒ¨Rf«ªiJª<bf¯ ±x¢«)³ª<b'³ ¥ r'ªU¤J ¤¦Ubb'¨R«#¦U³D¥ ²bf²U¥ ¦U
Ð ä Ë£»Ì¼ÖÐ än÷ À<Ë£»Ìø  ä ß%Ë£» ?> < $ ä ÌÞ +*,"%$
ú ½ ä ÄÀ ¼
"%$ #&
kjmln
l å
)2 po
bfb©h¥ ªi¯¦D³D NË`½ ¹UÇ ä ÁR»Ç`ÄdÈÀ Ì
utwvT/#/
äРˣ»Ì¼ÖÐ À<Ë£»ÌÙ ø  Ô*Ë£ß%¹UË£ÇR» ÁbÐ än÷ À<Ë£»Ì Ç\Ìø Ì
< $ Ö
¼ i
ª b
0
² h
© ¥ = h )23465 <
ë
b¥ '³D©ªiuß «b'¨Rf%b'³ ¨R«#'¤¥ Ï#¤ªi¯ ²U¦Ub¥ b©¨®ªU¨R'³Ò¦UÒb¥s¨nbf©h«¯sª<bG¡£¦U¨Rf¸UfJªi¯¯ ¦%¨b¨n¤b¥ bfb¥sª
¥ ¤¯ ¢³D¥ ²u¯ 'ªU¨]]ÍD¨ %¢ªib'¨ Ô*Ëv¹)ÁbÐGí Ì ¼ Ë£¹ ÐGÌ í ί 'ªU¨]]ÍDªi®¨R¦U¯ ¢DbÍD³Df¸N¥sª<b¥ ¦U §Ô*Ë£¹)ÁbÐGÌÒ¼ ¹ Ð Î
¢®#f]Í
.
Ô*Ë£¹)ÁbÐGÌ ¼ Ë£¹ ÐGÌ ß%Ë ¹ Ð
7I
JI
Ì0ø ë DË ¹ Ð
¤¯sªU¨b¨R¥ Ï#¤fª<b¥ ¦UÎ rÍD¤¯sªU¨b¨e©¢¯ b¥ ¦U©h¥sªi¯ f²%ª<b¥ ¸U¯ ¦U²<ÍN¯ ¥ ÉUf¯ ¥ ¦N¦D³ÒÅ
iëUÌ)ß%Ë ¹ Ð ÌΪi³ ¡£¦U
6D 6I
ÏRb¥ ² ¦i¡#ªU³³D¥ b¥ ¸UeºD«ªi¨R¥ ¦U¨eË2ëUÌÅ\bf«¯sªU¤'¨be®ªU¨Re¯ 'ªibf¥ bf²U¢¯sªi®#¦N¦%¨]b¥ ² «b¦D¤'³D¢b'¨ÊB¥ b
b¤¦Ubb'¨R«#¦U³D¥ ²®ªi²U²U'³®ªU¨R¯ 'ªibf'Ϊi³r¨R¢®¨]b¥ b¢Db'¨x´R¦U¢D]ÍN¦i¡sÍN®ªi²%¶b'¨R¥s³D¢ªi¯s¨e¡£¦UBbG¦UJ³D¥ ªib±
b'¨R¥s³D¢ªi¯s¨ª<'ªU¤J®#¦N¦%¨]b¥ ²x¨]bf«Å
Ò¦ib¥ ¸<ª<b'³®N±àebf¥ ©ªi ß Î<ª ©h¥ ¦U0©h¦D³D¥ Ï#¤fª<b¥ ¦UhʪU¨©ªU³Deb¦²UJªU³D¥ f%®#¦N¦%¨]b¥ ²Ë ¯ ²U¦Ub¥ b©
ßdÌb¦G¥ ¤¦Ub«#¦UJª<bJªi³D¦U©h'¨b¨/ªU¨ªix¥ %bf²UJªi¯«ªiR¦i¡ bn«b¦D¤'³D¢bUÅ N«#'¤¥ Ï#¤fªi¯ ¯ ±UÎDª<e'ªU¤J¥ bfJª<b¥ ¦U
ªn¨R¢®¨bªi©h«¯ e¦i¡bebJªi¥ ¥ ² ³ª<Jªn¥s¨³DJªdÊBª<Jªi³D¦U©¾Ë£ÊB¥ b¦U¢D0bf«¯sªU¤f©hf%Ì ¡£b¦U©9be¡£¢¯ ¯NbJªi¥ ¥ ²
³ª<Jª¨R'ÅGî¥s¨ Jªi³D¦U©h¯ ±Ò¨Rf¯ '¤b'³-¨R¢®¨bªi©h«¯ ¥s¨nbf-¢¨R'³ Î ¥ ¨]b'ªU³ ¦i¡/b¡£¢¯ ¯/¨bªi©h«¯ UÎ#b¦Ïb
®ªU¨R¯ 'ªibfË£¯ ¥ úNÌeªi³r¤¦U©h«¢Dbb©h¦D³Df¯ ¢«)³ª<b¡£¦UbG¤¢bbf%B¥ bfJª<b¥ ¦U§Ë£¯ ¥ UÌÅ
h½'¹UÇ]ÁR»Ç]ÄdÈÀ ®#bhf%b¥ bbJªi¥ ¥ ²r³ª<Jªr¨bªi©h«¯ hªi³ ½ /Ë ]ÌJÄdÈÀ ®#ªJªi³D¦U©«#fb©¢DJª<b¥ ¦U-¦i¡ ;
! #"
Vq
Ð æ £Ë »Ì¼Öªib²0©h¥ ÈÇ å À Ô*Ë£¹UÇ]Á Ì
ß <
ë ¦UBñò¼óß b¦xô ³D¦
= h
RI
ù ½ /Ë ]ÌJÄdÈÀ ¼ Jªi³ «#fb©½ bÄdÈÀ
*)+ , )+ , ) + ,
Vq q
!! -" !0
×Ø ÙiÚ å × bØ ÙiÚ
rq s
kj ln 2 o
½ ä ÄÀ ¼ bfb©h¥ ªi¯ ¦D³D NË`½ ¹ Ø Ç Ú ä ÁR» Ø Ç Ú Ä ÈÀ Ì
)+ , /.
l
#"%$ #& twvT/#/
ä
¼ i
ª b
/
² h
© ¥ Ù
< $ Ô ¹ Ø Ç Ú ÁbÐ än÷ À<Ë£» Ø Ç Ú Ìø <
Ð ä Ë£»Ì¼ Ð än÷ ÀiË£»Ìø  ä ß%Ë£» ä Ì
= h 2 3465
?> < $ *9"%$
f³ ¦U - _
1
n¨R¥ ² z¼ ¥ %bb¦D³D¢¤'¨n¦ Jªi³D¦U©h'¨b¨nªi³-¤fªi¢¨R'¨ ¯ ²U¦Ub¥ b©°ëhb¦ bb¢bÒbh¨bªi©hb'¨R¢¯
s s
ªU¨ ¯ ²U¦Ub¥ b© ßUÅ î ¨R©ªi¯ ¯ fb ¡£JªU¤b¥ ¦U ó¼
32 4
Î/bÒ©h¦UbbÒJªi³D¦U©z¨bªi©h«¯ '¨h¢¨R'³*¥ s s
¨R¢¤f¤'¨b¨R¥ ¸U¥ bfJª<b¥ ¦U¨ÊB¥ ¯ ¯#³D¥ )f'Îibfbf®N±¥ %bb¦D³D¢¤¥ ²©h¦Ub¦<¸UfJªi¯ ¯NJªi³D¦U©h'¨b¨¥ %b¦b«b¦D¤'³D¢bUÅ
11 s 72 52 6 )s
n¨R¥ ²xbh¸<ªi¯ ¢ ¼¾ß iëh¥s¨ b¦U¢²U¯ ±r %¢¥ ¸<ªi¯ f%nb¦r³DJªdÊB¥ ²x®#¦N¦iJ¨]bJªi«¬¨bªi©h«¯ '¨ ª<'ªU¤J ¥ bfJª<b¥ ¦UÅ
n¨R¥ ² ¼ r ªi¯s¨R¦ b'³D¢¤'¨¤¦U©h«¢DJª<b¥ ¦U¬®N±-ª¡ªU¤b¦U¦i¡ Å ¦<Êef¸Uf'Î ©ªiÉN¥ ² b¸<ªi¯ ¢h¦i¡ 82 !. 82
¨R©ªi¯ ¯ fb'³D¢¤'¨ bxªi©h¦U¢%¦i¡³ª<Jªrªd¸<ªi¥ ¯sªi®¯ b¦rbJªi¥ -bh®ªU¨Rh¯ 'ªibfª<G'ªU¤J-¥ bfJª<b¥ ¦UÅî¥s¨
ÊB¥ ¯ ¯¤fªi¢¨Rnb¸<ªib¥sªi¤ªU¨b¨R¦D¤¥sª<b'³xÊB¥ b b¥ ³D¥ ¸N¥s³D¢ªi¯®ªU¨R¯ 'ªibf'¨]b¥ ©ª<b'¨eb¦¥ ¤b'ªU¨RUÅ
9 ; :=<?> 0 <r
î )'¤¦i¡eJªi³D¦U©h¥ Õ'ª<b¥ ¦U ¦U Æ JªU³D¥ f%îbf àe¦N¦%¨] «b¦D¤'³D¢b'¨ ÊB¥ ¯ ¯0¯ ¥ ÉUf¯ ± ³Df«#f³-¦U bh«ªiR·
b¥s¤¢¯sªiB«b¦U®¯ f© ª<ªi³ Å/`©h«#¦URJªi%n¤JªiJªU¤bfb¥s¨]b¥s¤f¨e¦i¡«b¦U®¯ f©¨ebª<nª )'¤n«#fR¡£¦Ub©ªi¤¥ ¤¯ ¢³D T
bJªi¥ ¥ ²§¨bªi©h«¯ r¨R¥ Õf Î/bb¢ ¢³Dfb¯ ±N¥ ²9´]Jªib²UJ¶Ò¡£¢¤b¥ ¦U ÐÑiË£»ÌrË]ßdÌÎeªi³ bÒ³D¥s¨]bb¥ ®¢Db¥ ¦U5¦i¡
@ ,s
b³Df«ªiRb¢b'¨fÎ DΦi¡B¹ `»5¡£b¦U©Ð Ñ Ë£»ÌÅr`§¦UJ³Dfb¦Ò²%ªi¢²Ubx¸<ªi¯ ¢¦i¡ªiN± '¨]b¥ ©ª<b¥ ¦U ©hb¦D³
¥ h¥s¨'¤'¨b¨bªib±-b¦§ªU¤f¤¢Jª<bf¯ ±¬f¸<ªi¯ ¢ª<b ¥ J¨«#fR¡£¦Ub©ªi¤¦<¸Uf©ªiN± ³D¥ )fbf%¨R¥ b¢ª<b¥ ¦U¨fÅ î¥s¨¥s¨
ù
©h¦%¨]¤¦UN¸Uf¥ f%b¯ ±rªU¤f¤¦U©h«¯ ¥s¨R'³ bb¦U¢²U Ò¦U%b ªib¯ ¦¨R¥ ©¢¯sª<b¥ ¦U ÊBfb³ª<Jª¤fªi ®#²UffJª<b'³
ªU¤f¤¦UJ³D¥ ²b¦ªÊB¥s³D¸<ªib¥ ]±x¦i¡«b'¨b¤b¥ «Db¥ ¦U¨fΪi³b'¨R¢¯ b¥ ²h«#fR¡£¦Ub©ªi¤ªU¤f¤¢Jª<bf¯ ±¤fªi¯s¤¢¯sª<b'³ Å
ðn¦i¡0b©h¦%¨]n¥ ©h«#¦URJªi%¤JªiJªU¤bfb¥s¨]b¥s¤f¨B¦i¡/ªiN± «b¦U®¯ f©ª )'¤b¥ ²x«#fR¡£¦Ub©ªi¤G¥s¨bGbb¢
&
¢³Dfb¯ ±N¥ ²xJªib²Un¡£¢¤b¥ ¦U¬ÐÑiË£»ÌË]ßdÌÅ N¥ ¤bª<b¢b¦i¡/bJªib²Un¡£¢¤b¥ ¦U¬¤fªi ¸<ªib±r²Ub'ª<b¯ ±
¦<¸Uf³D¥ )fbf%«b¦U®¯ f©¨fÎ/ªi³u¥s¨¨Rf¯s³D¦U©ÉN¦<ÊBÎ/Êe f¸<ªi¯ ¢ª<bbrbf¯sª<b¥ ¸U©hfb¥ J¨¦i¡nJªi³D¦U©h¥ Õf'³
T
¥ ©ª<b¥ ²h'ªU¤JJªib²UÐÑiË£»Ì
Ë Ð Ì/¼ Û Ù Ð Ñ Ë£»Ì Рˣ»Ì ;
Ë %Ì
©hb¦D³uʪU¨G®#'¨] ˨R©ªi¯ ¯ '¨]fbb¦UÌ ¡£¦Uf¸Ufb±-Jªib²U'Î0¥ J¨h³D¥s¨]bb¥ ®¢Db¥ ¦U*¦i¡Ë]ß %ÌG¦<¸Ufªi¯ ¯ß rJªib²U
#" - @
@ @@
¡£¢¤b¥ ¦U¨BÊe¦U¢¯s³®#Gª«#¦U¥ %©ªU¨b¨Bª<b¸<ªi¯ ¢ßUÞ Å @
!"#$#$%'&)(
.
©h¦U²xbbf²Ub'¨b¨R¥ ¦Ur«b¦D¤'³D¢b'¨n³Dfb¥ ¸U'³Ò¥ b¥ '³D©ªi*ß Î îbf'àe¦N¦%¨]nªU³rb®#'¨]¦<¸UfJªi¯ ¯
!
`b¥s¨¨R'¤b¥ ¦UÎ'b/ )'¤¦i¡DJªi³D¦U©h¥ Õ'ª<b¥ ¦U¦UbnË ¢®#fÌ îbf'àe¦N¦%¨] «b¦D¤'³D¢b0¥s¨¥ N¸U'¨]b¥ ²%ª<b'³ Å
«#fR¡£¦Ub©ªi¤xªi³§ÊªU¨G¤¦U¨R¥s³Dfb'³-b©hb¦D³§¦i¡¤J¦U¥s¤UÅr\J¨G®b'ªiÉUÍD³D¦<ÊB¬«ªiJªi©hbfGʪU¨G¨RGb¦
b³D¡ªi¢¯ B¸<ªi¯ ¢+*§¼ Þ Å ¦UB¨R©ªi¯ ¯³ª<Jª¨RJ¨Ë °¼ %Ì0b¨Rb¥ É<ªi²Un«ªiJªi©hbf -Ë ¯ ²U¦Ub¥ b©
@ r s )@@ (>
ëUÌʪU¨¨Rb¦ 5¼ Þ DÅ ¦Ub¯sªib²Uf¦U'¨ Ë â¼
+> @ @@1 %Ì¥ hʪU¨¨Rb¦ ¼ Þ DŬàe'¨]]Í%ÏJ¨]
s )@@@ +> @ @1
bf²Ub'¨b¨R¥ ¦U¨/bbf'¨ÊB¥ bÒ¨R¥ ºxbfb©h¥ ªi¯ ¦D³D'¨BÊefb ¢¨R'³rªU¨eb®ªU¨R¯ 'ªibf'Å
. fbÊen¤¦U©h«ªibB¸<ªib¥ ¦U¢¨¯ f¸Uf¯s¨/¦i¡ Jªi³D¦U©h¥ Õ'ª<b¥ ¦U¥ bfb©¨0¦i¡«#fR¡£¦Ub©ªi¤B¦<¸UfbGß Jªib²U @@
¡£¢¤b¥ ¦U¨B¡£¦U]Êe¦x³D¥ )fbf% fbb¦U³D¥s¨]bb¥ ®¢Db¥ ¦U¨fÅnðnGN¢³Db'³Ò³ª<Jªx¨RJ¨½'¹UÇ`ÁR»Ç]ÄdÈÀ Êefb²UffJª<b'³
ªU¤f¤¦UJ³D¥ ²b¦
¹UǼÖÐ Ñ Ë£»Ç\Ìø iÇ @ Ë]ßUßdÌ
ÊBfbÐÑiË£»Ìbf«b'¨Rf%J¨'ªU¤Jh¦i¡)bß Jªi³D¦U©h¯ ±G²UffJª<b'³GJªib²U0¡£¢¤b¥ ¦U¨fÅ ¦U0bBÏJ¨]¨]b¢³D±UÎ
!@ @@
bfbb¦UJ¨ iÇ#Êefbe²UffJª<b'³ ¡£b¦U©ª Æ ªi¢¨b¨R¥sªi³D¥s¨]bb¥ ®¢Db¥ ¦UÊB¥ bhÕffb¦ ©h'ªiÎiªi³¸<ªib¥sªi¤ªU³dÓ]¢¨]b'³
¨R¦bª<
r
Û Û
@
U¼ Ù Ð Ñ Ë£»Ì ñ , `ì Ù Ð Ñ Ë£»Ì ,/ q 10 Ë]ßdëUÌ ;
6 @
²U¥ ¸N¥ ²ªß NߨR¥ ²Uªi¯ Í%b¦<ÍN¦U¥s¨RJª<b¥ ¦Å ¦Ub¨R'¤¦U³h¨]b¢³D±bBfbb¦UJ¨Êefb²UffJª<b'³¡£b¦U© ª ´b¨R¯sªU¨R¶
³D¥s¨]bb¥ ®¢Db¥ ¦UÎ iÇB. !
¼ -ÂD0Ë / 1DÌÎÊBfb2/43 uË ÁfßdÌnªi5 ³ 16387 Áfß \Åî¨b¤fªi¯ ¡ªU¤b¦U9 -h¥s¨ªU³dÓ]¢¨]b'³
Y
6 Hs @
b¦²U¥ ¸UGªrß NߨR¥ ²Uªi¯ Í%b¦<ÍN¦U¥s¨R Jª<b¥ ¦ Ë]ßdëUÌÅîG¨R¯sªU¨RÒ³D¥s¨]bb¥ ®¢Db¥ ¦UÒªU¨B¸Ufb±xb¥s¤JÉxJªi¥ ¯s¨nªi³ ¥s¨¦i¡vbf
¢¨R'³ ªU¨BªirºNbbf©h b¦b'¨]b¦U®¢¨]b'¨b¨fÅ
@
ú
N = 500
1.4
1.3
Error / min (error)
1.2
1.1
1.0
¥ ²U¢bß n¥s¨]bb¥ ®¢Db¥ ¦U¨e¦i¡ªi®¨R¦U¯ ¢Db ªi««b¦dºD¥ ©ª<b¥ ¦Ufbb¦U'ÎUbf¯sª<b¥ ¸Ub¦Gb ®#'¨]'ÎN¡£¦UbJªi¥ ¥ ²¦U ³D¥ ¡v·
I
¡£fbf%0¡£JªU¤b¥ ¦U¨¦i¡)Jªi³D¦U©h¯ ±¨Rf¯ '¤b'³¦U®¨Rfb¸<ª<b¥ ¦U¨¡£b¦U©bB¡£¢¯ ¯bJªi¥ ¥ ²¨bªi©h«¯ ª</'ªU¤Jh¥ bfJª<b¥ ¦UÎ
¡£¦U¨R©ªi¯ ¯³ª<Jªh¨RJ¨ªi³ Æ ªi¢¨b¨R¥sªi fbb¦UJ¨fÅ
N¦<ÊB§ªibbx³D¥s¨]bb¥ ®¢Db¥ ¦U¨¦i¡n½ hËÐ %ÌJÄÀ Ë]ß %Ìn¦<¸UfnbÒß xJªib²UJ¨fÎ ¡£¦Uf¥ ²U%¸<ªi¯ ¢'¨¦i¡ Åî
2 #" @
¯sªib²U'¨]G¸<ªi¯ ¢ Ö¼°ßUÞ ¤¦Ubb'¨R«#¦U³¨b¦¬³Dbfb©h¥ ¥s¨]b¥s¤x®#¦N¦%¨]b¥ ²*Ë ¯ ²U¦Ub¥ b© ßdÌÎ0ÊB¥ ¯ ¨R¢¤f¤'¨b¨R¥ ¸Uf¯ ±
@
@@
2
¨R©ªi¯ ¯ f¸<ªi¯ ¢'¨x¥ %bb¦D³D¢¤Ò¥ ¤b'ªU¨R¥ ² ³Df²Ubf'¨h¦i¡Jªi³D¦U©h'¨b¨fÅ î f¥ ²U%³D¥s¨]bb¥ ®¢Db¥ ¦U¨xªibÒ'ªU¤J
¨R¢©h©ªib¥ Õf'³*®N±*®#¦dºD«¯ ¦iJ¨fÅ î ¨RªU³D'³ ªib'ª¬¦i¡'ªU¤J5®#¦dºD«¯ ¦i¨R¦<ʨbÒ¥ %bf %¢ªiRb¥ ¯ rJªi²Ur¦i¡ m
b³D¥s¨]bb¥ ®¢Db¥ ¦UÒÊB¥ bÒbf¤¯ ¦%¨R'³rÊB¥ b®ªi®#f¥ ²xb©h'³D¥sªiÅî¦U¢Dbf¥ ²U'¨bf«b'¨Rf%b
«#¦U¥ %J¨0¤¯ ¦%¨R'¨]b¦xË£«¯ ¢¨ d©h¥ N¢¨JÌßUÅ n¥ %bf %¢ªiRb¥ ¯ eJªi²U¢¥ J¨¡£b¦U©óbGË£¢««#fd¯ ¦<ÊefÌ %¢ªiRb¥ ¯ '¨fÅî
m Y
¥s¨R¦U¯sª<b'³®ªiJ¨ebf«b'¨Rf%B¥ ³D¥ ¸N¥s³D¢ªi¯ «#¦U¥ %J¨B¦U¢DJ¨R¥s³D b¥s¨BJªi²UhË£¦U¢Db¯ ¥ fJ¨JÌÅ
ðnG¨Rf'¨e¡£b¦U© ¥ ²ÅBß bª<Jªi³D¦U©h¥ Õ'ª<b¥ ¦U¥ ©h«b¦<¸U'¨e«#fR¡£¦Ub©ªi¤¨R¢®¨]Jªi%b¥sªi¯ ¯ ±UÅ ¦Uªi¯ ¯ ¸<ªi¯ ¢'¨
2
EA¦i¡ @ 2
ßUÞ Îº¤f«DbG©h¦%¨]BºNbbf©h¦UË r¼ Þ ßdÌÎDbG³D¥s¨]bb¥ ®¢Db¥ ¦Ur¦i¡0ªi®¨R¦U¯ ¢Dbfbb¦Ubf¯sª<b¥ ¸Unb¦
@
b®#'¨]Ë]ß %Ì ¥s¨©¢¤J¤¯ ¦%¨Rf b¦b©h¥ ¥ ©¢©ó¸<ªi¯ ¢/¦i¡ßUÞ bªiG¥s¨be¤¦Ubb'¨R«#¦U³D¥ ²³D¥s¨]bb¥ ®¢Db¥ ¦U¡£¦U
r
@
2 @ Y
@
³Dbfb©h¥ ¥s¨]b¥s¤eªi¯ ²U¦Ub¥ b© Ë r¼óßUÞ %ÌÅ ¸UfJªi²U'³¦<¸Uf b'¨R ß Jªib²U¡£¢¤b¥ ¦U¨fÎdb®#'¨]¸<ªi¯ ¢¦i¡b
2 @@
¨bªi©h«¯ ¥ ²n¡£JªU¤b¥ ¦UªU¨¥s¨ªi««b¦dºD¥ ©ª<bf¯ ±ú Ë r¼ Þ úNÌÊBfbbfbe¥s¨ª]±N«¥s¤fªi¯N¥ ©h«b¦<¸Uf©hf%¦i¡ßUß
1@ @
¥ ªi®¨R¦U¯ ¢Dbfbb¦UeË %̦<¸Uf¦ ¨bªi©h«¯ ¥ ²ÅeËî¥s¨bf«b'¨Rf%J¨ª ëUë Ö¥ ©h«b¦<¸Uf©hf%¦UGb¨ %¢ªib'³%ÍNfbb¦U
. ¨b¤fªi¯ UÅ Ì ¦<Êef¸Uf'Î%¨bªi©h«¯ ¥ ²G¦U¯ ±hù ó¦Uf¸Uf ë ó¦i¡)b³ª<JªGª<e'ªU¤J¥ bfJª<b¥ ¦U²U¥ ¸U'¨¤¦U¨R¥s³DfJªi®¯
@ )@
¥ ©h«b¦<¸Uf©hf%¦<¸UfB¦¨bªi©h«¯ ¥ ²ª< ªi¯ ¯2ÎÊB¥ b-ªx¤¦Ubb'¨R«#¦U³D¥ ²¤¦U©h«¢DJª<b¥ ¦Uªi¯¨R«#f'³%ÍN¢«Ò®N±¡ªU¤b¦UJ¨
¦i¡0ùxªi³ b'¨R«#'¤b¥ ¸Uf¯ ±UÅ ¦Un¨bªi©h«¯ ¥ ²h¡£JªU¤b¥ ¦U¨¤¯ ¦%¨R b¦x¦U«Db¥ ©ªi¯Ë ¼ Þ úNÌÎDb³D¥s¨R«#fJ¨R¥ ¦Ur¦i¡b
9 i
³D¥s¨]bb¥ ®¢Db¥ ¦U¨G¥s¨ªi¯s¨R¦ ¨R©ªi¯ ¯ f'ÅÒî¥s¨G©h'ªi¨bª<G¡£¦U'ªib¯ ±¬ªi¯ ¯¦i¡BbJªib²UJ¨bf±§«b¦D³D¢¤'³¬b
2 @
®#'¨]'ΦU¤¯ ¦%¨Rnb¦hb®#'¨]GΪd¸UfJªi²Unªi®¨R¦U¯ ¢Dbfbb¦UJ¨fÅ Dªi©h«¯ ¥ ²¡£JªU¤b¥ ¦U¨e¡ªiRbf¡£b¦U©¾b¦U«Db¥ ©ªi¯
¸<ªi¯ ¢Gªd¸U©h¦Ub³D¥s¨R«#fJ¨R¥ ¦Ur¥ rbf¥ ³D¥s¨]bb¥ ®¢Db¥ ¦U¨fÅnðn ¨R¦U©hJªib²UJ¨bf±r«b¦D³D¢¤'³ ®#'¨] ¦Un¤¯ ¦%¨R
b¦®#'¨]b'¨R¢¯ J¨fÎ)ÊB¥ ¯ ¦U-¦ibfJ¨bf± ³D¥s³ ¸Ufb±r®ªU³D¯ ±UÅî¥s¨ ¥ ¯ ¯ ¢¨]bJª<b'¨bª<bf¯sª<b¥ ¸U«#fR¡£¦Ub©ªi¤
¤fªi§³Df«#f³ ¨]bb¦U²U¯ ± ¦U-bx«ªiRb¥s¤¢¯sªi Jªib²Uf¤¦U¢%bfb'³ Å ¦UGºªi©h«¯ UÎbfbhʪU¨¦UhJªib²U
2 @
@@ 2
¡£¢¤b¥ ¦U9Ë£¦U¢D¦i¡b¬ß %Ì¡£¦UÊB¥s¤J 9¼ Þ ß«b¦D³D¢¤'³ br¯ ¦<Êe'¨]fbb¦U'ŧîr³D¥s¨]bb¥ ®¢Db¥ ¦U*¡£¦U
@
¼óßUÞ ¥ ³D¥s¤fª<b'¨ebª<¢¨R¥ ²ªh¨bªi©h«¯ ¥ ²¡£JªU¤b¥ ¦U¦i¡0ªib¦U¢³ «b¦D³D¢¤'¨¥ ©h«b¦<¸Uf©hf%J¨e¦<¸Ufe¦
B)@
¨bªi©h«¯ ¥ ²h¥ bJªi²U ¦i¡ªi®#¦U¢Dú b¦ë<ú ¥ rªi®¨R¦U¯ ¢Dbfbb¦U'ÎNÊB¥ bÒª©h'³D¥sªir¦i¡ßUß xÅ
¥ ²U¢bëB¨R¦<ʨª¨R¥ ©h¥ ¯sªi¤¦U©h«ªib¥s¨R¦U¦<¸Uf be¨bªi©hß Jªib²U¡£¢¤b¥ ¦U¨ªi³fbb¦U³D¥s¨]bb¥ ®¢Db¥ ¦UÎ
@@
N = 5000
1.20
1.15
Error / min (error)
1.10
1.05
1.00
¥ ²U¢bë n¥s¨]bb¥ ®¢Db¥ ¦U¨e¦i¡ªi®¨R¦U¯ ¢Db ªi««b¦dºD¥ ©ª<b¥ ¦Ufbb¦U'ÎUbf¯sª<b¥ ¸Ub¦Gb ®#'¨]'ÎN¡£¦UbJªi¥ ¥ ²¦U ³D¥ ¡v·
I
¡£fbf%0¡£JªU¤b¥ ¦U¨¦i¡)Jªi³D¦U©h¯ ±¨Rf¯ '¤b'³¦U®¨Rfb¸<ª<b¥ ¦U¨¡£b¦U©bB¡£¢¯ ¯bJªi¥ ¥ ²¨bªi©h«¯ ª</'ªU¤Jh¥ bfJª<b¥ ¦UÎ
¡£¦UB©h¦D³DfJª<b¨R¥ Õf'³ ³ª<Jªh¨RJ¨ªi³ Æ ªi¢¨b¨R¥sªi fbb¦UJ¨fÅ
® ¢D¡£¦U©h¦D³DfJª<b¨R¥ Õf'³xbJªi¥ ¥ ²³ª<Jªh¨RJ¨Ë °¼ %ÌÅ fb ¦U¨Rf'¨ªh¨R¥ ©h¥ ¯sªie®¢D¯ '¨b¨³DJªi©ª<b¥s¤
s )@@@ .
«ª<RbfbŦibbª<b¸UfRb¥s¤fªi¯e¨b¤fªi¯ x¦i¡ ¥ ²Å¬ër¥s¨ªi¯ ¡Bbª<¦i¡ ¥ ²ÅußUÅ-îx¦U«Db¥ ©ªi¯¨bªi©h«¯ ¥ ²
( %
¡£JªU¤b¥ ¦Uh¥s¨¤¯ ¦%¨Rf0b¦ ªi³]±N«¥s¤fªi¯¥ ©h«b¦<¸Uf©hf%J¨0¦<¸Ufb ³Dbfb©h¥ ¥s¨]b¥s¤ªi¯ ²U¦Ub¥ b© ªib¡£b¦U© ß
;@
b¦hßUß 9¥ hªi®¨R¦U¯ ¢Dbfbb¦UÊB¥ bª ©h'³D¥sªi¦i¡ xÅ ¯ b¦U¢²Ub¥ ¤b'ªU¨Re¥ ªU¤f¤¢JªU¤±GªU¨b¨R¦D¤¥sª<b'³GÊB¥ b
Jªi³D¦U©¨bªi©h«¯ ¥ ²h¥s¨B¯ '¨b¨B³DJªi©ª<b¥s¤ ÊB¥ br¯sªib²UfB³ª<Jªh¨RJ¨fÎNbG¨R«#f'³ ¥ ¤b'ªU¨R ¥s¨B©h¦Ub ©h'ªi¥ ²i¡£¢¯2Å
¥ ²U¢bÒù§¤¦U©h«ªib'¨bÒ«#fR¡£¦Ub©ªi¤ ¦U ¨R©ªi¯ ¯³ª<Jª§¨RJ¨ÒË ¼ %ÌG¦i¡ îbf'àe¦N¦%¨]h¢¨R¥ ² s
³D¥ )fbf%e¨R¥ Õf'³bf²Ub'¨b¨R¥ ¦Ubbf'¨/ªU¨b®ªU¨R¯ 'ªibf'Åî¯ ¡v«ªif¯#¨R¦<ʨbn³D¥s¨]bb¥ ®¢Db¥ ¦U¦<¸Ufb
)@@
@@ ß Jªib²U¡£¢¤b¥ ¦U¨¦i¡ªi®¨R¦U¯ ¢Db fbb¦Ubf¯sª<b¥ ¸Ub¦b®#'¨]GË]ß %Ì0¡£¦U ¬½dùÁ ÁfßUßUÁJëDßUÁRúßiÄ¢¨R¥ ²b
@ *
³Dbfb©h¥ ¥s¨]b¥s¤ªi¯ ²U¦Ub¥ b©rÅîb¥ ²U%/«ªif¯#¨R¦<Ê*b ¤¦Ubb'¨R«#¦U³D¥ ²³D¥s¨]bb¥ ®¢Db¥ ¦U¨0¡£¦U ¨bªi©h«¯ ¥ ²
2 @ Ë ¼ Þ UÌÅó`Ö®#¦ib ¤fªU¨R'¨hb-¦U«Db¥ ©ªi¯nbbf-¨R¥ Õf-ªU¨ªd¸UfJªi²U'³*¦<¸Ufbuß §Jªib²UJ¨¥s¨ ¼ Å
`¤b'ªU¨R¥ ²hb¤fªi«ªU¤¥ ]± ¦i¡b®ªU¨RG¯ 'ªibf®N±r¢¨R¥ ²x¯sªib²UfBbbf'¨n³Df²UJªU³D'¨B«#fR¡£¦Ub©ªi¤bb¦U¢²U
@@
)@
M
.
¦<¸Uf]Í%ÏRb¥ ²ÅîG¥ ¤b'ªU¨R¥ Ò©h'³D¥sªiÒ¦i¡0bGbf¯sª<b¥ ¸Ufbb¦UGË]ß %ÌB³D¥s¨]bb¥ ®¢Db¥ ¦U ¥ Ò²U¦U¥ ²h¡£b¦U© ¼
@
2
´R¦<¸Uf]Í%ÏRb¥ ²%¶Å ¦<Êef¸Uf'ÎU¦U ¨Rf'¨0bª<Bªi««¯ ±N¥ ²GJªi³D¦U©h¥ Õ'ª<b¥ ¦U Ë r¼ Þ UÌ©h¦D³DfJª<b'¨/bn )'¤¦i¡ @
b¦ *¼ úß ¡£¦U ¨bªi©h«¯ ¥ ²h¥s¨B¦U¯ ±x¦UÍ%b¥ J³xbª<¡£¦UBb³Dbfb©h¥ ¥s¨]b¥s¤ªi¯ ²U¦Ub¥ b©rÅ
! %)@
¥ ²U¢bBúG¨R¦<ʨbn¨bªi©hB )'¤/¡£b¦U© ª³D¥ )fbf%/«#fJ¨R«#'¤b¥ ¸UUÅ fbb³D¥s¨]bb¥ ®¢Db¥ ¦U¦i¡#bJª<b¥ ¦
¦i¡bGfbb¦UB¦i¡b³Dbfb©h¥ ¥s¨]b¥s¤ªi¯ ²U¦Ub¥ b©¾b¦bª< ¢¨R¥ ² ¨bªi©h«¯ ¥ ² Ë Ë Ð0 À æ Ì Ë Ð æ dÌRÌGË %Ì¥s¨
r.
(-
Y
M)@
¨R¦<ÊBGªU¨ª¡£¢¤b¥ ¦UG¦i¡Dbbf¨R¥ ÕfUÅ ¦Ubbfªi³G¨R¥ º bfb©h¥ ªi¯U¦D³D/bbf'¨fÎ<³Dbfb©h¥ ¥s¨]b¥s¤ îbf'àe¦N¦%¨]
]±N«¥s¤fªi¯ ¯ ±G¥s¨/¨Rffb¦®# 9Êe¦UJ¨R¥ ªi®¨R¦U¯ ¢Dbfbb¦Ubªi¢¨R¥ ² 9Jªi³D¦U© ¨bªi©h«¯ ¥ ²Å ¦U0úßÍN¦D³D;)@ Y
bbf'¨bª<0Jª<b¥ ¦ ¥s¨]±N«¥s¤fªi¯ ¯ ±G¤¯ ¦%¨Rb¦Gë xÅîN¢¨fÎ<Jªi³D¦U©¨R¢®¨bªi©h«¯ ¥ ²¥s¨©h¦Ube )'¤b¥ ¸U¥ b'³D¢¤¥ ²
)@
fbb¦UeÊB¥ bÒ¯sªib²Ufbbf'¨fΪi³r¤fªibfbf®N±x©h¥ b¥ ²%ª<bUÎ¥ ¡¦iBf¯ ¥ ©h¥ ª<bUÎDb )'¤¦i¡¦<¸Uf]ÍD¤fªi«ªU¤¥ ]±¦i¡
b®ªU¨R¯ 'ªibf'Å
:; ; $ Z %
ê
6L gW `1Q#QTORQTg
f = 1.0 f = 0.5
1.5
1.5
1.4
1.4
1.3
1.3
Error / min (error)
1.2
1.1
1.1
1.0
1.0
3 6 11 21 41 3 6 11 21 41
¥ ²U¢bGù n¥s¨]bb¥ ®¢Db¥ ¦U¨¦i¡ªi®¨R¦U¯ ¢DbGªi««b¦dºD¥ ©ª<b¥ ¦Urfbb¦U'ÎDbf¯sª<b¥ ¸Ub¦b®#'¨]'Ρ£¦U ³D¥ )fbf% ¨R¥ Õf'³
_I
b f²Ub'¨b¨R¥ ¦U§bbf'¨ªU¨®ªU¨R ¯ 'ªibf'Ρ£¦Uh¨R©ªi¯ ¯Ë ¼ %ÌbJªi¥ ¥ ²§¨bªi©h«¯ '¨fÅuî ¯ ¡v«ªif¯¥s¨¡£¦U s )@@
bJªi¥ ¥ ²¦Ub ¡£¢¯ ¯¨bªi©h«¯ UÅ0îb¥ ²U%«ªif¯ ¥s¨ÊB¥ b Jªi³D¦U©¨R¢®¨bªi©h«¯ ¥ ²ª<B'ªU¤J¥ bfJª<b¥ ¦UÅ 9)@
³D¥s¨]bîbb¥ ®f'à¢Deb¥ ¦N¦U¦% ¨]bf«b¦bb'¨Rfh¨%bJªi¨©hªiß ¦U««#J¦%ªi¨Rb¥ b²UÒnºN¡£¢bbf©¤hb¥ ¦Urb¨ ¦§ÊBb¥ b¬¨RÆ ¯sªUªi¨R¢-¨b¨R³D¥sªi¥s¨] bbÊB¥ ®¥ ¢Dbb'³-¸Uffbb± b¦UbJ¨#¥s¤J@iÉ*ÇJË]ßUªißd¥ ¯s̨xŪiî³5h¨©R¯sªiªUN¨R±
@@
¦U¢Db¯ ¥ fJ¨fÅ ¥ ²U¢b Ò¨R¦<ʨ«#fR¡£¦Ub©ªi¤¤¦U©h«ªib¥s¨R¦U¨ªiªi¯ ¦U²U¦U¢¨ b¦ ¥ ²Å ß ªi³ ¥ ²Å-ëDή¢DhÊB¥ b
E B 7
¨R¯sªU¨R Jª<bfbªi Æ ªi¢¨b¨R¥sªi fbb¦UJ¨fÅîG³D¥s¨]bb¥ ®¢Db¥ ¦U¨B¦i¡bf¯sª<b¥ ¸Ufbb¦UË]ß %Ì¡£¦UB®#¦ibÒ¨bªi©h«¯ G¨R¥ Õf'¨ @
b'¨Rf©®¯ b¦%¨Rh¡£¦Ub¯sªib²UrË µ¼ %Ìn¨bªi©h«¯ hÊB¥ b Æ ªi¢¨b¨R¥sªi¬fbb¦UJ¨Ë ¥ ²Å ëUÌÅh`§«ªiRb¥s¤¢¯sªi'Î
s )@@@
¡£¦Unb¨R©ªi¯ ¯0¨bªi©h«¯ ¨R¥ ÕfUÎ)b«#fR¡£¦Ub©ªi¤²%ªi¥ bb¦U¢²U Jªi³D¦U©¨bªi©h«¯ ¥ ² ¥s¨ b¦U¢²U¯ ±rªi¯ ¡/bª<
ªU¤J¥ f¸U'³ ÊB¥ b Æ ªi¢¨b¨R¥sªi-fbb¦UJ¨fÅ ¦Ubh¯sªib²Uf¨bªi©h«¯ UÎ¥ ©h«b¦<¸Uf©hf%¥s¨bf¯sª<b¥ ¸Uf¯ ±Ò¥ ¨Rf¨R¥ b¥ ¸Ub¦
bG¨bªi©h«¯ ¥ ²¡£JªU¤b¥ ¦U Ò¥ bJªi²U Þ ?2 Þ Å
f
u@ ;D 32 9D @ -
9/ #/ $
Improvement ratio
1.30
1.25
Error (f=1.0) / error (f=0.5)
1.20
1.15
1.10
1.05
1.00
3 6 11 21 41
Terminal nodes
¥ ²U¢bú n¥s¨]bb¥ ®¢Db¥ ¦U¨¦i¡b Jª<b¥ ¦-¦i¡brfbb¦U¦i¡br³Dbfb©h¥ ¥s¨]b¥s¤ ªi¯ ²U¦Ub¥ b©b¦-bª<h¢¨R¥ ²
RI
)@ ¨bªi©h«¯ ¥ ²ÊB¥ bÒ³D¥ )fbf% ¨R¥ Õf'³ bf²Ub'¨b¨R¥ ¦Ubbf'¨ªU¨®ªU¨R¯ 'ªibf'ÎN¡£¦U¨R©ªi¯ ¯Ë ¼
%Ì/bJªi¥ ¥ ² s )@@
¨bªi©h«¯ '¨fÅ
N = 500 N = 5000
1.15
1.15
Error / min (error)
1.10
1.05
1.05
1.00
1.00
0.4 0.5 0.6 0.7 0.8 1.0 0.4 0.5 0.6 0.7 0.8 1.0
¥ ²U¢b n¥s¨]bb¥ ®¢Db¥ ¦U¨e¦i¡ªi®¨R¦U¯ ¢Db ªi««b¦dºD¥ ©ª<b¥ ¦Ufbb¦U'ÎUbf¯sª<b¥ ¸Ub¦Gb ®#'¨]'ÎN¡£¦UbJªi¥ ¥ ²¦U ³D¥ ¡v·
u I
¡£fbf%0¡£JªU¤b¥ ¦U¨¦i¡)Jªi³D¦U©h¯ ±¨Rf¯ '¤b'³¦U®¨Rfb¸<ª<b¥ ¦U¨¡£b¦U©bB¡£¢¯ ¯bJªi¥ ¥ ²¨bªi©h«¯ ª</'ªU¤Jh¥ bfJª<b¥ ¦UÎ
ÊB¥ bÒ¨R¯sªU¨Rrfbb¦UJ¨fÅîG¯ ¡v«ªif¯¥s¨¡£¦U¨R©ªi¯ ¯³ª<Jª¨RJ¨Bªi³bGb¥ ²U%B¦U¥s¨¡£¦UB©h¦D³DfJª<bf¯ ±¨R¥ Õf'³
³ª<Jªh¨RJ¨fÅ
-
N = 500 N = 5000
1.25
1.25
1.20
1.20
1.15
1.15
Error / min (error)
1.10
1.05
1.05
1.00
1.00
0.4 0.5 0.6 0.7 0.8 1.0 0.4 0.5 0.6 0.7 0.8 1.0
¥ ²U¢b n¥s¨]bb¥ ®¢Db¥ ¦U¨x¦i¡fbb¦UJª<bUÎebf¯sª<b¥ ¸U b¦ b ®#'¨]'Îe¡£¦UbJªi¥ ¥ ² ¦U ³D¥ )fbf%x¡£JªU¤b¥ ¦U¨
E_I
¦i¡eJªi³D¦U©h¯ ±Ò¨Rf¯ '¤b'³-¦U®¨Rfb¸<ª<b¥ ¦U¨¡£b¦U©b¡£¢¯ ¯0bJªi¥ ¥ ²r¨bªi©h«¯ ª<'ªU¤J¬¥ bfJª<b¥ ¦UÎ)¡£¦Uª ®¥ ªib±
¸<ªi¯ ¢'³¦U¢Db«¢D¸<ªib¥sªi®¯ UÅ0î¯ ¡v«ªif¯¥s¨e¡£¦U¨R©ªi¯ ¯³ª<Jªh¨RJ¨Bªi³xbb¥ ²U%B¦U¥s¨e¡£¦UB©h¦D³DfJª<bf¯ ±
¨R¥ Õf'³ ³ª<Jªh¨RJ¨fÅ
b¯sªib²Uf ¨bªi©h«¯ UÅ î¥s¨n¥ ³D¥s¤fª<b'¨bfb¥s¨n¯ '¨b¨nªU¨b¨R¢Jªi¤bª< Jªi³D¦U©h¥ Õ'ª<b¥ ¦UÒÊB¥ ¯ ¯¥ ©h«b¦<¸UGfbb¦U
&2
¨bªi©h«¯ ¥ ²Ò¡£JªU¤b¥ ¦U¨ òßUÞ Ò¦U§bbf¦i¡b-ß Jªib²UJ¨¡£¦U ¼ Ϊi³§¦U ϸUx¦i¡bf©¡£¦U
A @ @@
2
Jª<b¥ -¥ ³D¥ ¸N¥s³D¢ªi¯0¨R¥ b¢ª<b¥ ¦U¨fÅ` ¡ªU¤'Î ¦r¨bªi©h«¯ ¥ ²¬Ë ¼¾ßUÞ %ÌBªU³-¨R©ªi¯ ¯ f fbb¦Ubªi¬ªiN±r¦i¡/b @
fs )@@
s °¼)@@@ Å
<r
î Gb'¨R¢¯ J¨¦i¡0b«bf¸N¥ ¦U¢¨¨R'¤b¥ ¦UÒ¥ ³D¥s¤fª<bGbª<nbªU¤f¤¢JªU¤±x¦i¡/²UJªU³D¥ f%®#¦N¦%¨]b¥ ²¤fªiÒ®#¨R¢®D·
¨]Jªi%b¥sªi¯ ¯ ±¥ ©h«b¦<¸U'³ ®N±¥ %bb¦D³D¢¤¥ ²Jªi³D¦U©h¥ Õ'ª<b¥ ¦U bb¦U¢²U b¨R¥ ©h«¯ GºD«#'³D¥ f% ¦i¡bJªi¥ ¥ ²hb
®ªU¨R¯ 'ªibf¦Uu³D¥ )fbf%Jªi³D¦U©h¯ ±¬¨Rf¯ '¤b'³ ³ª<JªÒ¨R¢®¨RJ¨ª<G'ªU¤J§¥ bfJª<b¥ ¦UÅÒîx³Df²Ubf¦i¡B¥ ©·
«b¦<¸Uf©hf%¥s¨¨Rffb¦x³Df«#f³ ¦Ub«ªiRb¥s¤¢¯sªiB«b¦U®¯ f© ª<ªi³¥ bfb©¨B¦i¡bbJªi¥ ¥ ²¨bªi©h«¯
s ¨R¥ Õf ÎDbbb¢¢³Dfb¯ ±N¥ ²Jªib²U¡£¢¤b¥ ¦UÒÐÑiË£»ÌË]ßdÌÎDbG³D¥s¨]bb¥ ®¢Db¥ ¦Ur¦i¡¹ `» Ë Æ ªi¢¨b¨R¥sªiΨR¯sªU¨RÎ
àefb¦U¢¯ ¯ ¥vÌÎ ªi³Òbh¤fªi«ªU¤¥ ]± ¦i¡/b®ªU¨R¯ 'ªibf'Åîb'ªU¨R¦UÒÊBN± b¥s¨ Jªi³D¦U©h¥ Õ'ª<b¥ ¦U «b¦D³D¢¤'¨
¥ ©h«b¦<¸Uf©hf%¥s¨G¦i¤¯ 'ªi'ÅrU¤Gbª<¥ ¥s¨G©h¦%¨] )'¤b¥ ¸Uh¡£¦U¨R©ªi¯ ¯¨bªi©h«¯ '¨fΪi³§ÊB¥ b ¥ ²U
¤fªi«ªU¤¥ ]±®ªU¨RB¯ 'ªibfJ¨fÎi¨R¢²U²U'¨]bª</¸<ªib¥sªi¤eb'³D¢¤b¥ ¦Uh¥s¨/ªi¥ ©h«#¦URJªi%/¥ ²Ub'³D¥ f%'Å n¨R¥ ²G¨R©ªi¯ ¯ f
¨R¢®¨bªi©h«¯ '¨¤fªi¢¨R'¨BbG¸<ªib¥sªi¤¦i¡b¥ ³D¥ ¸N¥s³D¢ªi¯®ªU¨RG¯ 'ªibf'¨]b¥ ©ª<b'¨nª<n'ªU¤Jr¥ bfJª<b¥ ¦Urb¦
1
. Å ¦<Êef¸Uf'Îbfbr¥s¨¯ '¨b¨h¤¦Ubbf¯sª<b¥ ¦Uu®#]Êeff*b b'¨R '¨]b¥ ©ª<b'¨ª<³D¥ )fbf%¥ bfJª<b¥ ¦U¨fÅ
î¥s¨Bbf³¨Bb¦xb'³D¢¤b¸<ªib¥sªi¤¦i¡b¤¦U©®¥ '³r©h¦D³Df¯eË2ëUÌÎ#ÊB¥s¤JÒ¥ Ò )'¤ ªd¸UfJªi²U'¨b®ªU¨R
¯ 'ªibfh'¨]b¥ ©ª<b'¨fÅ ««ªibf%b¯ ± b ¯sª<Rbfxªd¸UfJªi²U¥ ²- )'¤ ³D¦U©h¥ ª<b'¨hbr¡£¦Ub©hf¦UÒf¸Uf5¡£¦U
¨R¢b«b¥s¨R¥ ²U¯ ± ¨R©ªi¯ ¯B¨R¢®¨bªi©h«¯ '¨fÅ5î¥s¨«f¦U©hf¦U*¥s¨hÊef¯ ¯ÉN¦<ÊB*¥ 5®ªi²U²U¥ ²Î/ÊBfb ®#¦N¦iJ¨]bJªi«
¨bªi©h«¯ ¥ ²«b¦D³D¢¤'¨nJªi³D¦U©¨R¢®¨bªi©h«¯ '¨nÊB¥ b¬ )'¤b¥ ¸Uh¨R¥ Õfb¦U¢²U¯ ±rªi¯ ¡/bª<¦i¡/b¡£¢¯ ¯bJªi¥ ¥ ²
¨bªi©h«¯ UÅ %b¦D¤JªU¨]b¥s¤²UJªU³D¥ f%0®#¦N¦%¨]b¥ ²G¤fªi®#¸N¥ fÊe'³¥ b¥s¨¨Rf¨RªU¨/ªih®#¦N¦%¨]b¥ ²<ÍN®ªi²U²U¥ ² N±N®b¥s³ Å
n³ªi«Db¥ ¸U®ªi²U²U¥ ²rËàebf¥ ©ªi¬ß %Ì/bf«b'¨Rf%J¨ªiÒªi¯ bfbª<b¥ ¸U N±N®b¥s³ ªi««b¦%ªU¤JÅ
î b'¨R¢¯ J¨x¦U®DJªi¥ '³ fb ¨R¢²U²U'¨]bª<xb-¦Ub¥ ²U¥ ªi¯¨]b¦D¤JªU¨]b¥s¤r¸UfJ¨R¥ ¦U¨¦i¡ n³ªUàe¦N¦%¨]x©ªd±
ªd¸U©hfb¥ n®#f±U¦U³bª< ¦i¡0¥ ©h«¯ f©hf%Jª<b¥ ¦U ¤¦UN¸Uf¥ f¤UÅ ¥ b-³Dbfb©h¥ ¥s¨]b¥s¤ n³ªUàe¦N¦%¨]'ÎÊef¥ ²U%J¨ 8
ªU¨b¨R¥ ²U'³b¦G'ªU¤J¦U®¨Rfb¸<ª<b¥ ¦Uªibb'¤¦U©h«¢Db'³ª<e¨R¢¤f¤'¨b¨R¥ ¸UB¥ bfJª<b¥ ¦U¨¨R¦ªU¨b¦f©h«ªU¨R¥ Õf¦U®¨Rfb¸<ª<·
b¥ ¦U¨ bª<ªib¤¢bbf%b¯ ± ³D¥ ïx¤¢¯ b¦n¤¦Ubb'¤b¯ ± «b'³D¥s¤'Å ª<bfbªiGÊef¥ ²U%b¥ ²Îd¨]b¦D¤JªU¨]b¥s¤ n³ªUàe¦N¦%¨]
³DJªdʨnJªi³D¦U©°¢NÊef¥ ²U%b'³-¨bªi©h«¯ '¨hË£ÊB¥ b§bf«¯sªU¤f©hf%Ì¡£b¦U©b¡£¢¯ ¯0bJªi¥ ¥ ²r¨bªi©h«¯ UÎÊB¥ b¬b
«b¦U®ªi®¥ ¯ ¥ ]±¦i¡ ªi¦U®¨Rfb¸<ª<b¥ ¦U®#f¥ ²G¨Rf¯ '¤b'³®#f¥ ²«b¦U«#¦URb¥ ¦Uªi¯%b¦¥ J¨0¤¢bbf%b¯ ±¤¦U©h«¢Db'³Êef¥ ²U%'Å
î¥s¨¥ <Ó]'¤J¨ªJªi³D¦U©ó¤¦U©h«#¦Uf%¥ %b¦be«b¦D¤'³D¢b/bª<bf³¨b¦ b'³D¢¤/b¤¦Ubbf¯sª<b¥ ¦U®#]Êeff
¨R¦U¯ ¢Db¥ ¦U¨ ª<¨R¢¤f¤'¨b¨R¥ ¸UG¥ bfJª<b¥ ¦U¨fÅR¢ªi¯«b'¨b¤b¥ «Db¥ ¦U ¥s¨b¦ ©ªiÉUGbJªi³D¦U©h¯ ±r³DJªdÊB-¨bªi©·
«¯ b¨bªi©h¨R¥ ÕfªU¨Bb¦Ub¥ ²U¥ ªi¯ bJªi¥ ¥ ²³ª<Jªx¨R'Åîb'¨R¢¯ J¨B¡£¦U ¨]b¦D¤JªU¨]b¥s¤²UJªU³D¥ f%n®#¦N¦%¨]b¥ ²
¨R¢²U²U'¨]Bbª< ¨]b¦D¤JªU¨]b¥s¤ n³ªUàe¦N¦%¨] ¨ªU¤f¤¢JªU¤±x©h¥ ²U% ªi¯s¨R¦®#G¥ ©h«b¦<¸U'³®N± ¥ ¤b'ªU¨R¥ ²Jªi³D¦U©h'¨b¨
bb¦U¢²U¬³DJªdÊB¥ ²r¨R©ªi¯ ¯ f¨bªi©h«¯ '¨ª<'ªU¤J-¥ bfJª<b¥ ¦UÅhî¥s¨«b¦D³D¢¤'¨ªr¤¦U©h«¢DJª<b¥ ¦Uªi¯0¨bªd¸N¥ ²%¨ªU¨
Êef¯ ¯2Å
r > Ò : n
f¯ «D¡£¢¯ ³D¥s¨b¤¢¨b¨R¥ ¦U¨ÊB¥ b f¦uàebf¥ ©ªi ªibÒ²UJª<b¡£¢¯ ¯ ±5ªU¤JÉN¦<ÊB¯ '³D²U'³ ÅÖî¥s¨Êe¦UbÉ*ʪU¨h«ªiRb¥sªi¯ ¯ ±
¨R¢««#¦URb'³ ®N± N ð ª<bf©ª<b¥s¤fªi¯ ªi³5`D¡£¦Ub©ª<b¥ ¦U/D¤¥ f¤'¨fÎ ¢¨]bJªi¯ ¥sªÎb nf«ªiRb©hf%¦i¡
.
#
1 1
ë Gàebf¥ ©ªiÎ /ÅË]ß %ÌÅ n¨R¥ ² ªU³ªi«Db¥ ¸UG®ªi²U²U¥ ²b¦ ³Df®¥sªU¨nbf²Ub'¨b¨R¥ ¦U¨fÅî'¤J¥s¤fªi¯bf«#¦UR'Î nf«D'Å
¦i¡ %Jª<b¥s¨]b¥s¤f¨fÎ ¥ ¸UfJ¨R¥ ]±¦i¡ ªi¯ ¥ ¡£¦Ub¥sªÎDàefbÉUf¯ f±UÅ
T
ù bf¢³ Î Öªi³ D¤Jªi«¥ bUÎ ÅË]ß %ÌÅ 0ºD«#fb¥ ©hf%J¨ÊB¥ bhªnfÊu®#¦N¦%¨]b¥ ²ªi¯ ²U¦Ub¥ b©rÅd`
#F
!#"$ &%' (" "$*) " " +, Îßfú dÍ)ß Å
1- #)
ú b¥ '³D©ªi.Î -Å GÅË]ß %ÌÅ Æ bf'³D± ¢¤b¥ ¦U ««b¦dºD¥ ©ª<b¥ ¦U ª Æ JªU³D¥ f%àe¦N¦%¨]b¥ ² ªU¤J¥ UÅ
) Y.
+
?
1
î'¤J¥s¤fªi¯ bf«#¦UR'Î nf«D'Ŧi¡ %Jª<b¥s¨]b¥s¤f¨fÎ %JªiD¡£¦UJ³ ¥ ¸UfJ¨R¥ ]±
6I
# b¥ '³D©ªi& _. R.
!
-Å GÅ Î nªU¨]b¥ UÎîΪi³ î¥ ®¨R¥ Jªi¥2Î ÅË]ß %ÌÅ n³³D¥ b¥ ¸U¯ ¦U²U¥s¨]b¥s¤ bf²Ub'¨b¨R¥ ¦U ªh¨]Jª<b¥s¨]·
-
1
b¥s¤fªi¯¸N¥ fÊ ¦i¡®#¦N¦%¨]b¥ ²Åî'¤J¥s¤fªi¯ Bf«#¦UR'Î nf«D'Ŧi¡ %Jª<b¥s¨]b¥s¤f¨fÎ %JªiD¡£¦UJ³ ¥ ¸UfJ¨R¥ ]±UÅ
6I
ß
@