Перцептрон

У машинском учењу, перцептрон је алгоритам за надгледано учење бинарних класификатора. Бинарни класификатор је функција која може одлучити да ли улаз, представљен вектором бројева, припада некој одређеној класи. То је тип линеарног класификатора, тј. алгоритма класификације који чини своја предвиђања заснована на функцији линеарног предиктора комбинујући скуп тежина са вектором својства. Перцептрон је измислио Френк Розенблат 1958. године.

Дефиниција

У модерном смислу, перцептрон је алгоритам за учење бинарног класификатора који се назива функција прага: функција која пресликава свој улаз $\mathbf {x}$ (вектор реалних вредности) на излаз $f(\mathbf {x} )$ (једна бинарна вредност):

$f(\mathbf {x} )={\begin{cases}1&{\text{ако је }}\ \mathbf {w} \cdot \mathbf {x} +b>0,\\0&{\text{иначе}}\end{cases}}$

где је $\mathbf {w}$ вектор реалних тежина, а $\mathbf {w} \cdot \mathbf {x}$ је скаларни производ вектора $\sum _{i=1}^{m}w_{i}x_{i}$, где је m број улаза у перцептрон, а b је бијас. Бијас помера границу одлуке даље од оригинала и не зависи ни од једне улазне вредности.

Вредност $f(\mathbf {x} )$ (0 или 1) се користи за класификацију $\mathbf {x}$ као или позитивне или негативне инстанце, у случају проблема бинарне класификације. Ако је b негативно, тада комбинација улаза помножених са тежином мора дати позитивну вредност већу од $|b|$ да би класификаторски неурон прешао преко прага који је вредности 0. Просторно, бијас мења положај (али не и оријентацију) границе одлуке. Алгоритам учења перцептрона не престаје ако скуп за учење није линеарно сепарабилан. Ако вектори нису линеарно сепарабилни, учење никада неће достићи тачку где су сви вектори класификовани на одговарајући начин. Најпознатији пример немогућности перцептрона да реши проблеме са линеарно несепарабилним векторима је Булов проблем XOR-а.

У контексту неуронских мрежа, перцептрон је вештачки неурон који користи Хевисајдову функцију као активациону функцију. Алгоритам перцептрон се такође назива и једнослојни перцептрон, како би се разликовао од вишеслојног перцептрона, што је погрешан назив за компликованију неуронску мрежу. Као линеарни класификатор, једнослојни перцептрон је најједноставнија фидфорвард неуронска мрежа.

Додатна литература

• Aizerman, M. A. and Braverman, E. M. and Lev I. Rozonoer (1964). „Theoretical foundations of the potential function method in pattern recognition learning”. Automation and Remote Control. 25: 821—837. CS1 одржавање: Вишеструка имена: списак аутора (веза).
• Rosenblatt, F. (1958). „The perceptron: A probabilistic model for information storage and organization in the brain”. Psychological Review. 65 (6): 386—408. PMID 13602029. S2CID 12781225. doi:10.1037/h0042519. .
• Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC:Spartan Books.
• Minsky M. L. and Papert S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
• Gallant, S. I.. Perceptron-based learning algorithms. IEEE Transactions on Neural Networks,. . 1 (2). 1990: 179—191. 
• Mohri, Mehryar; Rostamizadeh, Afshin (2013). „Perceptron Mistake Bounds”. arXiv:1305.0208 . 
• Novikoff, A. B. (1962). On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 12, 615-622. Polytechnic Institute of Brooklyn.
• Widrow, B., Lehr, M.A., "30 years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415–1442, (1990).
• Collins, M. 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02).
• Yin, Hongfeng (1996), Perceptron-Based Algorithms and Analysis, Spectrum Library, Concordia University, Canada

Спољашње везе

• A Perceptron implemented in MATLAB to learn binary NAND function
• Rojas, Raul (12. 7. 1996). Neural Networks: A Systematic Introduction. Springer. ISBN 978-3-540-60505-8. CS1 одржавање: Формат датума (веза)
• History of perceptrons
• Mathematics of perceptrons