Perceptron (od angielskiego słowa „ perception” oznaczającego postrzeganie) - najprostsza sztuczna sieć neuronowa, wprowadzona po raz pierwszy przez Franka Rosenblatta w 1958 roku^[1]. W swojej podstawowej formie (perceptron prosty) składa się z pojedynczego sztucznego neuronu McCullocha-Pittsa z regulowanymi wagami i progiem. Dalszy rozwój doprowadził do konstrukcji perceptronów wielowarstwowych, w tym perceptronów ze sprzężeniem zwrotnym, mających znacznie większe możliwości obliczeniowe.

W 1943 roku neurofizjolog Warren McCulloch i logik Walter Pitts wprowadzili do informatyki „neuron” jako element logiczny z wieloma wejściami i jednym wyjściem binarnym, działający progowo, tj. neuron ten przyjmował stan 1, gdy suma sygnałów wejściowych przekroczyła zadany próg; w przeciwnym zaś wypadku przyjmował stan 0 w odpowiedzi na sygnały wejściowe (patrz schemat neuronu McCullocha-Pittsa ). Odpowiadało to neurobiologicznej analogii potencjału czynnościowego, który komórka nerwowa emituje, gdy następuje zmiana jej potencjału błonowego, gdy suma sygnałów, jakie dochodzą do komórki od dendrytów, przekroczy pewien próg. McCulloch i Pitts wykazali, że poprzez odpowiednie połączenie takich neuronów można tworzyć bramki logiczne AND, OR, NOT, a z nich bardziej złożone układy.

W 1958 roku Frank Rosenblatt opublikował model perceptronu, który do dziś stanowi podstawę sztucznych sieci neuronowych. Perceptron zbudowany przez Rosenblatta wraz z Charlesem Wightmanem służył do rozpoznawania znaków alfanumerycznych. Innowacją było tu zastosowanie procesu uczenia się jako metody programowania systemu.

W Polsce Jacek Karpiński, inżynier i genialny wynalazca, skonstruował w 1962 r. perceptron z tranzystorów. Jego sieć neuronowa rozpoznawała otoczenie za pomocą kamery i potrafiła się uczyć. Był to drugi taki perceptron na świecie^[2].

Badania nad perceptronami zostały zahamowane na jakiś czas, gdy w roku 1969 Marvin Minsky i Seymour Papert wykazali perceptrony mogą być wykorzystywane tylko do klasyfikowania zbiorów liniowo separowalnych; pokazali m. in. niezdolność do tworzenia bramek XOR z perceptronów^[3] . Wprowadzenie odpowiednich funkcji aktywacji pozwoliło jednak przezwyciężyć te ograniczenia; m. in. ReLU (Rectified Linear Unit), Sigmoid (funkcja logistyczna), Tgh (funkcja tangens hiperboliczny), Softmax, Leaky ReLU. (Funkcja aktywacji neuronu jest pokazana na schemacie powyżej w sposób symboliczny jako schodek w kwadracie).

Perceptron jednowarstwowy jest zbudowany z neuronów, których wejścia są wspólne - na te wejścia podaje się analizowaną daną. Przy tym:

a). ${\displaystyle m}$ - liczba neuronów perceptronu: jeśli perceptron ma klasyfikować dane ze względu na jedną cechę, to ma jeden neuron; jeśli ma klasyfikować dane ze względu na dwie cechy, to ma dwa neurony; do analizy ${\displaystyle m}$ cech perceptron ma ${\displaystyle m}$ neuronów

b). ${\displaystyle n}$ - ilość wejść perceptronu (równa liczbie wejść każdego neuronu) zależy od danych: jeżeli każda dana wejściowa jest określona za pomocą ${\displaystyle n}$ liczb ${\displaystyle x_{1},x_{2},\dots ,x_{n}}$, to każdy neuron musi mieć ${\displaystyle n}$ wejść

c). ${\displaystyle m}$ - ilość wyjść perceptronu: ponieważ każdy neuron ma jedno wyjście, więc jeżeli perceptron analizuje ${\displaystyle m}$ cech, to ma ${\displaystyle m}$ wyjść - po jednym od każdego neuronu

Działanie perceptronu jest następujące:

• w przypadku analizy pojedynczej cechy perceptron ma jeden neuron; na jego wejścia podawane są wartości liczbowe ${\displaystyle x_{1},x_{2},\dots ,x_{n}}$ analizowanej danej i jeżeli dana ta należy do analizowanej przez neuron klasy, to neuron na wyjściu poda liczbę ${\displaystyle 1}$, a gdy nie należy, to poda ${\displaystyle 0}$
• gdy perceptron klasyfikuje ${\displaystyle m}$ cech, to na ${\displaystyle m}$ neuronów, mających ${\displaystyle n}$ wspólnych wejść; poszczególnym cechom neurony przypiszą liczby 1 lub zero analizowanej danej; na wyjściu perceptronu będzie ${\displaystyle m}$wyjść od poszczególnych neuronów, każde w stanie wyjściowym 1 lub 0; perceptron przypisze więc danej wejściowej liczbę o ${\displaystyle m}$ bitach - kolejne bity określają, czy ta dana posiada czy nie poszczególne analizowane cechy. Z tego względu perceptron należy do klasyfikatorów binarnych.

Aby perceptron wykonywał zadanie klasyfikacji, należy go "wytrenować", tj. ustalić wartości wag. Można to np. zrobić metodą prób, podając przykładowe dane na wejście i modyfikuje wagi połączeń między neuronami tak, aby wynik na wyjściu przybierał pożądane wartości. Najprostsze perceptrony mogą klasyfikować dane na zbiory, które są liniowo separowalne. W przypadku zbioru danych określonych dwoma wielkościami ${\displaystyle x_{1}}$ oraz ${\displaystyle x_{2}}$ są one separowalne prostą na płaszczyźnie; w tym wypadku wagi perceptronu tworzą wektor normalny do tej prostej, płaszczyznę (w przypadku 3 wejść); w ogólności hiperpłaszczyznę ${\displaystyle n-1}$ wymiarową w przypadku ${\displaystyle n}$ wejść^[4].

Trenowanie perceptronu oznacza matematycznie znalezienie właściwej prostej (ogólnie: hiperpłaszczyzny), która separuje dane wejściowe na te, które spełniają zadany warunek i te, które nie spełniają tego warunku. Dlatego tak ważne jest, aby dane były liniowo separowalne, inaczej nie będzie możliwe znalezienie odpowiednich wag sieci - perceptron nie będzie działał.

Wyjście perceptronu obliczamy za pomocą wzoru:

${\displaystyle y=f(\sum _{i=1}^{n}w_{i}x_{i}+b)}$,

gdzie ${\displaystyle w_{i}}$ – waga, ${\displaystyle x_{i}}$ – wejście, ${\displaystyle f}$ – funkcja aktywacji, ${\displaystyle y}$ – wyjście, ${\displaystyle n}$ – liczba wejść, ${\displaystyle b}$ – wartość progowa (ang. bias).

W konstrukcji pierwotnego perceptronu jako funkcję aktywacji stosowano funkcję skokową, dla której wyjście przyjmowało wartość ${\displaystyle 1}$ lub wartość ${\displaystyle 0}$. W ogólności funkcje aktywacji mogą dawać na wyjściu wartości dyskretne lub ciągłe, np. dla sigmoidalnej funkcji aktywacji wyjście przyjmuje wartości w zakresie ${\displaystyle \langle {0,1}\rangle }$.

Jeśli potraktujemy wejście ${\displaystyle X}$ oraz wyjście ${\displaystyle Y}$ jako wektory liczb rzeczywistych, to warstwa neuronów zachowuje się jak macierz ${\displaystyle N{:}}$

${\displaystyle Y=NX.}$

Działanie każdej kolejnej warstwy można przedstawić jako kolejne mnożenie przez pewną macierz:

${\displaystyle Y=N_{5}N_{4}N_{3}N_{2}N_{1}X.}$

Wszystkie te mnożenia można zastąpić mnożeniem przez jedną macierz:

${\displaystyle N^{*}=N_{5}N_{4}N_{3}N_{2}N_{1},}$

${\displaystyle Y=N^{*}X.}$

A zatem sieć perceptronowa o dowolnie wielu warstwach potrafi wykonać tylko te operacje, wykona sieć złożona z jednej warstwy neuronów.

Sytuacja zmienia się całkowicie jeśli jako funkcje aktywacji zastosuje się funkcje nieliniowe, np.

${\displaystyle f(x)=\left\{{\begin{matrix}0&{\text{dla }}x<0\\1&{\text{dla }}x>1\\x&{\text{w pozostałych przypadkach}}\end{matrix}}\right.}$

albo

${\displaystyle f(x)=\left\{{\begin{matrix}1&{\text{dla }}x>1\\0&{\text{w pozostałych przypadkach}}\end{matrix}}\right.}$

itd.

Takie sieci neuronowe potrafią obliczać znacznie bardziej skomplikowane funkcje.

Np. poniższa sieć neuronowa wylicza funkcję XOR:

Wejścia: ${\displaystyle x_{1}}$ i ${\displaystyle x_{2}}$

Neuron 1: ${\displaystyle y_{1}=2x_{1}-2x_{2}}$

Funkcja nieliniowa po neuronie 1: ${\displaystyle z_{1}=1}$ jeśli ${\displaystyle y_{1}>1,}$ w przeciwnym wypadku ${\displaystyle z_{1}=0}$

Neuron 2: ${\displaystyle y_{2}=2x_{2}-2x_{1}}$

Funkcja nieliniowa po neuronie 2: ${\displaystyle z_{2}=1}$ jeśli ${\displaystyle y_{2}>1,}$ w przeciwnym wypadku ${\displaystyle z_{2}=0}$

Neuron 3: ${\displaystyle w=2z_{1}+2z_{2}}$

Funkcja nieliniowa po neuronie 3: ${\displaystyle v=1}$ jeśli ${\displaystyle w>1,}$ w przeciwnym wypadku ${\displaystyle v=0}$

Wejścia		Wyjścia warstwy 1		Po funkcji nieliniowej		Wyjścia warstwy 2	Po funkcji nieliniowej (ostateczny wynik)
${\displaystyle x_{1}}$	${\displaystyle x_{2}}$	${\displaystyle y_{1}}$	${\displaystyle y_{2}}$	${\displaystyle z_{1}}$	${\displaystyle z_{2}}$	${\displaystyle w}$	${\displaystyle v}$
0	0	0	0	0	0	0	0
0	1	−2	2	0	1	2	1
1	0	2	−2	1	0	2	1
1	1	0	0	0	0	0	0

• perceptron wielowarstwowy

Po polsku:

• Anna Bartkowiak: Sieci Neuronowe: Notatki do wykładu „Sieci Neuronowe” dla studentów kierunku Informatyka na Uniwersytecie Wrocławskim. 2002.

Po angielsku:

• Rosenblatt, Frank (1958): The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Reviews 65 (1958) 386–408
• M. L. Minsky, S. A. Papert: Perceptrons. 2nd Edition, MIT-Press 1988, ISBN 0-262-63111-3.

• Stephen Marsland: Machine Learning. An algorithmic perspective. 2014. ISBN 978-1-4665-8328-3.