ReLU

Funkcja ReLU, prostowana jednostka liniowa^[1] (ang. rectified linear unit), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu^[2][3]:

${\displaystyle \operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.}$

ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych^[4] i znajduje zastosowanie w komputerowym widzeniu^[5] przy użyciu głębokich sieci neuronowych^[6][7][8].

Do zalet funkcji ReLU należą:

• Rzadka aktywacja: w sieci z losowo zainicjowanymi wagami tylko około 50% neuronów w warstwach ukrytych jest aktywowanych (tzn. ma niezerową wartość wyjściową)^[9].
• Lepsza propagacja gradientu: mniejsze ryzyko wystąpienia problemu zanikającego gradientu w porównaniu z sigmoidalnymi funkcjami aktywacji, które nasycają się w obu kierunkach^[5][9].
• Wydajność obliczeniowa^[10]: funkcja jest bardzo prosta obliczeniowo – wymaga jedynie porównania z zerem i operacji dodawania.
• Niezmienność ze względu na skalę (jednorodność)^[11]:

${\displaystyle \max(0,ax)=a\max(0,x){\text{ dla }}a\geqslant 0}$.

Możliwe wady funkcji ReLU to między innymi:

• Nieróżniczkowalność w zerze: funkcja jest różniczkowalna w każdym innym punkcie, jednak w punkcie ${\displaystyle x=0}$ jej pochodna jest niezdefiniowana^[12]. W praktyce można umownie przyjąć, że pochodna w tym punkcie wynosi 0 lub 1.
• Wyjście nie jest skoncentrowane wokół zera: wyjścia ReLU są zawsze nieujemne. Może to utrudnić sieci uczenie się podczas propagacji wstecznej, ponieważ aktualizacje gradientu mają tendencję do przesuwania wag w jednym kierunku (dodatnim lub ujemnym)^[13]. Problem ten można częściowo rozwiązać za pomocą normalizacji wsadowej^[14].
• Funkcja jest nieograniczona z góry: wartości ReLU mogą rosnąć bez ograniczeń, co w niektórych przypadkach może prowadzić do problemów, takich jak eksplodujący gradient^[14].
• Nadmiarowość parametryzacji: z powodu niezmienności ze względu na skalę, sieć neuronowa może uzyskać identyczną funkcję wyjściową poprzez przeskalowanie wag i biasów przed aktywacją ReLU o czynnik ${\displaystyle k}$, a wag warstwy następnej o czynnik ${\displaystyle 1/k}$^[15].
• Problem „umierającego ReLU” (ang. „Dying ReLU”): neurony z aktywacją ReLU mogą zostać zepchnięte do stanów, w których stają się nieaktywne dla niemal wszystkich danych wejściowych^[16]. W tym stanie żadne gradienty nie przepływają wstecz przez neuron, więc utyka on w wiecznie nieaktywnym stanie („umiera”). Jest to forma problemu zanikającego gradientu. W niektórych przypadkach duża liczba neuronów w sieci może utknąć w martwym stanie, skutecznie zmniejszając pojemność modelu i potencjalnie nawet zatrzymując proces uczenia. Problem ten pojawia się zazwyczaj, gdy współczynnik uczenia jest zbyt wysoki. Można go złagodzić, stosując warianty takie jak „Leaky ReLU”, gdzie dla ${\displaystyle x<0}$ przypisuje się niewielkie dodatnie nachylenie. W zależności od zadania może to jednak wiązać się ze spadkiem ogólnej wydajności modelu.

• Funkcja softmax