Funkcja straty

Funkcja straty (funkcja kosztu, funkcja celu) - funkcja stosowana w wielu problemach dotyczących optymalizacji, w różnych dyscyplinach wiedzy. Zadanie optymalizacyjne polega na szukaniu minimum funkcji straty. W statystyce funkcja straty jest zwykle stosowana w estymacji parametrów, a analizowane zdarzenie odnosi się do pewnej funkcji różnicy między oszacowaniem a wartością rzeczywistą dla danej obserwacji; do statystyki pojęcie funkcji straty wprowadził Abraham Wald w połowie XX wieku. W ekonomii funkcja straty opisuje najczęściej koszt ekonomiczny. W klasyfikacji określa "karę" za błędną klasyfikację przykładu. W naukach aktuarialnych funkcja straty stosowana jest w kontekście ubezpieczeniowym do modelowania relacji między wypłacanymi świadczeniami a składkami, szczególnie od prac Haralda Craméra z lat 20. XX wieku. W sterowaniu optymalnym określa karę za nieosiągnięcie pożądanej wartości, natomiast w zarządzaniu ryzykiem finansowym odwzorowuje stratę pieniężną.

Odgrywa szczególną rolę w uczeniu maszynowym, w modelach sztucznej inteligencji.

Funkcja straty (ang. loss function) to matematyczna miara błędu modelu uczonego maszynowo. Określa, jak bardzo przewidywania modelu różnią się od wartości rzeczywistych i stanowi podstawowy element procesu optymalizacji. Celem uczenia jest minimalizacja wartości funkcji straty. Funkcja straty porównuje wartości prawdziwe

${\displaystyle y=[y_{1},_{2},\dots ,y_{n}]}$

oraz wartości przewidywane przez model

${\displaystyle [{\hat {y}}=[{\hat {y_{1}}},{\hat {y_{2}}},\dots ,{\hat {y_{n}}}]}$

które zależą od pewnej liczby parametrów

${\displaystyle \theta =[\theta _{1},\theta _{2},\dots ,\theta _{m}]}$

stosowanych w modelu. W optymalizacji dąży się do znalezienia wartości parametrów ${\displaystyle \theta }$ minimalizujących funkcję straty.

(1) Błąd średni kwadratowy (ang. mean squared error - MSE) - funkcja najczęściej stosowana w regresji:

${\displaystyle \mathrm {MSE} ({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}$

(2) Średni błąd bezwzględny (ang. mean absolute error - MAE) - funkcja odporniejsza na wartości odstające od pozostałych danych

${\displaystyle \mathrm {MAE} ({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}|y_{i}-{\hat {y}}_{i}|}$

Entropia krzyżowa - stosowana w klasyfikacji binarnej; dla wielu klas mamy

${\displaystyle L({\hat {y}},y)=-\sum _{i=1}^{n}y_{i}\ln({\hat {y}}_{i})}$

W statystyce i teorii decyzji często używa się funkcji straty 0-1

${\displaystyle L_{i}({\hat {y_{i}}},y_{i})={\begin{cases}0&{\text{gdy }}y_{i}={\hat {y_{i}}}\\1&{\text{gdy }}y_{i}\neq {\hat {y_{i}}}\end{cases}}}$

W teorii informacji ta funkcja straty znana jest pod nazwą zniekształcenia Hamminga. Funkcja ta mierzy wielkość zniekształceń transmisji danych dyskretnych, gdzie błędy polegają na zamianie jednych symboli na inne.

Dla ciągu symboli ${\displaystyle y}$ i jego rekonstrukcji ${\displaystyle {\hat {y}}}$ (np. podczas transmisji z serwera do komputera) całkowite zniekształcenie definiuje się funkcją straty, która mierzy odsetek błędnie odtworzonych symboli:

${\displaystyle L({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}L_{i}(y_{i},{\hat {y}}_{i})}$

Dla sygnału nadawanego ${\displaystyle y=(0,1,1,0,1)}$ oraz sygnału odtworzonego ${\displaystyle {\hat {y}}=(0,0,1,0,1)}$ różniących się w drugiej pozycji otrzymujemy

${\displaystyle L(y,{\hat {y}})={\tfrac {1}{5}}}$

• analiza błędów przy kodowaniu symboli
• kodowanie źródła z dopuszczalnym zniekształceniem,
• modele transmisji sekwencji dyskretnych,
• teoria szybkość–zniekształcenia (rate–distortion theory).

W zadaniach programowania liniowego funkcja straty jest funkcją liniową; celem programowania jest znalezienie minimum tej funkcji; jeśli funkcja straty jest właściwie wybrana, to znalezienie jej minimum oznacza znalezienie wartości parametrów, które dają optymalne rozwiązanie problemu. Dla zdefiniowanego zadania programowania liniowego:

${\displaystyle X={x\in R^{n}:Ax=b,x>0}}$

${\displaystyle \min[z=<c,x>]}$

Jeżeli problem optymalizacyjny polega na znalezieniu maksymalnej wartości pewnej funkcji, to funkcję ta nazywa się funkcją celu. Funkcję straty / celu można poddać przekształceniom:

1. zadanie maksymalizacji można zastąpić równoważnym zadaniem minimalizacji poprzez zamianę znaku we współczynniku ${\displaystyle \max(c,x)=-\min(-c,x).}$
2. składniki stałe niezależne od x można pominąć
3. zmienne nieustalonego znaku można zastąpić sumą dwóch zmiennych o przeciwstawnych znakach ${\displaystyle x_{j}=x_{j}^{+}+x_{j}^{-}}$
4. ograniczenia nierównościowe ${\displaystyle (a_{i},x)\leqslant b_{i}}$ można sprowadzić do równań poprzez dodanie dopełniających zmiennych ${\displaystyle <a_{i},x>+x_{n+1}=b_{i}}$

• metoda gradientu prostego
• propagacja wsteczna
• perceptron

• PawełP. Cichosz PawełP., Systemy uczące się, Warszawa: WNT, 2000, ISBN 83-204-2544-1, OCLC 749595834 . Brak numerów stron w książce
• Mitchell T., Machine learning, McGraw-Hill Companies, Inc., 1997
• Bolc L., Zaremba P., Wprowadzenie do uczenia się maszyn, Akademicka Oficyna Wydawnicza, 1993
• Richard S. Sutton, Andrew G. Barto: Reinforcement Learning. The MIT Press, 1998. ISBN 0-262-19398-1. (ang.).

• Włodzisław Duch, notatki do wykładów wstępnych, według książki „Fascynujący świat programów komputerowych”. fizyka.umk.pl. [zarchiwizowane z tego adresu (2007-05-14)].