Tablica pomyłek

Tablica pomyłek (nazywana również macierzą pomyłek^[1] lub macierzą błędów) – tabela przedstawiająca skuteczność działania algorytmu klasyfikacyjnego, najczęściej binarnego (czyli przewidującego przynależność do jednej z dwóch klas). Każda kolumna tablicy przedstawia możliwe rzeczywiste etykiety badanych jednostek, a każdy wiersz przedstawia etykiety przewidywane przez algorytm^[2]. Spotyka się również transponowaną wersję macierzy, gdzie klasy rzeczywiste są w wierszach, a przewidywane w kolumnach^[1].

W przypadku klasyfikatora binarnego tablica pomyłek ma wymiary 2×2. Badane jednostki są w takiej sytuacji oznaczone dwoma etykietami: pozytywną i negatywną. Algorytm klasyfikacyjny przypisuje im predykowaną (tzn. przewidywaną) klasę pozytywną albo negatywną. Możliwa jest sytuacja, że jednostka w rzeczywistości pozytywna zostanie omyłkowo zaklasyfikowana jako negatywna, a jednostka w rzeczywistości negatywna jako pozytywna – stąd nazwa macierzy.

		Klasa rzeczywista
		pozytywna	negatywna
Klasa predykowana	pozytywna	prawdziwie pozytywna (TP)	fałszywie pozytywna (FP)
Klasa predykowana	negatywna	fałszywie negatywna (FN)	prawdziwie negatywna (TN)

Na podstawie częstości występowania rzeczywistego stanu pozytywnego w populacji oraz wzajemnych relacji prawidłowych i nieprawidłowych klasyfikacji można wyróżnić szereg wskaźników oceniających siłę predykcyjną klasyfikatora (np. testu diagnostycznego). Poniższy wykres podsumowuje ich powiązania, przy czym – odwrotnie niż w tablicy powyżej – klasa rzeczywista jest w wierszach, a klasa przewidywana w kolumnach:

		Klasa predykowana – wynik testu
	Populacja	Klasyfikacja pozytywna	Klasyfikacja negatywna	Częstość występowania, chorobowość ${\frac {\scriptstyle \sum {\text{stan pozytywny}}}{\scriptstyle \sum {\text{populacja}}}}$
Klasa rzeczywista	Stan pozytywny	prawdziwie dodatnia, TP	fałszywie ujemna (błąd drugiego rodzaju, FN)	czułość, TPR ${\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FN}} }}$	FNR ${\frac {\scriptstyle \sum \mathbf {\color {Red}FN} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FN}} }}$
Klasa rzeczywista	Stan negatywny	fałszywie dodatnia (błąd pierwszego rodzaju, FP)	prawdziwie ujemna, TN	FPR ${\frac {\scriptstyle \sum \mathbf {\color {Red}FP} }{\scriptstyle \sum \mathbf {{\color {Red}FP}+\sum {\color {OliveGreen}TN}} }}$	swoistość, SPC, TNR ${\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum \mathbf {{\color {Red}FP}+\sum {\color {OliveGreen}TN}} }}$
	dokładność, ACC ${\frac {\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+} \scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum {\text{populacja}}}}$	precyzja, PPV ${\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FP}} }}$	FOR ${\frac {\scriptstyle \sum \mathbf {\color {Red}FN} }{\scriptstyle \sum \mathbf {{\color {Red}FN}+\sum {\color {OliveGreen}TN}} }}$	LR+ ${\frac {\scriptstyle \mathbf {\color {OliveGreen}TPR} }{\scriptstyle \mathbf {\color {OliveGreen}FPR} }}$	DOR ${\frac {\scriptstyle \mathbf {\color {OliveGreen}LR+} }{\scriptstyle \mathbf {\color {OliveGreen}LR-} }}$
		FDR ${\frac {\scriptstyle \sum \mathbf {\color {Red}FP} }{\scriptstyle \sum \mathbf {{\color {OliveGreen}TP}+\sum {\color {Red}FP}} }}$	NPV ${\frac {\scriptstyle \sum \mathbf {\color {OliveGreen}TN} }{\scriptstyle \sum \mathbf {{\color {Red}FN}+\sum {\color {OliveGreen}TN}} }}$	LR- ${\frac {\scriptstyle \mathbf {\color {OliveGreen}FNR} }{\scriptstyle \mathbf {\color {OliveGreen}TNR} }}$

Oznaczenia jednostek w zależności od ich klasy rzeczywistej i przewidywanej:

prawdziwie pozytywna (ang. true positive, TP)
prawdziwie negatywna (ang. true negative, TN)
fałszywie pozytywna (ang. false positive, FP), błąd pierwszego rodzaju
fałszywie negatywna (ang. false negative, FN), błąd drugiego rodzaju
pozytywna P = (TP + FN)
negatywna N = (TN + FP)

Miary:

czułość (ang. sensitivity), pełność^[3] (ang. recall) lub odsetek prawdziwie pozytywnych (ang. true positive rate, TPR)

TPR=TP/P=TP/(TP+FN)

swoistość (ang. specificity, SPC) lub odsetek prawdziwie negatywnych (ang. true negative rate, TNR)

TNR=TN/N=TN/(FP+TN)

dokładność (ang. accuracy, ACC)

ACC=(TP+TN)/(P+N)=(TP+TN)/(TP+FN+TN+FP)

precyzja (ang. precision) lub dodatnia wartość predykcyjna^[2] (ang. positive predictive value, PPV)

PPV=TP/(TP+FP)

ujemna wartość predykcyjna (ang. negative predictive value, NPV)

NPV=TN/(TN+FN)

odsetek fałszywie pozytywnych (ang. false positive rate, FPR)

FPR=FP/N=FP/(FP+TN)=1-TNR

odsetek fałszywie negatywnych (ang. false negative rate, FNR)

FNR=FN/P=FN/(TP+FN)=1-TPR

wskaźnik (iloraz) wiarygodności wyniku dodatniego^[4] (ang. positive likelihood ratio, LR+)

LR+=TPR/(1-TNR)=TPR/FPR={\frac {TP\cdot (FP+TN)}{FP\cdot (TP+FN)}}

wskaźnik (iloraz) wiarygodności wyniku ujemnego (ang. negative likelihood ratio, LR-)

LR-=(1-TPR)/TNR=FNR/TNR={\frac {FN\cdot (FP+TN)}{TN\cdot (TP+FN)}}

diagnostyczny iloraz szans (ang. diagnostic Odds ratio, DOR)

DOR={\frac {LR+}{LR-}}={\frac {TP/FP}{FN/TN}}={\frac {TP\cdot TN}{FP\cdot FN}}

Przykład

		Klasa rzeczywista
		pozytywna	negatywna
Klasa predykowana	pozytywna	Ludzie chorzy poprawnie zdiagnozowani jako chorzy	Ludzie zdrowi błędnie zdiagnozowani jako chorzy (błąd pierwszego rodzaju)
Klasa predykowana	negatywna	Ludzie chorzy błędnie zdiagnozowani jako zdrowi (błąd drugiego rodzaju)	Ludzie zdrowi poprawnie zdiagnozowani jako ludzie zdrowi

Przypisy

↑ ^a ^b AurélienA. Géron AurélienA., Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow, Wydanie II, aktualizacja do modułu TensorFlow 2, Gliwice: Helion, 2020, s. 110, ISBN 978-83-283-6002-0 [dostęp 2024-05-18] .
↑ ^a ^b AndrzejA. Stanisz AndrzejA., Modele regresji logistycznej: zastosowanie w medycynie, naukach przyrodniczych i społecznych, Kraków: Wydawnictwo StatSoft Polska, 2016, ISBN 978-83-88724-73-2 [dostęp 2024-05-18] .
↑ NinaN. Zumel NinaN., JohnJ. Mount JohnJ., Język R i analiza danych w praktyce, 2021, s. 214 (pol.).
↑ AgataA. Smoleń AgataA., Zastosowanie narzędzi klasyfikacyjnych opartych na technikach statystycznych i metodach sztucznej inteligencji w ocenie prawdopodobieństwa istnienia raka jajnika [online], Statsoft Polska, 2011 (pol.).

[:0-1] AurélienA. Géron AurélienA., Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow, Wydanie II, aktualizacja do modułu TensorFlow 2, Gliwice: Helion, 2020, s. 110, ISBN 978-83-283-6002-0 [dostęp 2024-05-18] .

[:1-2] AndrzejA. Stanisz AndrzejA., Modele regresji logistycznej: zastosowanie w medycynie, naukach przyrodniczych i społecznych, Kraków: Wydawnictwo StatSoft Polska, 2016, ISBN 978-83-88724-73-2 [dostęp 2024-05-18] .

[3] NinaN. Zumel NinaN., JohnJ. Mount JohnJ., Język R i analiza danych w praktyce, 2021, s. 214 (pol.).

[4] AgataA. Smoleń AgataA., Zastosowanie narzędzi klasyfikacyjnych opartych na technikach statystycznych i metodach sztucznej inteligencji w ocenie prawdopodobieństwa istnienia raka jajnika [online], Statsoft Polska, 2011 (pol.).

[1]

[2]

[3]

[4]