Term frequency

TF (ang. term frequency) – częstość słów (ważenie częstością słów) — podstawowe pojęcie w analizie tekstu^[1][2], które określa ilościowo, ile razy określony termin pojawia się w dokumencie^[1][2]; funkcja oceny relatywności dokumentu na podstawie wagi ilościowej (częstości wystąpień) słów w obrębie dokumentu^[2]. Ważenie termów jest procesem obliczania wag, czyli stopnia przynależności termu do dokumentu z uwzględnieniem częstotliwości występowania termu w tekście^[3].

Podstawowa formuła TF oblicza się jako stosunek liczby wystąpień termu w dokumencie do całkowitej liczby termów w tym dokumencie^[4]:

${\displaystyle TF(t,d)={\frac {f_{t,d}}{\sum _{t'\in d}f_{t',d}}}}$

gdzie ${\displaystyle f_{t,d}}$ jest surową liczbą wystąpień terminu w dokumencie, tj. liczbą razy, gdy termin ${\displaystyle t}$ pojawia się w dokumencie ${\displaystyle d}$. Mianownik jest łączną liczbą terminów w dokumencie ${\displaystyle d}$ (licząc każde wystąpienie, także powtórzenia tego samego terminu). W literaturze spotyka się także inne definicje częstości terminu^[5].

Istnieje wiele wariantów obliczania częstości termów, opracowanych w celu rozwiązania różnych problemów związanych z ważeniem termów^[5][6][7]:

schemat ważenia	definicja wagi tf (${\displaystyle f_{t,d}}$ – surowa liczba wystąpień)
liczba wystąpień	${\displaystyle \mathrm {tf} (t,d)=f_{t,d}}$
binarna (Boolean)	${\displaystyle \mathrm {tf} (t,d)=1}$, gdy ${\displaystyle f_{t,d}>0}$, w przeciwnym razie ${\displaystyle 0}$
względna (znormalizowana)	${\displaystyle \mathrm {tf} (t,d)={\frac {f_{t,d}}{\sum _{t'\in d}f_{t',d}}}}$
logarytmicznie skalowana	${\displaystyle \mathrm {tf} (t,d)=\log(1+f_{t,d})}$[8]
augmentowana	${\displaystyle \mathrm {tf} (t,d)=0.5+0.5\cdot {\frac {f_{t,d}}{\max\{f_{t',d}:t'\in d\}}}}$

• Częstość (ang. raw count) – prosta liczba wystąpień termu w dokumencie
• Logarytmiczne skalowanie – zmniejsza wagę dla termów pojawiających się wielokrotnie: ${\displaystyle 1+\log(f_{t,d})}$, co zapobiega nadmiernemu wpływowi bardzo częstych termów
• Normalizacja – dzieli surową częstość przez częstość najczęściej występującego termu w dokumencie, aby zapobiec faworyzowaniu dłuższych dokumentów^[9]
• Częstość boolowska – 1 jeśli term występuje w dokumencie, 0 w przeciwnym razie
• Normalizacja według długości dokumentu – uwzględnia różnice w długości dokumentów, stosując odpowiednie współczynniki normalizacyjne

TF znajduje zastosowanie w obszarach przetwarzania języka naturalnego i wyszukiwania informacji^[10][11]:

• Wyszukiwarki internetowe – ranking wyników wyszukiwania według trafności
• Klasyfikacja tekstu – kategoryzacja dokumentów na podstawie zawartości
• Ekstrakcja słów kluczowych – identyfikacja najważniejszych terminów w dokumencie
• Systemy rekomendacji – porównywanie opisów tekstowych produktów lub treści
• Podsumowywanie tekstu – określanie najistotniejszych fragmentów dokumentu

Badania przeprowadzone przez Beela i in. w 2016 roku wykazały, że TF-IDF (najczęściej stosowany schemat oparty na TF) był wykorzystywany w ponad połowie systemów rekomendacji artykułów naukowych^[12].

Częstość słów (ang. word frequency, będąca synonimem pojęcia term frequency) była jedną z podstawowych reguł, na których pierwsze wyszukiwarki internetowe pozycjonowały strony w wynikach. Dotyczyło to szczególnie wczesnych wyszukiwarek takich jak AltaVista, WebCrawler i Infoseek, które przywiązywały bardzo dużą wagę do częstości występowania słów kluczowych na stronach internetowych^[13][14]. We wczesnych fazach rozwoju wyszukiwarek internetowych, proste algorytmy oparte na częstości termów były wykorzystywane przez Google i inne wyszukiwarki do sortowania wyników wyszukiwania^[15][14].

Powszechny jest pogląd, że TF przywiązuje zbyt dużą wagę do powtarzających się wystąpień terminu/słowa^[1]. W wyszukiwarkach opartych na klasyfikacji opartej na częstości termów (TF) lub wariantach ważenia typu TF-IDF stosowane były techniki typu Keyword stuffing (upychane słowa kluczowe) polegająca na sztucznym zwiększaniu liczby wystąpień wybranych słów kluczowych (terminów) w treści lub innych polach tekstowych strony w celu podniesienia oceny trafności w wyszukiwarce opartej na dopasowaniu tekstowym, w tym na^[16][17]. W literaturze dotyczącej spamu w wyszukiwarkach praktyka ta jest opisywana jako przykład term spammingu (spamowania terminami): w modelach, w których istotnym składnikiem wyniku jest podobieństwo tekstowe (a więc m.in. częstość termów), podstawowym sposobem sztucznego „podbicia” oceny jest powtarzanie „celowanych” terminów w określonych polach tekstowych strony, co bezpośrednio zwiększa ich częstość.^[16]

Dodatkowymi ograniczeniami są: problemy z dokumentami o różnej długości – dłuższe dokumenty mają tendencję do wyższych wartości TF, brak uwzględnienia znaczenia semantycznego termów, wrażliwość na częste, ale mało znaczące słowa (tzw. stop words) a także problem nadmiernej penalizacji długich dokumentów w niektórych wariantach normalizacji^[18][19]. Z tych powodów opracowano różne techniki rozwinięcia metody TF w różnych dziedzinach takie jak: TF-IDFC-RF, TF-G (wykorzystujące technikę Gaussa do klasyfikacji tekstu), TF-ICF, TF-IDF (Term Frequency - Inverse Document Frequency)^[1][20]. Karen Spärck Jones w swojej pracy z 1972 roku zatytułowanej A Statistical Interpretation of Term Specificity and Its Application in Retrieval opublikowanej w Journal of Documentation(inne języki) zaproponowała statystyczną interpretację specyficzności termów^[21]. Jej koncepcja inverse document frequency (IDF) w połączeniu z term frequency stała się kamieniem milowym w dziedzinie information retrieval. Dalszy rozwój tej teorii przez Stephena Robertsona(inne języki), Karen Spärck Jones i innych badaczy w latach 70. i 80. XX wieku doprowadził do stworzenia probabilistycznego modelu wyszukiwania informacji^[22]. Efektem tych prac był algorytm Okapi BM25, który stał się jednym z najbardziej udanych algorytmów wyszukiwania tekstowego i jest wykorzystywany w wielu współczesnych wyszukiwarkach^[23]. TF jest wykorzystywane jako podstawa do tworzenia reprezentacji numerycznych tekstów w algorytmach uczenia maszynowego, umożliwiając przekształcenie danych tekstowych w wektory liczbowe^[24][25] – stanowi podstawowy komponent schematów ważenia termów używanych w zadaniach przetwarzania języka naturalnego i eksploracji danych^[25]. TF może być stosowane samodzielnie jako metoda reprezentacji tekstów lub jako składnik bardziej zaawansowanych metod takich jak TF-IDF^[24].

• Term Frequency and Inverted Document Frequency
• Introduction to Information Retrieval – Stanford NLP Group
• Robertson, S.E., Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond

• TFIDF
• Przetwarzanie języka naturalnego