Mechanizm uwagi (uczenie maszynowe)

Mechanizm uwagi – mechanizm uczenia maszynowego symulujący działanie ludzkiej uwagi poprzez przypisywanie różnych poziomów ważności różnym słowom w zdaniu^[1]. Mechanizm nadaje wagę każdemu słowu, obliczając „miękkie” wagi dla numerycznej reprezentacji słowa, zwanej jego osadzeniem (ang. embedding), w określonym oknie kontekstu (części zdania).

Obliczanie tych wag może odbywać się jednocześnie w modelach zwanych transformatorami lub pojedynczo w modelach zwanych rekurencyjnymi sieciami neuronowymi. W przeciwieństwie do „twardych” wag, z góry określonych i stałych podczas treningu, „miękkie” wagi mogą dostosowywać się i zmieniać przy każdym użyciu modelu.

Mechanizm został rozwinięty w 2017 w odpowiedzi na słabe strony wykorzystania informacji pochodzących z ukrytych stanów rekurencyjnych sieci neuronowych. Rekurencyjne sieci neuronowe faworyzują nowsze informacje zawarte w słowach na końcu zdania, podczas gdy oczekuje się, że informacje znajdujące się wcześniej w zdaniu będą tłumione. Uwaga pozwala na obliczenie ukrytej reprezentacji tokenu równego dostępu do dowolnej części zdania bezpośrednio, a nie tylko poprzez poprzedni stan ukryty^[2].

• 1990. – Opracowano metodę fast weight controller ^[3][4]. Wagi neuronów uzyskują szybkie połączenia dynamiczne, które są podobne do kluczy i wartości
• 2014 – Zaproponowało mechanizm uwagi w rekurencyjnych sieciach neuronowych aby usprawnić tłumaczenie długich zdań^[5]
• 2015 – Aplikacje mechanizmu uwagi w analizie obrazów^[6][7][5]
• 2017 – Zdefiniowanie mechanizmu transformatora^[2]

Powiązanie różnych części zdania lub obrazu może pomóc w zrozumieniu jego struktury. Mechanizm uwagi daje sieci neuronowej możliwość osiągnięcia tego celu. ​Na przykład, gdy sieć przetwarza słowo „that” w zdaniu „See that girl run”, chcemy, aby rozpoznała, że odnosi się ono do słowa „girl”. Poniższy diagram pokazuje, w jaki sposób odpowiednio wytrenowana sieć może to osiągnąć.

Struktura danych wejściowych jest zakodowana w macierzach wag Qw i Kw, natomiast macierz wag Vw​ reprezentuje tę strukturę w postaci cech istotnych dla danego zadania. Z tego powodu komponenty głowy uwagi nazywane są Query (zapytanie, Q), Key (klucz, K) i Value (wartość, V) – jest to analogia niezbyt precyzyjna, a być może nawet myląca, zaczerpnięta z relacyjnych baz danych.

Możemy znacznie przyspieszyć obliczenia, równolegle przetwarzając opisane wyżej operacje. Warto zauważyć, że wektor kontekstu dla słowa „that” nie zależy od wektorów kontekstu pozostałych słów; dlatego można obliczyć wszystkie wektory kontekstu jednocześnie, wykorzystując macierz X, zawierającą osadzenia wyrazów, zamiast pojedynczego wektora x w poprzednim wzorze. W tym przypadku funkcję softmax należy stosować w ujęciu macierzowym – niezależnie dla każdego wiersza. Zapewnia to istotną przewagę obliczeniową w porównaniu z sieciami rekurencyjnymi, które muszą przetwarzać dane sekwencyjnie.

Aby zbudować maszynę tłumaczącą z angielskiego na francuski, wstawia się jednostkę uwagi do podstawowego modelu kodera-dekodera, jak na diagramie poniżej. W najprostszym przypadku jednostka uwagi składa się z iloczynów skalarnych stanów rekurencyjnych kodera i nie wymaga treningu. W praktyce jednostka uwagi składa się z trzech warstw sieci neuronowej, które są w pełni połączone i trenowane, nazywanych query (zapytanie), key (klucz) i value (wartość).

Na powyższej grafice lewa strona (czarne linie) to mechanizm kodera-dekodera, środkowa pomarańczowa część to jednostka uwagi, zaś prawa strona (kolory oraz szara powierzchnia) to obliczona wartość. Szare regiony macierzy H i wektora w są wyzerowane. Liczbowe indeksy dolne wskazują rozmiary wektorów, natomiast indeksy i-1 oraz i oznaczają kolejne kroki.

Podczas tłumaczenia między językami proces dopasowania wyrazów polega na łączeniu odpowiadających słów ze zdania źródłowego ze słowami w zdaniu docelowym. System, który przeprowadza tłumaczenie w sposób naiwny, bez uwzględniania szyku słów, można modelować za pomocą macierzy mającej najwyższe wartości wzdłuż głównej przekątnej. Przewaga wartości poza przekątną pokazuje jednak, że mechanizm uwagi działa znacznie bardziej subtelnie.

Weźmy przykład tłumaczenia zdania I love you na język francuski. W pierwszym kroku dekodera 94% uwagi przypada na angielskie słowo I, więc sieć generuje je. W drugim kroku 88% wagi przypisane jest trzeciemu słowu you, co skutkuje wyborem t’. W ostatnim kroku 95% uwagi koncentruje się na słowie love, dlatego sieć proponuje aime. Dzięki temu uzyskujemy tłumaczenie zdania "je t' aime" z angielskiego na francuski.

Poniższa tabela pokazuje połączone wektory dopasowania:

Skalowany iloczyn skalarny trzech macierzy ${\displaystyle \mathbf {Q} \in \mathbb {R} ^{m\times d_{k}},\mathbf {K} \in \mathbb {R} ^{n\times d_{k}},\mathbf {V} \in \mathbb {R} ^{n\times d_{v}}}$jest zdefiniowany jako:

${\displaystyle \mathrm {Uwaga} (\mathbf {Q} ,\mathbf {K} ,\mathbf {V} )={\text{softmax}}\left({\frac {\mathbf {Q} \mathbf {K} ^{T}}{\sqrt {d_{k}}}}\right)\mathbf {V} \in \mathbb {R} ^{m\times d_{v}}}$

Gdzie ${\displaystyle {}^{T}}$ oznacza transpozycję, zaś funkcja softmax jest zastosowana niezależnie dla każdego wiersza argumentu. Macierz ${\displaystyle \mathbf {Q} }$ (od ang. queries) zawiera ${\displaystyle m}$ zapytań (takich jak słowa), a macierze ${\displaystyle \mathbf {K} ,\mathbf {V} }$ łącznie zawierają nieuporządkowany zbiór ${\displaystyle n}$ par key-value (pol. klucz-wartość).

 Zobacz też: Transformator_(sztuczna_inteligencja)#Uwaga_wielozapytaniowa.

Uwaga wieloczłonowa (ang. Multi-head attention) jest definiowana jak poniżej:

${\displaystyle {\text{Wieloczłon}}(\mathbf {Q} ,\mathbf {K} ,\mathbf {V} )={\text{Połącz}}({\text{człon}}_{1},...,{\text{człon}}_{h})\mathbf {W} ^{O}}$

Każdy człon jest definiowany jak poniżej:

${\displaystyle {\text{człon}}_{i}={\text{Uwaga}}(\mathbf {Q} \mathbf {W} _{i}^{Q},\mathbf {K} \mathbf {W} _{i}^{K},\mathbf {V} \mathbf {W} _{i}^{V})}$, gdzie ${\displaystyle \mathbf {W} _{i}^{Q},\mathbf {W} _{i}^{K},\mathbf {W} _{i}^{V}}$ są matrycami parametrów.

Mechanizm samouwagi (ang. self-attention) jest uproszczoną wersją standardowego mechanizmu z tą różnicą, że macierze ${\displaystyle \mathbf {Q} ,\mathbf {K} ,\mathbf {V} }$ są tą samą wartością. Kodery i dekodery transformatora mogą używać mechanizmu samouwagi z pewnymi zastrzeżeniami.

W przypadku kodera, można skorzystać ze zwykłej metody osadzania słów, dzięki czemu uzyskujemy tablicowanie zdania, przez konwersję zdania do ciągu wektorów:

${\displaystyle h_{0}'=\mathrm {Uwaga} (h_{0}W^{Q},HW^{K},HW^{V})h_{1}'=\mathrm {Uwaga} (h_{1}W^{Q},HW^{K},HW^{V}),...}$

Co można zapisać prościej:

${\displaystyle H'=\mathrm {Uwaga} (HW^{Q},HW^{K},HW^{V})}$

Ten proces można wykonać kilkukrotnie aby uzyskać wielowarstwowy mechanizm uwagi, co jest związane z możliwością łączeń każdego wektora z każdym.

Przez to, że w poprzednim przypadku każdy wektor łączy się z każdym innym wektorem, nie można metody opisanej powyżej użyć w dekoderze, ponieważ to by oznaczało czytanie z przyszłości. Aby zaadresować ten problem, macierz wag maskuje się macierzą górnotrójkątną (ang. causal masking):

${\displaystyle {\text{MaskowanaUwaga}}(Q,K,V)={\text{softmax}}\left(M+{\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V}$

${\displaystyle M_{\text{causal}}={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}}$

• Attention and Augmented Recurrent Neural Networks, Distill (2016)
• Speech and Language Processing, (2022)
• Attention and Memory in Deep Learning, DeepMind, UCL (2020)