Attention Is All You Need

Strategie z raportu:

• Mechanizm Self-Attention (Samo-uwaga): Architektura pozwala modelowi analizować całą sekwencję (np. zdanie) jednocześnie i oceniać, które słowa są ze sobą najbardziej powiązane, niezależnie od odległości między nimi w tekście. Zastępuje to analizę linijka po linijce.

• Odrzucenie przetwarzania sekwencyjnego na rzecz zrównoleglenia (Parallelization): Zamiast analizować słowa jedno po drugim, model przetwarza ogromne bloki tekstu w tym samym czasie. Dzięki temu przetwarzanie języka jest drastycznie szybsze i bardziej wydajne.

• Rozumienie szerokiego kontekstu globalnego: Modele oparte na Transformerze potrafią utrzymać spójność i znaczenie w długich konwersacjach, przypisując matematyczną wagę poszczególnym słowom kluczowym, aby nie stracić wątku głównego.

Dobre praktyki:

• Zapewnienie bogatego i precyzyjnego kontekstu: Ponieważ działanie modelu opiera się na "uwadze", im lepszy i bardziej szczegółowy kontekst mu dostarczysz, tym trafniej powiąże on informacje i wygeneruje merytoryczną odpowiedź.

• Akcentowanie kluczowych instrukcji (Pozycjonowanie uwagi): Modele zwracają największą "uwagę" na słowa kluczowe na początku lub na końcu wypowiedzi. Umieszczanie najważniejszych zasad w tych miejscach pomaga modelowi trzymać się wytycznych.

• Wykorzystywanie zdolności modelu do łączenia odległych faktów (Cross-referencing): Konstruuj prompty tak, aby pozwalały sztucznej inteligencji szukać nieszablonowych powiązań w złożonych i długich tekstach wejściowych.

Czego unikać?

• Zapychanie promptu nieistotnymi informacjami (Szum informacyjny): Dodawanie zbędnych akapitów czy detali, które nie są istotne dla wykonania zadania, sprawia, że uwaga modelu (attention) niepotrzebnie się rozprasza, pogarszając wynik.

• Oczekiwanie "ludzkiej pamięci" poza oknem kontekstowym: Model oparty na architekturze Transformer opiera się na informacjach zawartych w aktualnym widoku pamięci. Nie odniesie się poprawnie do wątków, których mu nie przypomnisz w obrębie danego zadania.

• Podawanie sprzecznych lub wykluczających się instrukcji: Mechanizm wagi ocenia wszystkie fragmenty tekstu. Sprzeczne polecenia zmuszają go do odgadywania intencji i obniżają jakość logiczną odpowiedzi.