Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

Strategie z raportu:

• Step-Back Prompting (Abstrakcja przed rozumowaniem): Technika polegająca na skłonieniu modelu do "zrobienia kroku w tył" i wygenerowania szerszego, bardziej ogólnego pytania na podstawie szczegółowego problemu, aby odzyskać zasady fizyczne, historyczne czy koncepcje wysokiego poziomu (first principles).

• Proces dwuetapowy (Abstraction-and-Reasoning): Strategia dzieląca proces rozwiązywania problemu na dwa wyraźne etapy: najpierw model generuje abstrakcyjne pojęcie, ramy czasowe lub zasadę dla danego zadania, a dopiero w drugim kroku wykorzystuje tę odzyskaną wiedzę bazową do przeprowadzenia ostatecznej dedukcji.

• Opieranie wnioskowania na fundamentalnych prawach (Grounding reasoning): Zmuszenie modelu do jawnego zadeklarowania i wyjaśnienia definicji, praw lub wzorów przed próbą jakichkolwiek matematycznych lub logicznych obliczeń, aby chronić się przed błędami w pośrednich krokach (tzw. Math/Reasoning Errors).

Dobre praktyki:

• Stosowanie pytań pomocniczych "krok w tył" w QA: W przypadku pytań o bardzo specyficzne ramy czasowe lub wąskie konteksty historyczne, warto najpierw poprosić model o wygenerowanie ogólnego życiorysu lub zarysu historii, z której model sam potem bezpiecznie wyciągnie żądane szczegóły.

• Połączenie abstrakcji z In-Context Learning (Few-Shot): Modele radzą sobie najlepiej z techniką Step-Back, gdy przedstawi im się w prompcie kilka przykładów referencyjnych, pokazujących jak poprawnie wyodrębniać "zasady wysokiego poziomu" z różnych, losowych zadań, zanim poprosi się o rozwiązanie celu.

• Wykorzystywanie abstrakcji do ulepszenia RAG (Retrieval-Augmented Generation): Zastosowanie pytań "krok w tył" świetnie sprawdza się do przeszukiwania zewnętrznych baz danych. Szersze, abstrakcyjne zapytania często zwracają trafniejsze i bogatsze w kontekst dokumenty źródłowe, niż pytania wysoce szczegółowe.

Czego unikać?

• Bezpośredniego uderzania w wysoce szczegółowe problemy (Direct Prompting for constraints): Próba uzyskania od modelu bezpośredniej odpowiedzi na pytania mocno ograniczone specyficznymi warunkami (np. konkretny miesiąc i ułamek sekundy w historii) często skutkuje wymyślaniem faktów (halucynacjami), ponieważ model gubi szerszy obraz sytuacji.

• Rozwiązywania zadań ścisłych (STEM) bez przywołania teorii: Wymaganie od modelu przeprowadzenia od razu wieloetapowych kalkulacji fizycznych czy chemicznych, bez wcześniejszego zdefiniowania praw rządzących danym zjawiskiem. Prowadzi to niemal zawsze do błędów w przypisywaniu zmiennych i ostatecznym wyniku.

• Ślepego zaufania do niewidocznych procesów myślowych: Należy unikać ukrywania etapu tworzenia definicji przez model. Jeśli model źle zdefiniuje zasadę bazową (tzw. Principle Error), całe dalsze rozumowanie będzie bezużyteczne. Zawsze należy wymuszać tekstowe wypisanie definicji, by móc je zweryfikować.