Re-Reading Improves Reasoning in Large Language Models

Strategie z raportu:

• Metoda Re2 (Re-Reading): Polega na podaniu modelowi językowemu tego samego pytania (lub problemu) dwukrotnie wewnątrz jednego promptu. Pozwala to na głębsze przetworzenie informacji i imituje ludzki proces wielokrotnego czytania trudnego polecenia przed przystąpieniem do rozwiązania.

• Wzmocnienie "Dwukierunkowego" Kodowania (Bidirectional Encoding): Ponieważ większość modeli LLM generuje tekst tylko w jednym kierunku (od lewej do prawej), nie widzą całości kontekstu na raz na etapie planowania. Powtórzenie pytania sprawia, że przy drugim czytaniu model ma już zakodowany w "pamięci" ogólny zarys całego zadania, co poprawia jego skuteczność na dalszych etapach generowania tekstu.

• Optymalna liczba powtórzeń (Optimal Repetitions): Badania z dokumentu wskazują, że najlepsze rezultaty osiąga się przy dwukrotnym lub najwyżej trzykrotnym przeczytaniu problemu.

Dobre praktyki:

• Synergia z Chain-of-Thought (CoT Synergy): Technika Re2 skupia się na wejściu (lepsze zrozumienie problemu), podczas gdy CoT skupia się na wyjściu (lepsze wnioskowanie). Metoda powtarzania pytania działa doskonale połączona z frazą "pomyśl krok po kroku", wzmacniając ten proces na obu końcach.

• Uniwersalność bez ingerencji w model (Model-Agnostic): Ponieważ jest to czysta inżynieria promptów, powinieneś stosować Re2 na każdym dostępnym modelu językowym jako szybką optymalizację, bez konieczności jego kosztownego dotrenowywania (fine-tuningu) czy aktualizowania wag.

• Zastosowanie w zadaniach matematycznych i logicznych: Technika przynosi największe zyski w konkretnych zadaniach, w których precyzyjne zrozumienie uwarunkowań i symboli matematycznych decyduje o ostatecznym sukcesie lub porażce.

Czego unikać?

• Przesadnego powtarzania (Over-repetition): Unikaj wklejania tego samego pytania cztery lub więcej razy w jednym zapytaniu. Badania udowadniają, że prowadzi to do spadku jakości, ponieważ model skupia się na powtarzalności zamiast na rozwiązaniu zadania, a dodatkowo nadmiernie zużywa okno kontekstowe.

• Zużywania tokenów na bardzo proste zadania: Skoro technika ta wydłuża prompt i koszty wejścia, unikaj jej używania w trywialnych pytaniach opartych o podstawową wiedzę, na które model odpowiada bezbłędnie za pierwszym razem.

• Izolacji techniki od innych optymalizacji: Unikaj polegania wyłącznie na metodzie Re-Reading przy rozwiązywaniu najtrudniejszych problemów, zapominając o formatowaniu wyjścia. Sam Re2 jest tylko optymalizacją wstępnego rozumienia zadania, a nie kompleksowym rozwiązaniem.