Efficient Prompting Methods for Large Language Models: A Survey

Strategie z raportu:

• Automatyczna inżynieria promptów (Automatic Prompt Engineering - APE): Zamiast ręcznego pisania i testowania promptów, podejście to wykorzystuje same modele LLM do automatycznego generowania i optymalizowania instrukcji dla różnych zadań. Pozwala to na osiągnięcie lepszych rezultatów przy mniejszym nakładzie pracy.
  
  Praktyczny przykład:

  
  

  Objaśnienie lub prompt

  "Wygeneruj 5 różnych wariantów promptu, które najlepiej poinstruują inny model językowy do podsumowania tekstu prawnego, a następnie wybierz i zwróć tylko ten o najwyższej skuteczności.

  
  

• Kompresja promptów (Prompt Compression): Techniki pozwalające na drastyczne skracanie długich promptów poprzez usuwanie zbędnych słów, co zmniejsza koszty obliczeniowe (zużycie tokenów) oraz przyspiesza czas odpowiedzi, jednocześnie zachowując kluczowe informacje niezbędne do rozwiązania zadania.
  
  Praktyczny przykład

  
  

  Objaśnienie lub prompt

  "Skróć poniższy 10-stronicowy kontekst projektu do 5 najważniejszych wypunktowań, zachowując wyłącznie twarde fakty i liczby, zanim prześlesz go do ostatecznej analizy biznesowej."

  
  
  

• Metody oparte na destylacji wiedzy (Knowledge Distillation): Wykorzystanie największych i najpotężniejszych modeli (tzw. nauczycieli) do tworzenia zoptymalizowanych zestawów reguł lub wzorców, które następnie posłużą do sterowania mniejszymi, znacznie tańszymi w użyciu modelami (tzw. uczniami).
  
  Praktyczny przykład:
  
  

  Objaśnienie lub prompt

  "Przeanalizuj ten złożony zbiór danych i na jego podstawie wygeneruj 3 proste uniwersalne zasady decyzyjne, którymi powinien kierować się podstawowy model klasyfikujący przy ocenianiu podobnych zgłoszeń."

  
  

Dobre praktyki:

• Minimalizacja zbędnego kontekstu (Context Filtering): Ograniczanie długości promptu do absolutnego minimum. Zamiast wklejać cały, długi dokument, należy przefiltrować go i przekazać modelowi wyłącznie fragmenty istotne dla danego zapytania, co pozwala na szybszą i tańszą pracę modelu.
  
  Praktyczny przykład:
  
  

  Objaśnienie lub prompt

  "Opierając się wyłącznie na poniższej sekcji 'Wymagania Techniczne', wymień używane technologie frontendowe. Całkowicie zignoruj i pomiń informacje o budżecie i marketingu."

  
  

• Rozdzielanie intencji i danych (Separation of Instruction and Context): Dobre, wydajne prompty posiadają jasną strukturę oddzielającą to, co model ma zrobić (instrukcja), od danych roboczych, na których ma operować. Zmniejsza to ryzyko, że model potraktuje dane jako polecenie.
  
  Praktyczny przykład:

  
  

  Objaśnienie lub prompt

  "INSTRUKCJA: Przetłumacz poniższy tekst na język francuski, zachowując ton oficjalny. TEKST DO PRZETŁUMACZENIA: [Wklejony tekst]"

  
  

• Wdrażanie ewolucyjnej optymalizacji (Evolution-based tuning): Iteracyjne poprawianie promptu na podstawie otrzymywanych błędnych wyników. Zamiast tworzyć idealny prompt od zera, należy zacząć od prostej instrukcji i modyfikować ją, dodając konkretne ograniczenia tam, gdzie sztuczna inteligencja popełniła błąd.
  
  Praktyczny przykład:

• 
  

Czego unikać?

• Przeładowywania promptu (Prompt Inflation/Bloat): Unikaj tworzenia nadmiernie długich i skomplikowanych promptów (tzw. megapromptów) zawierających mnóstwo niepotrzebnych detali do prostych zadań. Drastycznie zwiększa to koszty użycia API modelu, a dodatkowe słowa często tylko go dezorientują.
  
  Praktyczny przykład:
  
  

  Objaśnienie lub prompt

  "Jesteś wybitnym profesorem, który ma 30 lat doświadczenia, uczył na Harvardzie i uwielbia pizzę. Zastanów się głęboko, weź głęboki oddech, użyj całej swojej potężnej wiedzy i napisz mi po prostu jaki jest wzór na pole koła."

  
  

• Niejasnych instrukcji ukrytych w długich tekstach (Ambiguous instructions in long context): Unikaj umieszczania swojego głównego pytania czy polecenia w samym środku ogromnego bloku tekstu. Modele LLM cierpią na zjawisko "zgubienia w środku", przez co mogą zignorować polecenie, jeśli nie znajduje się ono na samym początku lub końcu zapytania.
  
  Praktyczny przykład:
  
  

  Objaśnienie lub prompt

  "Oto 20 stron nudnego raportu rocznego. Gdzieś na 10 stronie wspominam, że chciałbym, abyś policzył średnią zysków w Q2. Przeczytaj całość i wygeneruj odpowiedź."

  
  
  

• Ignorowania kosztów tokenów poprzez nadmierne 'Few-Shot Prompting': Unikaj ręcznego wklejania dziesiątek przykładów zadania, zanim nie upewnisz się, że model nie jest w stanie wykonać go za pomocą krótkiego, odpowiednio sformułowanego polecenia. Każdy kolejny przykład wydłuża zapytanie i kosztuje cenne zasoby obliczeniowe.
  
  Praktyczny przykład :
  
  

  Objaśnienie lub prompt

  "[Wklejenie 50 transakcji z banku z dopisaną kategorią jako przykład] Teraz przypisz kategorię do tej nowej transakcji z firmy XYZ." (Zamiast np. po prostu użyć instrukcji "W przypisywaniu kategorii wybieraj spośród: Zakupy, Paliwo, Rozrywka.")