Reporting LLM Prompting in Automated Software Engineering: A Guideline Based on Current Practices and Expectations

Strategie z raportu:

• Kategoryzacja elementów raportowania (Reporting Elements Categorization): Rozdzielenie informacji o promptach w badaniach na niezbędne, pożądane i wyjątkowe, co pozwala programistom i badaczom dostosować poziom szczegółowości dokumentacji do powszechnie oczekiwanych standardów.

• Ujawnianie pełnych danych o wersjach (Version Disclosure): Jasne podawanie dokładnych wersji modeli, dat dostępu i ustawień parametrów, co jest kluczowe z punktu widzenia możliwości powtórzenia (odtwarzalności) testów przez innych inżynierów.

• Uzasadnienie budowy promptu (Prompt Justification): Wymóg wyraźnego opisania dlaczego dany prompt ma taką a nie inną strukturę i jakie konkretne metody lub słowa kluczowe zostały w nim celowo użyte.

Dobre praktyki:

• Systematyczna dokumentacja inżynierii promptów (Systematic Documentation): Prowadzenie szczegółowego i publicznie dostępnego repozytorium badawczego (np. na GitHubie), zawierającego ostateczne prompty, pliki konfiguracyjne oraz zebrane wyniki działania sztucznej inteligencji.

• Jawne raportowanie zagrożeń dla trafności (Threats to Validity Reporting): Traktowanie niestabilności generowanych odpowiedzi i zjawiska 'halucynacji' LLM jako wbudowanych wad badań i obowiązkowe opisywanie w dokumentacji, w jaki sposób badacze kontrolowali to ryzyko.

• Transparentność optymalizacji (Optimization Transparency): Dokładne i przejrzyste opisywanie w artykułach procesu ulepszania zapytań – czy był on wykonywany ręcznie metodą prób i błędów, czy użyto w tym celu innych, zautomatyzowanych frameworków.

Czego unikać?

• Brak informacji o kontekście zapytań (Omission of Prompt Context): Unikaj prezentowania w badaniach wyłącznie szczątkowych opisów zapytań bez pełnego kontekstu czy bazowej instrukcji systemowej, co całkowicie uniemożliwia innym ponowne powtórzenie Twoich testów i ocenę rzetelności.

• Ignorowania zmienności modeli w czasie (Ignoring Model Drift): Unikaj zakładania w publikacjach, że modele oferowane z chmury i ich ukryte aktualizacje będą zawsze działać tak samo dobrze na tym samym prompcie. Niezbędne jest utrwalenie konkretnej daty przeprowadzenia testów.

• Pomijania negatywnych wyników w eksperymentach (Hiding Failed Prompts): Nie ukrywaj ścieżek dedukcyjnych i wariantów promptów, które po testach na kodzie po prostu nie zadziałały. Dokumentowanie błędnych zapytań jest dla środowiska równie wartościowe co ostateczne sukcesy inżynieryjne.