LLMs Corrupt Your Documents When You Delegate

Strategie z raportu:

• Sprawdzanie AI na długich dystansach (Round-trip Relay Simulations): Zamiast oceniać model po jednym prostym zadaniu, autorzy testowali go w długim, wieloetapowym procesie. Kolejne zadania bazowały na poprzednich wynikach, co pozwoliło wykryć, że z biegiem czasu AI gubi i zniekształca informacje.

• Dodawanie "zmyłek" do zadań (Distractor Environment Setup): Badacze celowo dorzucali do środowiska pracy AI nieistotne, ale tematycznie podobne pliki. Celem było sprawdzenie, czy model potrafi skupić się tylko na edytowanym dokumencie i nie pomieszać danych.

• Śledzenie niewidocznych błędów (Silent Corruption Tracking): Modele potrafią tak zepsuć plik, że na pierwszy rzut oka wygląda on poprawnie, ale brakuje w nim ważnych fragmentów danych. Zastosowano więc specjalne systemy do stałego, linijka po linijce, porównywania wersji pliku.

Dobre praktyki:

• Krótkie zadania zamiast długich maratonów (Short-horizon Workflows): Unikaj zmuszania AI do ciągłej pracy na jednym dokumencie w bardzo długich konwersacjach. Błędy AI nawarstwiają się i z każdą kolejną interakcją plik jest coraz bardziej zepsuty.

• Człowiek musi to sprawdzić (Human Review Validation): Nigdy nie ufaj bezgranicznie wynikom pracy sztucznej inteligencji. Ponieważ błędy często ukrywają się pod poprawnym wyglądem dokumentu, każda zmiana wprowadzona przez AI wymaga weryfikacji.

• Daj AI tylko to, co niezbędne (Context Size Management): Nie wysyłaj AI całych ogromnych plików, jeśli ma poprawić tylko jeden fragment. Im więcej niepotrzebnego tekstu podasz modelowi, tym większe prawdopodobieństwo, że zacznie on gubić dane.

Czego unikać?

• Zostawiania AI samopas na długi czas (Blind Delegation of Long Workflows): Nie powierzaj sztucznej inteligencji dużych zadań edycyjnych bez nadzoru. Zaufanie, że AI samodzielnie przeprowadzi długi proces na plikach skutkuje tym, że wiodące modele psują bezpowrotnie nawet 25% treści.

• Ufania, że AI samo sprawdzi swoje błędy (Over-reliance on Agentic Tools): Nie myśl, że jeśli model ma dostęp do kalkulatora czy narzędzi zewnętrznych, to sam poprawi swoje pomyłki. Badania pokazały, że używanie tych narzędzi przez modele nie zmniejsza ilości cichych błędów w plikach.

• Oceniania książki po okładce (Surface-level Trust): To, że plik przygotowany przez sztuczną inteligencję otwiera się poprawnie, ładnie wygląda i nie wyświetla błędów technicznych nie oznacza, że w środku pliku wszystko się zgadza.