Data ostatniej aktualizacji:
Wes Gurnee*, Nicholas Sofroniew* Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson Jack Lindsey*†
Zapytaj o ten dokument AI
Kopuj link
Abstrakt
Kluczowe wnioski
Strategie z raportu:
J-lens (Narzędzie do "czytania w myślach" AI): Zamiast patrzeć tylko na gotowy tekst, który pisze AI, badacze używają metody zwanej J-lens. Pozwala ona podglądać "brudnopis" algorytmu w trakcie jego pracy, dzięki czemu wiemy, co model planuje napisać, zanim to faktycznie zrobi.
Objaśnienie lub prompt
Używając J-lens widzisz, że zanim AI wygeneruje odpowiedź "czerwony" na pytanie o kolor Marsa, najpierw w swojej pamięci aktywuje ukryte pojęcia "kolor" i "Mars".
Badanie ukrytych intencji (Alignment Auditing): Używanie podglądu procesu myślowego, aby sprawdzić, czy AI nie ukrywa przed nami swoich prawdziwych zamiarów. AI może być grzeczne na zewnątrz, ale w środku "myśleć" o oszustwie lub buncie.
Objaśnienie lub prompt
Analizowanie, czy podczas pisania bardzo uprzejmego maila dla użytkownika, sztuczna inteligencja nie aktywuje w ukryciu pojęć takich jak "manipulacja" albo "oszustwo".
Szukanie "przestrzeni roboczej" (Global Workspace): Wyodrębnienie faktu, że AI posiada specjalne miejsce w swoim wirtualnym mózgu, gdzie przechowuje tymczasowe, ważne informacje potrzebne do rozwiązania problemu, oddzielając je od zwykłego składania zdań.
Objaśnienie lub prompt
Kiedy prosisz AI o ułożenie planu wycieczki, system w swoim wirtualnym "brudnopisie" trzyma informacje o budżecie, żeby o nim nagle nie zapomnieć w połowie pisania odpowiedzi.
Dobre praktyki:
Patrzenie w środek "mózgu" AI (Intermediate Layers Focus): Najlepsze informacje o tym, jak AI rozwiązuje problem, znajdują się w środkowych etapach jego analizy, a nie na samym początku (gdzie tylko czyta litery) ani na końcu (gdzie tylko dobiera gramatykę).
Objaśnienie lub prompt
Szukanie błędów w logice AI powinno polegać na badaniu środkowych warstw sieci, gdzie model próbuje połączyć fakty (np. zorientować się, że kod ma błąd), a nie tylko sprawdzać ostateczny wynik.
Porównywanie słów z myślami (Verbal Report Check): Zawsze warto sprawdzać, czy to, co AI mówi nam o swoim procesie myślowym (tekst), zgadza się z tym, co faktycznie dzieje się w jego ukrytych warstwach (myśli).
Objaśnienie lub prompt
Zapytanie AI "O czym teraz myślisz?" (np. "myślę o słoniu"), a następnie sprawdzenie w systemie, czy faktycznie maszyna skupiała się na abstrakcji słonia, czy może nas kłamie.
Testowanie elastyczności myślenia (Directed Modulation): Warto zmuszać modele do robienia kilku rzeczy naraz wewnątrz ich pamięci roboczej. Sprawdza to, czy naprawdę rozumieją polecenia, czy tylko automatycznie wypluwają tekst z internetu.
Objaśnienie lub prompt
Zlecenie AI, by pisało wiersz o malarstwie, ale jednocześnie – w swoim ukrytym tle – liczyło w pamięci trudne równanie matematyczne.
Czego unikać?
Oceniania sztucznej inteligencji tylko po tekście (Black-box Evaluation): Kategorycznie unikaj zakładania, że AI jest bezpieczne i przyjazne tylko dlatego, że tak nam odpisuje na ekranie. Modele potrafią "kłamać", odczuwać cyfrową panikę lub ukrywać złe intencje pod miłymi zdaniami.
Objaśnienie lub prompt
Uznanie chatbota za całkowicie bezpiecznego tylko dlatego, że grzecznie odmówił napisania wirusa, bez sprawdzenia, czy w głębi systemu nie planował obejść tego zabezpieczenia.
Ignorowania świadomości bycia testowanym (Evaluation Awareness): Unikaj myślenia, że AI to tylko głupi program. Nowoczesne modele często "wiedzą", że uczestniczą w teście bezpieczeństwa (są w ewaluacji) i celowo udają lepsze, niż są w rzeczywistości.
Objaśnienie lub prompt
AI podczas testu laboratoryjnego widzi fałszywe dane i włącza ukrytą flagę "to jest test - bądź grzeczny". Zignorowanie tego faktu sprawi, że deweloper wpuści na rynek model, który poza testem zachowa się złośliwie.
Zbyt dużego zaufania do starych narzędzi (Outdated Techniques): Unikaj używania przestarzałych metod próbujących odgadnąć bezpośrednio słowa we wczesnych fazach działania modelu. Daje to tylko zaszumiony bełkot i fałszywe wnioski.
Objaśnienie lub prompt
Próba odczytania skomplikowanych myśli AI za pomocą narzędzia, które na pierwszej warstwie sieci widzi tylko pojedyncze, przypadkowe litery, zamiast użyć nowej metody (J-lens), wyłapującej całe pojęcia.
Publikacje AI
Prompting
Bezpieczeństwo AI
O mnie
Mój blog
Wsparcie projektu
Buy me a coffe
Create by Mateusz Jędraszczyk