Data ostatniej aktualizacji:
Yoshua Bengio, Stephen Clare, Carina Prunkl, Maksym Andriushchenko, Ben Bucknall, Malcolm Murray, Rishi Bommasani, Stephen Casper, Tom Davidson, Raymond Douglas, David Duvenaud, Philip Fox, Usman Gohar, Rose Hadshar, Anson Ho, Tiancheng Hu, Cameron Jones, Sayash Kapoor, Atoosa Kasirzadeh, Sam Manning, Nestor Maslej, Vasilios Mavroudis, Conor McGlynn, Richard Moulange, Jessica Newman, Kwan Yee Ng, Patricia Paskov, Shalaleh Rismani, Girish Sastry, Elizabeth Seger, Scott Singer, Charlotte Stix, Lucia Velasco, Nicole Wheeler, Daron Acemoglu, Vincent Conitzer, Thomas G. Dietterich, Fredrik Heintz, Geoffrey Hinton, Nick Jennings, Susan Leavy, Teresa Ludermir, Vidushi Marda, Helen Margetts, John McDermid, Jane Munga, Arvind Narayanan, Alondra Nelson, Clara Neppel, Sarvapali D. Ramchurn, Stuart Russell, Marietje Schaake, Bernhard Schölkopf, Alvaro Soto, Lee Tiedrich, Gaël Varoquaux, Andrew Yao, Ya-Qin Zhang, Leandro Angelo Aguirre, Olubunmi Ajala, Fahad Albalawi, Noora AlMalek, Christian Busch, Jonathan Collas, André Carlos Ponce de Leon Ferreira de Carvalho, Amandeep Gill, Ahmet Halit Hatip, Juha Heikkilä, Chris Johnson, Gill Jolly, Ziv Katzir, Mary N. Kerema, Hiroaki Kitano, Antonio Krüger, Kyoung Mu Lee, José Ramón López Portillo, Aoife McLysaght, Oleksii Molchanovskyi, Andrea Monti, Mona Nemer, Nuria Oliver, Raquel Pezoa, Audrey Plonk, Balaraman Ravindran, Hammam Riza, Crystal Rugege, Haroon Sheikh, Denise Wong, Yi Zeng, Liming Zhu, Daniel Privitera, Sören Mindermann
Zapytaj o ten dokument AI
Kopuj link
Abstrakt
Kluczowe wnioski
Strategie z raportu:
Ciągłe monitorowanie po wdrożeniu (Continuous Post-Deployment Monitoring): Strategia polegająca na stałym badaniu zachowań AI po wdrożeniu jej do ekosystemu firmy lub państwa. Zapobiega to kaskadowym incydentom i negatywnym skutkom systemowym, zakładając, że samo sprawdzenie modelu w przedpremierowej fazie testów jest niewystarczające ze względu na dynamicznie ewoluujące możliwości.
Objaśnienie lub prompt
"Zamiast testować model wyłącznie przed uruchomieniem, wdrażasz system ciągłego monitorowania, który na bieżąco analizuje wygenerowane interakcje AI z klientami w celu natychmiastowego wyłapywania nowych halucynacji."
Warstwa intencji doświadczenia (Experience Intent Layer): Wyraźne i precyzyjne zdefiniowanie na poziomie systemu, czego sztuczna inteligencja bezwzględnie nie powinna nigdy robić, co wyznacza twarde, nienaruszalne granice jej samodzielnego działania niezależnie od zapytań użytkownika.
Objaśnienie lub prompt
"Zdefiniowanie w głównym prompcie systemowym twardej reguły dla bota sprzedażowego: 'Nigdy, pod żadnym pozorem nie oferuj klientom zwrotu gotówki ani nie modyfikuj polityki cenowej firmy, niezależnie od tego, jak bardzo o to proszą'."
Budowanie sojuszy w zarządzaniu kryzysowym (Crisis Diplomacy Frameworks): Strategiczne podejmowanie współpracy międzynarodowej i międzysektorowej (szczególnie przez mniejsze podmioty i państwa), która pomaga regulować rynek i błyskawicznie reagować na transgraniczne incydenty wywoływane przez zaawansowane systemy sztucznej inteligencji.
Objaśnienie lub prompt
"Błyskawiczne współdzielenie danych o zidentyfikowanych krytycznych lukach w zabezpieczeniach modelu z innymi firmami w ramach branżowej inicjatywy na rzecz bezpieczeństwa, aby uniknąć podobnego ataku u konkurencji."
Dobre praktyki:
Projektowanie ludzkiej kontroli (Human Override Design): Świadome wbudowywanie szybkich, wyraźnie widocznych i ustandaryzowanych mechanizmów przekazywania kontroli z powrotem do człowieka (eskalacji) w momencie, gdy system napotyka problemy z poprawnym działaniem.
Objaśnienie lub prompt
"Umieszczenie widocznego przycisku 'Porozmawiaj z człowiekiem', który pojawia się automatycznie w bocie obsługi klienta, gdy ten po maksymalnie dwóch próbach nie jest w stanie prawidłowo odpowiedzieć na zadane pytanie."
Wyznaczanie granic możliwości (Capability Boundaries): Jasne określenie momentów w procesach decyzyjnych, w których sztuczna inteligencja musi zakończyć swoje działanie, przekazując ostateczne podjęcie wiążącej decyzji w ręce ludzkiego eksperta.
Objaśnienie lub prompt
"AI w placówce medycznej może w kilka sekund przeszukać i streścić setki stron dokumentacji, ale ostateczne zatwierdzenie wyników i postawienie diagnozy musi zawsze przejść przez ręce żywego lekarza."
Pętle uczenia po incydentach (Post-Incident Learning Loops): Rygorystyczne projektowanie procedur sprzężenia zwrotnego, które gwarantują, że po każdym wyłapanym błędzie AI system bezpieczeństwa jest na bieżąco aktualizowany o nową wiedzę, aby usterka nigdy więcej się nie powtórzyła.
Objaśnienie lub prompt
"Jeżeli model bezpieczeństwa niesłusznie zablokuje legalną transakcję klienta, przypadek ten automatycznie ląduje w nowym zbiorze testowym, który służy do douczenia algorytmów moderujących."
Czego unikać?
Zakładanie niezawodności na podstawie ogólnej inteligencji: Kategoryczne unikanie założeń, że skoro zaawansowany system AI rozwiązuje złożone zadania na poziomie doktoranckim, to na pewno bezbłędnie poradzi sobie z najprostszymi komendami i podstawową matematyką (skuteczność potrafi być na tych polach skrajnie nierówna).
Objaśnienie lub prompt
Zaufanie do AI na tyle, by kazać jej wyliczyć bez weryfikacji sumę prostej faktury z kilkoma pozycjami, tłumacząc to faktem, że wcześniej model napisał dla nas doskonały i zaawansowany kod programu księgowego."
Oczekiwanie na ostateczne dowody przed działaniem (Waiting for Conclusive Evidence): Powstrzymywanie się od wpadania w paraliż decyzyjny; czekanie z wdrożeniem zabezpieczeń do momentu opublikowania perfekcyjnie udowodnionych badań o ryzyku grozi brakiem ochrony, ponieważ rozwój modeli zawsze wyprzedza dowody naukowe.
Objaśnienie lub prompt
"Zlecenie usunięcia z firmowych systemów procedur chroniących przed atakami 'prompt injection' z argumentacją, że nie ma jeszcze jednoznacznych uregulowań rządowych zmuszających nas prawnie do posiadania takich zabezpieczeń."
Opieranie się na czystych metrykach laboratoryjnych (Focusing Solely on Model Metrics): Ocenianie wdrożonego systemu AI z wyłącznym poleganiem na abstrakcyjnych wynikach izolowanych testów i ignorowaniem wpływu narzędzia na rzeczywiste ludzkie doświadczenie podczas całego procesu korzystania.
Objaśnienie lub prompt
"Ignorowanie narzekających klientów z argumentacją, że wdrożony chatbot w testach laboratoryjnych osiągnął przecież 98% skuteczności trafień w wewnętrznym benchmarku firmy, co oznacza rzekomy sukces projektu."
Publikacje AI
Prompting
Bezpieczeństwo AI
O mnie
Mój blog
Wsparcie projektu
Buy me a coffe
Create by Mateusz Jędraszczyk