autorstwa Michaela Klare’a i Toma Engelhardta,
Pierwotnie opublikowane na TomDispatch .
Przyznaję sobie uznanie za to, że znacznie wyprzedziłem swój czas. Po raz pierwszy zetknąłem się ze sztuczną inteligencją (AI) w 1968 roku, kiedy miałem zaledwie 24 lata i od samego początku wyczuwałem jej głębokie niebezpieczeństwa. Wyobraź sobie, że.
Chociaż bardzo chciałbym się tym chwalić, nie byłem sam. W rzeczywistości byłem niewątpliwie jednym z milionów ludzi, którzy widzieli film 2001: Odyseja kosmiczna , wyreżyserowany przez Stanleya Kubricka na podstawie scenariusza napisanego z Arthurem C. Clarke’em ( zainspirowany opowiadaniem „The Sentinel”, słynną nauką -fikcja, którą Clarke wyprodukował w – tak! – 1948). AI miało wtedy rzeczywistą nazwę, 9000 HAL (ale nazywaj go „Hal”).
I nie, pierwsza wyimaginowana sztuczna inteligencja w moim świecie nie działała dobrze, co powinno być (ale nie okazało się) lekcją dla nas wszystkich. Osadzony w statku kosmicznym zmierzającym do Jowisza, zabił czterech z pięciu astronautów na nim i zrobił wszystko, co w jego mocy, aby zrobić ostatni z nich, zanim zostanie zamknięty.
Powinno to oczywiście być ostrzeżeniem dla nas wszystkich przed światem, do którego rzeczywiście wkroczymy w tym stuleciu. Niestety, podobnie jak w przypadku wielu rzeczy, które niepokoją planetę Ziemia, wydaje się, że nie mogliśmy się powstrzymać. HAL miał stać się rzeczywistością – a raczej nieskończenie mnożącą się rzeczywistością – w tym naszym świecie. W tym kontekście Michael Klare, regularny TomDispatch , który od lat ostrzega przed „ludzką” przyszłością, w której „generałowie robotów” mogliby kierować siłami zbrojnymi na całym świecie, zastanawia się nad nadchodzącymi wojnami i tym, co może oznaczać zastąpienie ludzkiej inteligencji przez sztuczną inteligencję w głównych siłach zbrojnych na świecie i dokąd może nas to zaprowadzić. Nie jestem pewien, czy Stanley Kubrick czy Arthur C. Clarke byliby zaskoczeni.~ Toma Engelhardta
Wymieranie ludzi jako szkody uboczne
Michaela Klare’a
Świat, w którym maszyny zarządzane przez sztuczną inteligencję (AI) systematycznie zastępują ludzi w większości funkcji biznesowych, przemysłowych i zawodowych, jest przerażający do wyobrażenia. W końcu, jak ostrzegają nas wybitni informatycy, systemy zarządzane przez sztuczną inteligencję są podatne na krytyczne błędy i niewytłumaczalne „halucynacje”, które mogą mieć katastrofalne skutki. Ale jest jeszcze bardziej niebezpieczny scenariusz, jaki można sobie wyobrazić na podstawie rozprzestrzeniania się superinteligentnych maszyn: możliwość, że te nieludzkie istoty mogą walczyć ze sobą, niszcząc w ten sposób całe ludzkie życie.
Pogląd, że superinteligentne komputery mogą wpadać w amok i mordować ludzi, od dawna jest podstawą popkultury. W proroczym filmie „Gry wojenne” z 1983 roku superkomputer znany jako WOPR (od odpowiedzi na plan operacji wojennej i, co nie jest zaskakujące, wymawiane jako „whopper”) prawie prowokuje katastrofalną wojnę nuklearną między Stanami Zjednoczonymi a Związkiem Radzieckim, zanim zostanie unieruchomiony przez nastoletniego haker (grany przez Matthew Brodericka). Seria filmów „ Terminator ”, zapoczątkowana oryginalnym filmem z 1984 roku, podobnie przewidywała samoświadomy superkomputer o nazwie „Skynet”, który podobnie jak WOPR został zaprojektowany do kontrolowania amerykańskiej broni nuklearnej, ale zamiast tego wybiera zniszczenie ludzkości, postrzegając nas jako zagrożenie do jego istnienia.
Choć kiedyś ograniczała się do sfery science fiction, koncepcja superkomputerów zabijających ludzi stała się teraz wyraźną możliwością w bardzo realnym świecie niedalekiej przyszłości. Oprócz opracowywania szerokiej gamy „ autonomicznych ” lub zrobotyzowanych urządzeń bojowych, główne potęgi wojskowe spieszą się również z tworzeniem zautomatyzowanych systemów podejmowania decyzji na polu bitwy lub czegoś, co można by nazwać „ generałami robotów” .”. W wojnach w niezbyt odległej przyszłości takie systemy napędzane sztuczną inteligencją mogłyby zostać rozmieszczone w celu wydawania rozkazów bojowych amerykańskim żołnierzom, dyktując, gdzie, kiedy i jak zabijają wrogie wojska lub przyjmują ogień od przeciwników. W niektórych scenariuszach decydenci-roboty mogą nawet przejąć kontrolę nad amerykańską bronią atomową, potencjalnie umożliwiając im rozpętanie wojny nuklearnej, która doprowadzi do upadku ludzkości.
A teraz weź oddech na chwilę. Instalacja takiego systemu dowodzenia i kontroli (C2) opartego na sztucznej inteligencji może wydawać się odległą możliwością. Niemniej jednak Departament Obrony Stanów Zjednoczonych ciężko pracuje nad rozwojem wymaganego sprzętu i oprogramowania w systematyczny, coraz szybszy sposób. Na przykład w przedłożonym budżecie na 2023 r. Siły Powietrzne zażądały 231 mln USD na opracowanie zaawansowanego systemu zarządzania polem bitwy (ABMS), złożonej sieci czujników i komputerów obsługujących sztuczną inteligencję, zaprojektowanych do gromadzenia i interpretowania danych o operacjach wroga oraz zapewniania pilotom i wojsk lądowych z menu optymalnych opcji ataku. W miarę rozwoju technologii system będzie zdolnywysyłania instrukcji „ognia” bezpośrednio do „strzelców”, w dużej mierze z pominięciem kontroli człowieka.
„Narzędzie do wymiany danych między maszynami, które zapewnia opcje odstraszania, na rampie [wojskowy pokaz siły] lub wczesnego starcia” – tak Will Roper, zastępca sekretarza Sił Powietrznych ds. i logistyka opisali system ABMS w wywiadzie z 2020 roku. Sugerując, że „musimy zmienić nazwę” w miarę ewolucji systemu, Roper dodał: „Myślę, że Skynet jest wyłączony, tak bardzo chciałbym to zrobić jako rzecz science-fiction. Po prostu nie sądzę, żebyśmy mogli tam pojechać.
I chociaż on nie może tam pojechać, reszta z nas może rzeczywiście tam się udać.
Pamiętaj, to dopiero początek. W rzeczywistości ABMS Sił Powietrznych ma stanowić jądro większej konstelacji czujników i komputerów, które połączą wszystkie siły bojowe USA, Joint All-Domain Command-and-Control System (JADC2, wymawiane jako „Jad-C-two ”). „JADC2 ma na celu umożliwienie dowódcom podejmowania lepszych decyzji poprzez zbieranie danych z wielu czujników, przetwarzanie danych za pomocą algorytmów sztucznej inteligencji w celu identyfikacji celów, a następnie rekomendowanie optymalnej broni… do walki z celem”, poinformowała w 2022 r. Kongresowa Służba Badawcza .
Sztuczna inteligencja i wyzwalacz nuklearny
Początkowo JADC2 będzie przeznaczony do koordynowania działań bojowych między „konwencjonalnymi” lub niejądrowymi siłami amerykańskimi. Jednak ostatecznie oczekuje się, że połączy się z nuklearnymi systemami dowodzenia, kontroli i komunikacji (NC3) Pentagonu, potencjalnie dając komputerom znaczną kontrolę nad wykorzystaniem amerykańskiego arsenału nuklearnego. „JADC2 i NC3 są ze sobą powiązane”, stwierdził generał John E. Hyten, wiceprzewodniczący Kolegium Połączonych Szefów Sztabów, w wywiadzie z 2020 roku. W rezultacie dodał typowym pentagonem: „NC3 musi poinformować JADC2, a JADC2 musi poinformować NC3”.
Nie trzeba wielkiej wyobraźni, aby wyobrazić sobie czas w niezbyt odległej przyszłości, kiedy jakiś kryzys – na przykład starcie militarne między Stanami Zjednoczonymi a Chinami na Morzu Południowochińskim lub w pobliżu Tajwanu – spowoduje coraz bardziej zaciekłe walki między wrogimi siłami powietrznymi. i siły morskie. Wyobraź sobie więc JADC2, który nakazuje intensywne bombardowanie wrogich baz i systemów dowodzenia w samych Chinach, wyzwalając wzajemne ataki na obiekty amerykańskie i błyskawiczną decyzję JADC2 o odwecie za pomocą taktycznej broni nuklearnej, wywołując od dawna budzący strach nuklearny holokaust.
Możliwość, że tego rodzaju koszmarne scenariusze mogą doprowadzić do przypadkowego lub niezamierzonego wybuchu wojny nuklearnej, od dawna niepokoi analityków ze społeczności zajmującej się kontrolą zbrojeń. Ale rosnąca automatyzacja wojskowych systemów C2 wywołała niepokój nie tylko wśród nich, ale także wśród wyższych urzędników bezpieczeństwa narodowego.
Już w 2019 roku, kiedy zapytałem generała porucznika Jacka Shanahana, ówczesnego dyrektora Połączonego Centrum Sztucznej Inteligencji w Pentagonie, o tak ryzykowną możliwość, odpowiedział: „Nie znajdziesz większego zwolennika integracji zdolności AI w Departamencie Obrona, ale jest jeden obszar, w którym się zatrzymuję, a dotyczy on dowodzenia i kontroli jądrowej. To „ostateczna decyzja człowieka, którą należy podjąć”, dlatego „musimy być bardzo ostrożni”. Dodał, że biorąc pod uwagę „niedojrzałość” technologii, potrzebujemy „dużo czasu na przetestowanie i ocenę [przed zastosowaniem sztucznej inteligencji w NC3]”.
Od tamtej pory, pomimo takich ostrzeżeń, Pentagon ścigał się z rozwojem zautomatyzowanych systemów C2. W przedłożonym budżecie na 2024 r. Departament Obrony zażądał 1,4 miliarda dolarów na JADC2 w celu „przekształcenia zdolności bojowych poprzez dostarczanie przewagi informacyjnej z szybkością trafności we wszystkich domenach i partnerach”. O o! A potem zażądał kolejnych 1,8 miliarda dolarów na inne rodzaje badań AI związanych z wojskiem.
Urzędnicy Pentagonu przyznają, że minie trochę czasu, zanim generałowie-roboty będą dowodzić ogromną liczbą żołnierzy amerykańskich (i autonomiczną bronią) w bitwie, ale uruchomili już kilka projektów mających na celu przetestowanie i udoskonalenie właśnie takich powiązań. Jednym z przykładów jest projekt konwergencji armii, obejmującego serię ćwiczeń terenowych zaprojektowanych w celu sprawdzenia poprawności systemów składowych ABMS i JADC2. Na przykład w teście przeprowadzonym w sierpniu 2020 r. na poligonie Yuma w Arizonie armia wykorzystała różne czujniki powietrzne i naziemne do śledzenia symulowanych sił wroga, a następnie przetwarzała te dane za pomocą komputerów obsługujących sztuczną inteligencję w Joint Base Lewis McChord w stanie Waszyngton. Te komputery z kolei wydawały instrukcje ogniowe dla artylerii naziemnej w Yumie. „Cała ta sekwencja została rzekomo wykonana w ciągu 20 sekund” — donosiła później Kongresowa Służba Badawcza .
Mniej wiadomo o ekwiwalencie sztucznej inteligencji Marynarki Wojennej, „Project Overmatch”, ponieważ wiele aspektów jego programowania było utrzymywanych w tajemnicy. Według admirała Michaela Gildaya, szefa operacji morskich, Overmatch ma „ umożliwić marynarce, która roi się od morza, dostarczając zsynchronizowane śmiercionośne i nieśmiercionośne efekty z bliska i daleka, z każdej osi i każdej domeny”. Niewiele więcej ujawniono na temat projektu.
„Wojny błyskawiczne” i wymieranie ludzkości
Pomimo całej tajemnicy otaczającej te projekty, można myśleć o ABMS, JADC2, Convergence i Overmatch jako o elementach budulcowych przyszłej mega-sieci superkomputerów przypominającej Skynet, zaprojektowanej do dowodzenia wszystkimi siłami amerykańskimi, w tym siłami nuklearnymi, w zbrojnych walka. Im bardziej Pentagon porusza się w tym kierunku, tym bardziej zbliżamy się do czasu, w którym sztuczna inteligencja będzie miała władzę nad wszystkimi amerykańskimi żołnierzami wraz z siłami przeciwnika i wszystkimi cywilami złapanymi w krzyżowy ogień.
Taka perspektywa powinna być wystarczającym powodem do niepokoju. Na początek rozważ ryzyko błędów i błędnych obliczeń algorytmów w sercu takich systemów. Jak ostrzegają nas najlepsi informatycy, algorytmy te są zdolne do wyjątkowo niewytłumaczalnych błędów i, by użyć terminu AI, „halucynacji” – czyli pozornie rozsądnych wyników, które są całkowicie iluzoryczne. W tych okolicznościach nietrudno sobie wyobrazić, że takie komputery „mają halucynacje” przed nieuchronnym atakiem wroga i rozpoczynają wojnę, której inaczej można by uniknąć.
I nie jest to najgorsze z niebezpieczeństw, które należy wziąć pod uwagę. W końcu istnieje oczywiste prawdopodobieństwo, że przeciwnicy Ameryki podobnie wyposażą swoje siły w generałów-robotów. Innymi słowy, przyszłe wojny będą prawdopodobnie toczone przez jeden zestaw systemów sztucznej inteligencji przeciwko drugiemu, oba powiązane z bronią nuklearną, z całkowicie nieprzewidywalnymi – ale potencjalnie katastrofalnymi – skutkami.
Niewiele wiadomo (przynajmniej ze źródeł publicznych) o rosyjskich i chińskich wysiłkach zmierzających do zautomatyzowania ich wojskowych systemów dowodzenia i kontroli, ale uważa się, że oba kraje rozwijają sieci porównywalne z JADC2 Pentagonu. Już w 2014 roku Rosja zainaugurowała Narodowe Centrum Kontroli Obrony (NDCC) w Moskwie, scentralizowane stanowisko dowodzenia do oceny globalnych zagrożeń i inicjowania wszelkich niezbędnych działań wojskowych, zarówno o charakterze niejądrowym, jak i nuklearnym. Podobnie jak JADC2, NDCC ma na celu zbieranie informacji o ruchach wroga z wielu źródeł i dostarczanie starszym oficerom wskazówek dotyczących możliwych reakcji.
Mówi się, że Chiny realizują jeszcze bardziej skomplikowane, choć podobne przedsięwzięcie pod nazwą „Multi-Domain Precision Warfare” (MDPW). Według raportu Pentagonu z 2022 r. na temat rozwoju chińskiej armii, jego wojsko, Armia Ludowo-Wyzwoleńcza, jest szkolona i wyposażana do korzystania z czujników i sieci komputerowych obsługujących sztuczną inteligencję, aby „szybko identyfikować kluczowe luki w systemie operacyjnym USA, a następnie łączyć wspólne siły w całym domen, aby przeprowadzić precyzyjne ataki na te luki”.
Wyobraź sobie zatem przyszłą wojnę między USA a Rosją lub Chinami (lub obydwoma), w której JADC2 dowodzi wszystkimi siłami amerykańskimi, podczas gdy rosyjskie NDCC i chińskie MDPW dowodzą siłami tych krajów. Weź również pod uwagę, że wszystkie trzy systemy mogą doświadczać błędów i halucynacji. Jak bezpieczni będą ludzie, gdy generałowie robotów zdecydują, że nadszedł czas, aby „wygrać” wojnę, bombardując wrogów?
Jeśli wydaje ci się to dziwaczny scenariusz, pomyśl jeszcze raz, przynajmniej według kierownictwa Komisji Bezpieczeństwa Narodowego ds. Sztucznej Inteligencji, przedsiębiorstwa upoważnionego przez Kongres, któremu przewodniczyli Eric Schmidt, były szef Google, i Robert Work, były zastępca sekretarza obrony. „Chociaż Komisja uważa, że odpowiednio zaprojektowane, przetestowane i wykorzystywane autonomiczne systemy uzbrojenia z obsługą sztucznej inteligencji przyniosą znaczne korzyści wojskowe, a nawet humanitarne, niekontrolowane globalne użycie takich systemów potencjalnie grozi niezamierzoną eskalacją konfliktu i niestabilnością kryzysową” – potwierdzono w swoim raporcie końcowym. Stwierdzono, że takie niebezpieczeństwa mogą powstać „z powodu trudnych i nieprzetestowanych złożoności interakcji między systemami uzbrojenia opartymi na sztucznej inteligencji i autonomicznymi systemami uzbrojenia na polu bitwy” – to znaczy, gdy sztuczna inteligencja walczy z sztuczną inteligencją.
Choć może się to wydawać skrajnym scenariuszem, jest całkiem możliwe, że przeciwstawne systemy sztucznej inteligencji mogą wywołać katastrofalną „flash war” – militarny odpowiednik „błyskawicznej katastrofy” na Wall Street, kiedy ogromne transakcje przeprowadzane przez super wyrafinowane algorytmy handlowe wywołują panikę przed sprzedażą. ludzie mogą przywrócić porządek. W niesławnym „Flash Crash” z 6 maja 2010 r. handel sterowany komputerowo spowodował 10% spadek wartości giełdy. WedługPaul Scharre z Center for a New American Security, który jako pierwszy badał to zjawisko, „militarny odpowiednik takich kryzysów” na Wall Street pojawiałby się, gdy zautomatyzowane systemy dowodzenia przeciwnych sił „zostały uwięzione w kaskadzie eskalacji starć”. Zauważył, że w takiej sytuacji „autonomiczna broń może w jednej chwili doprowadzić do przypadkowej śmierci i zniszczenia na katastrofalną skalę”.
Obecnie praktycznie nie ma środków zapobiegających przyszłej katastrofie tego rodzaju, a nawet rozmów między głównymi mocarstwami w celu opracowania takich środków. Jednak, jak zauważyła Narodowa Komisja Bezpieczeństwa ds. Sztucznej Inteligencji, takie środki kontroli kryzysowej są pilnie potrzebne, aby zintegrować „zautomatyzowane wyzwalacze eskalacji” z takimi systemami, „które zapobiegłyby automatycznej eskalacji konfliktu”. W przeciwnym razie jakaś katastrofalna wersja III wojny światowej wydaje się aż nazbyt możliwa. Biorąc pod uwagę niebezpieczną niedojrzałość takiej technologii oraz niechęć Pekinu, Moskwy i Waszyngtonu do nałożenia jakichkolwiek ograniczeń na uzbrojenie sztucznej inteligencji,
Śledź TomDispatch na Twitterze i dołącz do nas na Facebooku . Sprawdź najnowsze Dispatch Books, nową dystopijną powieść Johna Feffera, Songlands (ostatnia z jego serii Splinterlands), powieść Beverly Gologorsky Every Body Has a Story oraz A Nation Unmade by War Toma Engelhardta , a także In the Shadows Alfreda McCoya of the American Century: The Rise and Decline of US Global Power , Johna Dowera The Violent American Century: War and Terror Since World War II oraz Ann Jones Byli żołnierzami: jak ranni wracają z wojen w Ameryce: nieopowiedziana historia .
Michael T. Klare, stały bywalec TomDispatch , jest emerytowanym profesorem studiów nad pokojem i bezpieczeństwem na pięciu uczelniach w Hampshire College oraz starszym członkiem wizytującym Stowarzyszenia Kontroli Broni. Jest autorem 15 książek, z których najnowsza to All Hell Breaking Loose: The Pentagon’s Perspective on Climate Change . Jest założycielem Komitetu ds. Rozsądnej Polityki USA-Chiny .
Prawa autorskie 2023 Michael T. Klare
Link źródłowy https://original.antiwar.com/michael_klare/2023/07/19/the-military-dangers-of-ai-are-not-hallucinations/
