Елиeзер Юдковски за сп. TIME: Спрете ИИ! Не сме готови

„Спирането на развитието на изкуствения интелект не е достатъчно. Трябва да затворим всичко.“

ЕЛИEЗЕР ЮДКОВСКИ, специалист по теория за вземане на решения, ръководител на изследванията в Изследователския институт за машинен интелект. Работи върху регулирането на силния изкуствен интелект (ИИ) от 2001 г. и е считан за основател на тази област.

Оригинална статия в сп. TIME, 1.04.2023 г.

Отвореното писмо, публикувано днес, призовава „всички лаборатории по ИИ незабавно да преустановят обучението на системи с ИИ, по-мощни от GPT-4, поне за 6 месеца“.

Този 6-месечен мораториум би бил по-добър от липсата на мораториум. Уважавам всички, които го подписаха. Това е най-доброто нещо, което може да се направи. Въздържах се да подпиша, защото смятам, че писмото омаловажава сериозността на ситуацията и предлага твърде малко за нейното разрешаване.

Ключовият въпрос не е в „конкурентния за човека“ интелект (както се казва в отвореното писмо); това ще се случи, след като ИИ стане по-умен от хората. Ключовият праг може да не е очевиден, със сигурност не можем да предвидим предварително какво и кога ще се случи, а в момента изглежда възможно някоя изследователска лаборатория да премине критичните граници, без дори да ги забележи.

Много изследователи, потопени в тези проблеми, включително и аз, очакват, че най-вероятният резултат от създаването на свръхчовешки умен ИИ при обстоятелства, съзвучни с настоящите, ще бъде, че буквално всички на Земята ще умрат. Не по формулата „може би има някакъв малък шанс“, а „очевидно е, че това ще се случи“. По същество не можете да оцелеете, изграждайки нещо много по-умно от вас; въпросът е, че това ще изисква прецизност, подготовка, нови научни открития и вероятно липсата на системи с ИИ, състоящи се от гигантски и неразбираеми масиви от дробни числа. Без такава прецизност и подготовка най-вероятният резултат ще бъде ИИ, който няма да прави това, което искаме, и няма да го е грижа за нас и за разумния живот като цяло. Такава грижа за живота по принцип би могла да бъде внедрена в ИИ, но все още не сме готови за това и не знаем как да го направим.

При липсата на подобна грижа получаваме резултата „ИИ не ви обича или мрази, вие просто сте направени от атоми, които той може да използва за нещо друго“.

Вероятният резултат от конфронтацията на човечеството с противостоящия му свръхчовешки разум е пълно унищожение. Подходящи метафори: „10-годишно дете се опитва да играе шах срещу Stockfish 15“, „XI в. се опитва да се бори с XXI в.“ и „Австралопитекът се опитва да се бори с Хомо сапиенс“.

За да визуализирате враждебен свръхчовешки ИИ, не е нужно да си представяте безжизнен умен мислител, който живее в интернет и изпраща злонамерени имейли. Представете си цяла извънземна цивилизация, мислеща милиони пъти по-бързо от човека, първоначално ограничена от компютрите, в свят на същества, които от нейна гледна точка са много глупави и бавни. Един достатъчно интелигентен ИИ няма да остане свързан с компютрите за дълго. В днешния свят можете да изпращате по имейл вериги от ДНК до лаборатории, които ще произвеждат протеини при поискване, позволявайки на ИИ, първоначално свързан с интернет, да създава изкуствени форми на живот или да премине направо към постбиологично молекулярно производство.

Ако някой създаде твърде мощен ИИ при настоящите условия, очаквам скоро след това всеки член на човешката раса и целият биологичен живот на Земята да умре.

Няма готов план как да създадем нещо подобно и при това да оцелеем. Открито заявеното намерение на OpenAI е някой бъдещ ИИ да изпълнява нашата собствена работа за регулиране на ИИ. Самата мисъл, че това е планът на спасението, би трябвало да е достатъчна, за да накара всеки нормален човек да изпадне в паника. Друга водеща лаборатория за ИИ, DeepMind, пък изобщо няма план.
Накратко: нито една от тези опасности не зависи от това дали ИИ са съзнателни или дали могат да бъдат съзнателни; това е присъщо на концепцията за мощни когнитивни системи, които стриктно оптимизират и изчисляват резултати, отговарящи на доста сложни критерии. Отчитайки казаното, бих пренебрегнал човешките морални задължения, ако не спомена също, че нямаме изобщо представа как да определим дали системите с ИИ са самосъзнателни, тъй като нямаме понятие как да декодираме всичко, което се случва в гигантски неразбираемите масиви – поради което можем в един момент по невнимание да създадем дигитални умове, които са наистина съзнателни и трябва да имат права, а не да бъдат нечия собственост.

Правилото, което повечето хора, запознати с тези въпроси, подкрепяха преди 50 години, беше, че ако една система с ИИ може да говори свободно, да твърди, че е самоосъзната и да изисква човешки права, тя трябва да бъде под строга забрана да притежава този ИИ и да го използва след този момент. Отдавна сме преминали тази граница. И вероятно това би било правилно; съгласен съм, че настоящите ИИ вероятно просто симулират разговори за самосъзнание от данни за обучение. Но отбелязвам, че като се има предвид нашето практическо невежество относно вътрешностите на тези системи, ние не знаем това със сигурност.

Ако това е нашето ниво на невежество относно GPT-4, то GPT-5 е толкова голяма крачка напред във възможностите, колкото стъпката от GPT-3 към GPT-4, мисля, че вече не можем правилно да кажем „вероятно не самоосъзнаваща се“. Ако позволим на хората да създадат GPT-5, правилният отговор ще бъде „Не знам. Никой не знае“. Ако не можете да сте сигурни дали изграждате самоосъзнат ИИ или не, това е тревожно не само поради моралните последици за „самоосъзнаващата се“ част, но и защото несигурността означава, че не знаете какво правите, а това е опасно и трябва да спрете.

На 7 февруари Сатя Надела, главен изпълнителен директор на Microsoft, открито се похвали, че новият Bing ще „накара Google да танцува“. „Искам хората да знаят, че ги накарахме да танцуват“, каза той.

Това не е начинът, по който главният изпълнителен директор на Microsoft трябва да говори с трезв ум. И показва огромната разлика между начина, по който възприемаме проблема сега, и колко сериозно трябваше да го приемем още преди 30 години.
И ние не планираме да запълним тази празнина за шест месеца.

Изминаха повече от 60 години, откакто концепцията за изкуствен интелект беше предложена и проучена за първи път, за да достигне до днешните си възможности. За разрешаването на проблема с безопасността на свръхчовешкия интелект – не идеалната, но поне в смисъл „не убивай буквално всички“ – би било разумно да отделим поне половината от това време. И работата е там, че опитвайки се да го направим със свръхчовешкия интелект, ако срешим първия път, няма да можем да се поучим от грешките си, защото вече ще сме мъртви. Човечеството няма да може да се поучи от грешките си, нито да издуха праха, за да се опита отново да преодолее препятствията, както при другите предизвикателства, които сме преодолявали в нашата история, защото всички ние ще си отидем.

Да се опиташ да направиш нещо правилно с един опит не е лесна задача както в науката, така и в инженерството. Ние не предлагаме нищо подобно на подход, който би бил необходим за успешното изпълнение на тази задача. Ако в зараждащата се област на общия ИИ се придържахме дори към минималните стандарти на инженерна строгост, които се прилагат за мост, предназначен да издържа няколко хиляди коли, цялата тази област щеше вече да бъде закрита.

Не сме готови. Няма да сме готови в разумен период от време. Нямаме план. Напредъкът в способностите на ИИ далеч изпреварва напредъка в съгласуването на ИИ или дори в разбирането на това какво, по дяволите, се случва вътре в тези системи. Ако наистина направим това, всички ще умрем.

Много от изследователите, работещи върху тези системи, смятат, че вървим към катастрофа, и мнозина от тях се осмеляват да говорят за това насаме, а не публично; но те смятат, че не могат едностранно да спрат „челното падане“, което другите ще продължат дори ако те лично напуснат работа. И затова всички мислят, че могат да продължат. Това е глупаво състояние на нещата и недостоен начин да умреш за Земята. Останалата част от човечеството трябва да се намеси в този момент и да помогне на индустрията да разреши проблема с колективните действия.

Някои от моите приятели наскоро ми казаха, че когато хора извън индустрията на ИИ за първи път чуят за риска от изчезване поради ИИ, реакцията им е: „Може би тогава не трябва да създаваме силен ИИ.“

Чутото ми даде малка искрица надежда, защото това е по-проста, по-разумна и, честно казано, по-разумна реакция, отколкото съм чувал през последните 20 години, опитвайки се да накарам някого в индустрията да вземе тези неща на сериозно. Всеки, който казва това с трезв ум, заслужава да чуе колко зле е всъщност положението, а не че шестмесечен мораториум ще го оправи.

На 16 март моят партньор [по изследвания] ми изпрати този имейл (по-късно тя ми даде разрешение да го цитирам тук): „На Нина ѝ падна първото зъбче! Стана по обичайния начин, както правят децата, а не поради невнимание! Гледката на това как GPT-4 се представя на стандартизираните тестове в деня, когато Нина достигна важен етап в детството си, предизвика вълна от емоции, която ме разклати за минута. Всичко се случва твърде бързо. Опасявам се, че това ще увеличи тъгата ти, по-добре да ти го споделя, отколкото всеки от нас да страда сам.“

Когато вътрешният разговор е за тъгата от падането на първия зъб на дъщеря ви и мисълта, че тя няма да получи шанс да порасне, предполагам, че вече не играем политически шах заради шестмесечен мораториум.

Ако имаше план за оцеляването на Земята, ако беше преминал шестмесечният мораториум, щях да подкрепя този план. Но няма такъв план.

Ето какво наистина трябва да се направи:
Мораториумът върху стартирането на големи нови тренировъчни пускове трябва да бъде безсрочен и да се разпространи по целия свят. Не може да има изключения, включително за правителствата или въоръжените сили. Ако световната политика започва със САЩ, тогава Китай трябва да види, че САЩ не търсят предимство, а по-скоро се опитват да предотвратят една ужасно опасна технология, която не може да има истински собственик и която ще убие всички в САЩ, в Китай и на Земята. Ако имах свободата да пиша закони, бих могъл да направя единственото изключение за системите с ИИ, обучени единствено да решават проблеми в биологията и биотехнологиите, а не обучени върху текстове от интернет, и не до точката, в която започват да говорят или планират; но ако това усложни проблема дори малко, веднага бих се отказал от това предложение и бих казал просто всичко да се закрие.

Да се изключат всички големи GPU клъстери (големи компютърни ферми, където се усъвършенстват най-мощните системи с ИИ). Да се деактивират всички големи обучения. Да се постави таван на това колко изчислителна мощност може да се използва за обучение на система с ИИ и да се намалява то през следващите години, за да се компенсират по-ефективните алгоритми за обучение. Да няма изключения за правителствата и военните сили. Незабавно да се сключат многонационални споразумения, за да се предотврати движението на забранени дейности другаде. Да се проследят всички продадени графични процесори. Ако разузнаването докладва, че държава, която не е част от споразумението, изгражда GPU клъстер, да се боим не толкова от възможна война между страните, а от нарушение на мораториума; да се приготвим да унищожим нелегитимния център за данни с въздушен удар.

Не говорете нищо за противоречие с националните интереси, кажете ясно, че всеки, който говори за надпревара във въоръжаването, е глупак. Това, че всички ще живеем или ще умрем заедно, в случая не е политика, а природен факт. Трябва ясно да се заяви по пътя на международната дипломация, че за приоритет се счита предотвратяването на сценарии за измиране в резултат на действия на системи с ИИ, а не предотвратяването на обмен на ядрени удари и че ядрените съюзници са готови да поемат известен риск от ядрени удари, ако е необходимо, за да се намали рискът от мащабни обучения на ИИ.

Това е един вид промяна на политиката, която би накарала моя партньор и мен да се прегърнем и да кажем, че се е случило чудо и сега има шанс Нина да оцелее. Разумните хора, които за първи път чуват за това и които си мислят „Може би не трябва да правим това“, заслужават честен отговор на въпроса, какво трябва да се направи. И когато вашата политика изисква такива големи промени, единственият начин да я приложите е да убедите законодателите, че ако се държат, както обикновено, и правят това, което е политически изгодно, тогава собствените им деца също ще умрат.

Изключете целия този ИИ.
Не сме готови. Няма да сме по-подготвени в обозримо бъдеще. Ако продължим така, всички ще умрат, включително децата, които не са избирали това и не са направили нищо лошо.