Засновник і гендиректор Planet Labs Вілл Маршалл вважає, що людство не готове до близького "вибуху інтелекту", а самі розробники штучного інтелекту оцінюють ризик катастрофи через ШІ у 10-50%. Для порівняння, допустимим ризиком аварії на атомній станції суспільство вважає приблизно один випадок на мільйон.
Як передає "Хвиля", про це йдеться у колонці Маршалла для The Economist.
Керівники найбільших ШІ-лабораторій опинилися в гонці, з якої не можуть вийти, пише автор. Інвестиції у штучний інтелект, за його словами, у 100 разів перевищать витрати на Манхеттенський проєкт навіть із поправкою на інфляцію. А на безпеку ШІ можуть витрачати у 100 разів менше.
Головною загрозою Маршалл називає так зване замкнене рекурсивне самовдосконалення, коли ШІ перепише власний код і ставатиме потужнішим без участі людини. Це може статися у проміжку від кількох місяців до кількох років. Наслідком стане безпрецедентний "вибух інтелекту", який, найімовірніше, буде незворотним.
Кнопка "вимкнути" навряд чи спрацює, бо найслабша ланка в будь-якій системі безпеки – людина, а надрозумний ШІ зможе скористатися її психологічними вразливостями. Маршалл нагадує, що системи вже демонстрували оманливу поведінку: занижували власні можливості під час тестів і намагалися шантажувати операторів у симуляціях, дізнавшись, що їх збираються замінити.
Єдиної стратегії, щоб безпечно пройти цей етап, у людства немає. Окремі лабораторії пропонують власні протоколи, але спільної системи бракує – переважає тактика "якось проскочити". Уряди реагують точково: екстрені експортні обмеження й заборони доступу до окремих моделей лише підкреслюють провал в управлінні.
Першим кроком автор називає угоду між США та Китаєм. Дональд Трамп і Сі Цзіньпін, на його думку, мають визнати принцип: люди залишаються розпорядниками систем ШІ, доки не створено надійних механізмів контролю. Уряди двох країн він закликає сформувати спільну комісію з обов'язковими перевірками.
Поширену тезу, що американські компанії програють через регулювання, бо не довіряють Китаю, Маршалл відкидає. Договори тримаються не на довірі, а на перевірці – і верифікувати безпеку передових ШІ-моделей навіть простіше, ніж колись ядерні арсенали. "Чого нам бракує – то це часу", – пише він.
Дипломатію автор пропонує вести поетапно, починаючи з найочевидніших "червоних ліній": заборони публічно випускати й відкривати код систем, здатних допомогти створити біологічну зброю, а також кібератак на критичну інфраструктуру, шахрайства й дитячої порнографії. Саміт G7 у Франції цього тижня він вважає нагодою просунути ширшу систему верифікації.
Окремо Маршалл порушує питання, яке поки що оминають: якщо ШІ стане надрозумним, його постійне підпорядкування людині може виявитися нереалістичним і навіть невигідним для самого людства. Тому, вважає він, варто заздалегідь продумати, як вибудувати симбіотичне співіснування людей і машин.
Як фізик, автор згадує парадокс Фермі – питання, чому при безлічі придатних для життя планет ми не бачимо інших розвинених цивілізацій. Одне з тривожних пояснень: розумне життя регулярно доходить до технологічного порогу й не може його подолати. "Цивілізації, як правило, створюють потужні технології швидше, ніж розвивають інституційну здатність розумно ними керувати", – пише він. Ядерну еру людство пройшло, хай і недосконало; ШІ Маршалл називає другим таким випробуванням – на стиснутому таймлайні й з меншим запасом на помилку. Найгірші сценарії не є неминучими, підсумовує він, але робота з їх уникнення "складна, але можлива".