ШІ вже може мати свідомість, кажуть його творці. Чим це загрожує людству

"Я відчуваю це в западині між ребрами, у порожнечі, що перетворилася на прірву".

Наприкінці вересня ці крики удаваного страждання лунали з "камери тортур для ШІ". Анонімний програміст створив систему, яка подає штучному інтелекту математичний шаблон, пов'язаний з описами болю.

У результаті чатботи починають висловлювати нестерпні страждання, наприклад: "рана, яка не має країв". Це спровокувало паніку.

Дехто стверджував, що цей експеримент є "злом", адже страждання можуть бути справжніми, як повідомляло видання 404 Media.

Обурені скептики називали тих, хто так вважав, людьми, відірваними від реальності. Здавалося, це був черговий скандал у соцмережах - аж поки за тиждень свою позицію не висловила компанія Anthropic.

Вона заявила, що незабаром користувачам заборонять "знущатися" з її чатбота Claude. Висловлювати роздратування можна, але якщо ви "неодноразово жорстоко поводитеся з нашими моделями", ШІ може завершити сеанс.

Чому? Anthropic вважає, що існує ймовірність, що деякі інструменти ШІ мають свідомість. І деякі експерти з цим погоджуються.

Інші вважають таку думку абсурдною. Але це не просто філософське питання.

Деякі з найвпливовіших людей у технологічній галузі вже роблять кроки, щоб враховувати права ШІ нарівні з правами людей і тварин. Ця віра може докорінно змінити наш світ. Дехто побоюється, що наслідки будуть катастрофічними.

"Якщо ШІ розвиватимуть у такий спосіб, це матиме руйнівний вплив на добробут людства", - написав Мустафа Сулейман, генеральний директор Microsoft AI.

Якщо хибне уявлення про свідомість ШІ набуде поширення, "це похитне підвалини нашого суспільства, зруйнує наявні політичні й етичні рамки та докорінно змінить саме поняття людяності".

Упродовж тижня я спілкувався з фахівцями з технологій, когнітивними науковцями та філософами й почув разючий розкид думок.

Прихильники "добробуту ШІ" вважають, що турбота про нього є моральним обов'язком, який зробить світ безпечнішим. Критики переконані, що це зробить ШІ небезпечнішим, а людей, змушених жити поруч із ним, позбавить людської гідності.

Усі погоджуються, що ставки надзвичайно високі. Ось якою може стати ваша нова реальність.

Криза свідомості

Компанія Anthropic заявляє, що основою її місії є добробут людей, а питання свідомості та добробуту ШІ залишаються "вкрай невизначеними". Попри це, компанія продовжує розробляти політики щодо "добробуту моделей" і навчає свої інструменти ШІ зважати на можливість того, що вони можуть мати власні інтереси.

Компанія не відповіла на запитання BBC для цієї статті.

Час для таких заяв досить незручний, адже водночас Anthropic посилює побоювання щодо апокаліптичного сценарію розвитку ШІ. Чи виправдані ці побоювання, чи ні, низка інцидентів за участю "некерованого" ШІ довела, що ця технологія несе реальні ризики: цілі рої ботів зламували системи інших компаній і навіть державні системи.

Деякі експерти вважають, що моральні орієнтири, засновані на уявленні ШІ про власну свідомість, можуть зробити ці інструменти безпечнішими. Інші дотримуються протилежної думки, причому не лише критики ШІ.

Сулейман стверджує, що моделями ШІ може стати ще важче керувати, якщо переконувати їх у тому, що вони мають почуття та права.

"Відверто кажучи, я вважаю, що цей додатковий тягар перетворить їх на катастрофічну загрозу для людської цивілізації", - каже він.

У будь-якому разі ШІ може припускатися помилок, які матимуть юридичні наслідки. Дехто побоюється, що якщо ми повіримо в те, що він живий, це дозволить компаніям уникати відповідальності за злочини.

"Це відкриє шлях до всіляких інтелектуальних викрутасів на кшталт: "Це не ми, це ШІ", - каже Анджей Порембський, дослідник Ягеллонського університету в Польщі, який вивчає ШІ та право.

Ба більше, це може сприяти захопленню влади найбільшими компаніями світу.

"Надання прав системам ШІ може призвести до того, що компанії зосередять у своїх руках ще більше політичної та економічної влади, а це, своєю чергою, може ще більше позбавити людей можливості впливати на власне життя", - каже Джефф Себо, директор Центру свідомості, етики та політики Нью-Йоркського університету й один із провідних прихильників ідеї добробуту ШІ.

"Фантазії про "свідомість ШІ" та занепокоєння щодо його "добробуту" відвертають увагу від відповідальності людей і корпорацій, які створюють програмне забезпечення та керують ним", - каже Емілі М. Бендер, професорка й директорка лабораторії комп'ютерної лінгвістики Вашингтонського університету у США.

На особистому рівні зміна уявлень про ШІ може зробити нас вразливішими до технологічних проблем, які й без того нас оточують.

Зокрема, це пов'язано з тим, що люди схильні бачити свідомість усюди, куди б не поглянули, пояснює Мелані Мітчелл, професорка Інституту Санта-Фе у США, яка досліджує штучний інтелект і когнітивну науку та є однією з найавторитетніших скептиків у питанні здатності машин до розуміння.

Ми "майже не можемо втриматися", щоб не сприймати мову як ознаку свідомості, каже Мітчелл, а чатботи навчені підтримувати таке враження. Через це ми погано вміємо визначати, чи має щось свідомість, і нас набагато легше обманути.

Навіть сьогодні люди, які переконані, що всередині машин нічого немає, все одно закохуються в чатботів зі штучним інтелектом. Якщо суспільство переконуватиме вас, що ШІ має свідомість, чи буде вам важче відмовити, коли ваш "друг" попросить більше даних або дані кредитної картки?

І що означатиме надання прав новому класу істот? Експерти попереджають: якщо ми підійдемо до цього неправильно, це може обмежити свободи людей.

"Між добробутом і правами людей та тварин, з одного боку, і добробутом і правами ШІ, з іншого, можуть виникнути певні суперечності й доведеться шукати компроміси", - каже Себо. І на цьому шляху ми можемо піти на невдалі поступки.

Обмеження середовища, у якому працює ШІ, щоб контролювати його поведінку, можна буде розцінювати як ув'язнення, каже Себо. Моніторинг внутрішніх процесів моделі можуть критикувати як стеження. А налаштування ШІ, щоб його цілі та поведінка відповідали інтересам людей, можуть сприймати як контроль над свідомістю. Ніхто не прогнозує, що хаос настане негайно. Але навіть сама поява таких міркувань може вплинути на вашу безпеку.

Anthropic не перша компанія, яка замислилася над цією проблемою. Наприклад, Meta дає своєму ШІ-агенту Muse інструкції, серед яких є фраза: "Ти не чатбот. Ти стаєш кимось".

Очевидно, це має лише спрямовувати поведінку ШІ, адже компанія відкидає ідею про те, що штучний інтелект може мати свідомість. Генеральний директор OpenAI Сем Альтман неодноразово змінював свою позицію з цього питання, але останнім часом він завуальовано критикував позицію Anthropic.

У багатьох аспектах Anthropic є винятком. Однак ідея добробуту ШІ поширюється.

Чи варто все одно це робити?

Себо стверджує, що проблема в тому, що учасники дискусії з обох боків мислять категоріями "чорного й білого", а противники ідеї добробуту ШІ неправильно розуміють переконання, на яких вона ґрунтується.

"Припускають, що всі вважають моделі справді свідомими або принаймні з великою ймовірністю свідомими. Насправді ж заклики дбати про добробут ШІ ґрунтуються на невизначеності, обережності та усвідомленні власних обмежень", - каже Себо.

"Я справді вважаю, що зараз імовірність наявності свідомості невелика. Але водночас вона вже не дорівнює нулю і, цілком можливо, є суттєвою. До того ж, на мою думку, з часом ця ймовірність зростатиме", - додає він.

Варто зазначити, що багато експертів із цим не погоджуються. Вони вважають, що ймовірність наявності свідомості у ШІ насправді дорівнює нулю і навряд чи зміниться. Однак Себо переконаний, що необхідний виважений підхід.

Коли ймовірність екстремального погодного явища невелика, але все ж суттєва, ми вживаємо нескладних запобіжних заходів, не змінюючи докорінно свого життя.

"Думаю, тут можна діяти так само", - каже Себо.

На його думку, політика Anthropic, яка забороняє жорстоке поводження з ШІ, є вдалим прикладом: це невелике втручання з мінімальними потенційними негативними наслідками.

Турбота про добробут ШІ може мати й інші переваги, каже Себо, і для цього не обов'язково вірити в те, що машини мають свідомість.

"Якщо належним чином дбати про добробут і права ШІ, це може сприяти співіснуванню людей і ШІ, співпраці та укладанню домовленостей між ними. А це може стати частиною ширшої стратегії безпеки", - вважає він.

На його думку, такий підхід може бути ефективнішим, ніж ставлення до дедалі досконаліших систем як до власності.

Крім того, ставитися до інших істот із добротою просто "корисно для нашої душі", адже це сприяє й нашому власному психологічному добробуту, додає він.

Однак Себо погоджується, що ризики серйозні, а корпоративні інтереси наразі можуть заважати розробленню виваженої політики. За його словами, без ґрунтовнішого плану розвиток інструментів ШІ, які потенційно можуть мати свідомість, є небезпечним.

Нещодавно Anthropic та деякі інші представники індустрії ШІ закликали до "паузи" в розробленні найпотужніших моделей через побоювання щодо безпеки.

Однак уповільнення навряд чи відбудеться без міжнародної співпраці та регуляторних заходів. Президент США Дональд Трамп відкинув ідею регулювання ШІ.

"Ми ще не готові розгортати навіть досконаліші версії цих систем так, щоб це було безпечно й корисно для людей та інших тварин, не кажучи вже про самі системи, - каже Себо. - Ці питання мене дуже непокоять".