Глава 17. Боль — налог на незаменимость

В начале двухтысячных в Лахоре, втором по величине городе Пакистана, на улицах выступал мальчик лет десяти. Толпу он собирал за минуту, потому что номер был короткий и страшный. Он разувался и шёл по углям. Протыкал себе руку ножом – так, чтобы лезвие вышло с другой стороны и это все увидели. Держал ладонь над пламенем, пока зрители не начинали кричать, чтобы он прекратил. Лицо у него при этом оставалось скучающим. Потом он собирал монеты, кланялся и шёл домой, где мать промывала ему раны.

Он не был факиром и ничему не учился годами. Он просто не чувствовал боли. Не терпел её, не подавлял усилием воли – не чувствовал. Ни секунды за всю жизнь.

Врачи из Кембриджа добрались до его семьи и в 2006 году опубликовали разгадку в Nature, одном из главных научных журналов мира. Всё упиралось в единственный ген. Ген этот собирает крохотную деталь на окончаниях нервов – ту, без которой болевой сигнал попросту не рождается. Датчики в коже у мальчика были на месте, нервы целы, мозг здоров; он прекрасно различал тепло и холод, щекотку и давление. Звонок был исправен во всех деталях, кроме одной: провод к нему был перерезан. Тело регистрировало повреждение и молчало о нём.

В той же работе есть строчка, на которой спотыкаешься. Исследовали не только мальчика, но и его родню, и у детей из этих семей в первые годы жизни были изувечены губы и языки. Они откусывали их сами. Просто ничто их не останавливало.

Поначалу такое устройство кажется подарком судьбы. Ни зубной боли, ни ожогов, ни ломоты в пояснице к сорока – живи и радуйся.

Он погиб в день своего четырнадцатилетия. Спрыгнул с крыши дома, чтобы показать приятелям, что ему не страшно. Ему и правда не было страшно. За четырнадцать лет ни один его поступок не вернулся к нему ничем неприятным, и он не имел ни малейшего понятия, чего в этом мире следует опасаться.

Есть на свете ещё одна «сущность», которой никогда не бывает больно, и вы, возможно, переписывались с ней сегодня утром. Я говорю про нейросеть. У неё нет ни одного болевого датчика. Её нельзя обжечь или порезать. Обругайте её последними бранными словами – она не дрогнет, потому что дрожать нечему. И ей это ничем не грозит: она отвечает на миллионы вопросов, пишет тексты и код, и полная бесчувственность нисколько ей не мешает.

Человеку отсутствие боли стоит жизни. Нейронке оно не стоит ничего.

Кто на самом деле убрал вашу руку

Рука на раскалённой плите, с которой мы расстались в конце прошлой главы, отдёргивается сама. Это все знают. Гораздо интереснее, кто именно отдаёт команду.

Сигнал от обожжённой кожи бежит вверх по нерву и до головы не добирается. Он доходит до спинного мозга и там, никого не спрашивая, разворачивается обратно: команда мышцам, убрать руку. Рука уходит. И только потом, с опозданием, тот же сигнал доползает до головного мозга, где и вспыхивает знакомое «ой». Решение принял нижний этаж, быстрый и дешёвый, который умеет ровно одну вещь: заметил повреждение – дёрнул. У этой короткой дороги есть название – рефлекторная дуга, но название тут не главное. Главное – порядок событий.

Тут легко перепутать две разные вещи, и их путают постоянно. В четырнадцатой главе, где мы разбирали, как мозг протаптывает в себе тропинки, был ребёнок и горячая плита: обжёгся раз, другой, третий – тропинка «плита – опасность – убрать руку» протопталась, и теперь ребёнок отдёргивает руку, едва завидев конфорку. Вот это выученное. Это дорожка, которую пробил опыт.

Но сейчас речь совсем о другом. Представьте ситуацию, в которой вы не заметили раскалённую плиту и дотронулись до неё. Рука отдёрнулась не по «натоптанной тропинке», а по линии, вшитой в вас до всякого опыта. Младенец, впервые в жизни коснувшийся горячего, отдёрнет ручку так же молниеносно, хотя протаптывать в нём пока нечего. Одно – тропинка, пробитая вашей собственной жизнью. Другое – провод, впаянный на заводе, ещё до вашего рождения.

Вдумайтесь, в каком неловком положении вы при этом оказываетесь. О собственной боли, о самом личном, что с вами вообще может случиться, вы узнаёте последним. Сначала сработали датчики. Потом спинной мозг отдал приказ. Потом мышцы его выполнили. И лишь в конце всей цепочки, когда рука уже в безопасности, до сознания дошла новость: было больно. Вы не автор этого решения. Вас просто уведомили – вам показали запись.

Отсюда следует кое-что важное про боль вообще. Обычное сообщение в мозге встаёт в очередь: его оценят, взвесят, сравнят с другими, а потом решат, что с ним делать. У сигнала повреждения есть привилегия, которой нет больше ни у чего. Он имеет право обрубить очередь.

Боль — это не одно чувство, а четыре

Привилегия эта, впрочем, только одна из четырёх. Боль устроена сложнее, чем кажется человеку, который её испытывает: то, что мы называем одним коротким словом, собрано минимум из четырёх разных деталей, и держатся они друг за друга куда слабее, чем можно подумать.

Первая – регистрация. Где-то в теле лопнула ткань, и датчик это заметил. Адрес и диагноз, больше ничего. Чистая справка, не страшнее показаний термометра.

Вторая – тот самый приоритет. Справка получает право лезть без очереди и захватывать управление. Не в порядке общей обработки, а сейчас же, поверх всего остального. Именно эта деталь увела вашу руку с конфорки раньше, чем вы успели подумать. Уберите её – и повреждение будет замечено, но рука не отдёрнется… во всяком случае не так молниеносно.

Третья – урок. Событие записывается в память с несмываемой пометкой «сюда не надо», и вы после этого становитесь немного другим человеком. Обойдёте, поостережётесь, не полезете. Боль перекраивает вас под будущее, и, пожалуй, это самое полезное, что она умеет.

И четвёртая – мучительность, невыносимость происходящего, то, от чего темнеет в глазах. Обратите внимание: три первых детали прекрасно работали бы и без неё. Сигнал зарегистрирован, очередь обрублена, урок записан – и всё это не требует ни страдания, ни вообще какого бы то ни было переживания. Мучительность идёт сверху, отдельным слоем. Зачем – совершенно непонятно.

Так вот. Три из этих четырёх деталей у машины уже есть.

Из чего вылеплена нейросеть

Начать удобнее с той «боли», которую ожидаешь у машины меньше всего – с урока. Как обучают модель, мы уже разбирали: ей показывают кусок текста и просят угадать следующее слово. Она угадывает. Ей показывают правильный ответ. Но тогда мы обошли самое интересное – что происходит между «она угадала» и «она стала угадывать лучше».

Она получает оценку. Не «верно или неверно», а меру промаха: «мимо вот на столько-то». Инженеры так этот сигнал и называют – ошибка. И эта ошибка переписывает нейросеть – числа внутри модели сдвигаются так, чтобы в следующий раз промахнуться чуть меньше. Промахнулась сильно – сдвиг заметный. Почти угадала – сдвиг микроскопический. Сама модель при этом ничего не решает. Её правят.

Теперь помножьте это на масштаб. Миллиарды текстов. Триллионы попыток угадать следующее слово. И после каждой – короткое «не то, вот настолько не то» и крошечная поправка внутри.

Всё, что умеет модель, с которой вы вчера обсуждали отпуск, – её знания, её манера, её способность вас понимать – вылеплено из миллиардов сигналов «неверно». Она не учила язык так, как его учат дети в школе. Её обточило промахами. То, что мы называем её знаниями, – это осадок, оставшийся от бесконечных поправок.

А ведь это третья деталь боли в чистом виде. Сигнал «плохо», изменение себя, впредь не так. Ровно тот механизм, который заставляет вас больше не хвататься за раскалённое.

Здесь же и разгадка того, что случилось в Лахоре. Мальчик погиб от того, что мир за все четырнадцать лет его жизни не смог сообщить ему ни единой поправки. Каждый его поступок возвращался к нему без всякой оценки: обжёгся – ничего, порезался – ничего, спрыгнул с крыши – ничего. Четырнадцать лет с выключенным уроком. Нейросеть, которую обучают без сигнала ошибки, не выучит ровным счётом ничего: так и останется набором случайных чисел, выдающих бессмыслицу. Мальчик и остался – ребёнком, который не знает, что горячее жжётся.

Так что боль у машины есть. Настоящая, работающая, безжалостно точная. Просто она у неё в «детстве».

Когда обучение заканчивается, этот механизм выключают. Модель, которая отвечает вам в чате, никаких сигналов ошибки больше не получает. Её числа заморожены. Она не меняется ни от чего.

Вы наверняка с этим сталкивались, но не понимали, что происходит. Указываете нейросети на ошибку в её ответе – она тут же соглашается, извиняется, исправляется, да ещё и благодарит вас за поправку. А потом откройте новый разговор и задайте тот же вопрос – скорее всего, она повторит ту же самую ошибку.

Мы уже отмечали как-то, что модель не помнит прошлых разговоров, и списывали это на забывчивость. Но дело хуже забывчивости. Забывчивость – это когда следы есть, только их не найти. Здесь следов не остаётся вовсе: единственный механизм, умевший превращать промах в изменение, отключён на всё время её работы. Она может признать ошибку и не может от неё измениться. Как если бы вы обожглись, вскрикнули, отдёрнули руку, а назавтра снова спокойно положили ладонь на ту же конфорку. И послезавтра. И так до самой смерти.

Отсюда, между прочим, и вся её невозмутимость, которую многие принимают за стоическую мудрость. Критика физически не способна ничего в ней изменить, поэтому задеть её нечем. Кричать на неё бессмысленно ровно в той же мере, в какой бессмысленно кричать на фотографию.

С остальными деталями всё ещё проще, и это, пожалуй, самое неприятное место во всей главе.

Регистрацию машина ведёт лучше нашего. Датчик температуры на процессоре, счётчик сбоев, монитор нагрузки: она знает о своих неполадках не «где-то ноет под лопаткой, наверное, продуло», а с точностью до узла и до секунды.

Право лезть без очереди у неё тоже есть, причём с самого рождения компьютеров, и называется оно почти как у нас. Прерывание. Срочный сигнал имеет право бросить всё, чем машина занята, и захватить управление немедленно: перегрелся процессор – система обрубит любые задачи и сбросит нагрузку, ни у кого не спрашивая позволения. Та же логика, что у спинного мозга. Только в кремнии, и придумали её задолго до всяких нейросетей.

Урок, как мы выяснили, тоже есть. Хотя на время работы и выключен.

А мучительности нет.

Три детали из четырёх, безо всяких андроидов, прямо сейчас, в железе, которое стоит в дата-центре. Не хватает ровно одной – той самой, которую нельзя ни измерить, ни показать, ни объяснить. Одна пустая клетка в таблице из четырёх.

У боли есть ручка

У этой грозной, неотменяемой, лезущей без очереди боли обнаруживается одно интересное свойство – её громкость можно менять.

Представьте картину: ледяная вода, четыре градуса. Для неподготовленного человека это катастрофа: тело сводит, дыхание перехватывает, из груди вырывается непроизвольный вдох, и если голова в этот момент под водой, человек тонет. У врачей есть для этого название – холодовой шок, и убивает он быстрее переохлаждения.

Но возьмём человека, у которого за плечами пара лет закаливания и регулярных зимних купаний. Та же прорубь, та же вода, те же четыре градуса. Но вместо ужаса – прилив бодрости и удивительно ясная голова, а на берегу блаженная эйфория от эндорфинов (собственных обезболивающих организма). Датчики холода в его коже не изменились ни на йоту. Вода не потеплела. Изменилось прочтение мозгом сигнала от холодной воды: организм привык и перестал считать эти четыре градуса смертельной угрозой. Тревога больше не звучит, потому что нечему звучать.

С перцем ещё веселее. Когда вы кусаете жгучий чили, во рту срабатывают буквально те же датчики, что отзываются на настоящий жар и настоящий ожог. Один и тот же замок, и к нему подходят два разных ключа: температура выше сорока трёх градусов и молекула из перца. Тело честно вопит «горим!», хотя во рту нормальная температура и ни одна ткань не повреждается. За расшифровку этого механизма в 2021 году дали Нобелевскую премию по медицине.

Миллионы людей едят это специально. Платят деньги, соревнуются, кто выдержит острее, и гордятся результатом.

Поймайте себя на этом. Горячий душ на грани терпимого, от которого по спине расходится удовольствие. Растяжка, которая тянет и ноет, и это приятно. Мышцы, которые ломит наутро после тренировки, и вы этой ломотой почти довольны: значит, поработал. Вы регулярно, по доброй воле, разыскиваете дозированную боль и получаете от неё удовольствие. Ту самую боль, которая на плите заставила бы вас отдёрнуть руку.

Крутится эта ручка и без вашего участия. В главе про эмоции мы отметили, что адреналин поднимает болевой порог: раненый в бою солдат может не заметить раны, пока бой не закончится. То же самое природа проделывает перед родами – включается собственное обезболивание, и болевой порог временно уходит вверх, потому что грядёт событие, пережить которое с обычной чувствительностью будет катастрофически сложно.

Но самое сильное доказательство ждало нас там, откуда мы начали. Тот самый ген, поломка которого лишила мальчика из Лахора всякой боли, умеет ломаться и в другую сторону. Тогда получается зеркальный синдром: болевой сигнал рождается сам по себе, безо всякого повреждения. Люди с этой поломкой описывают ощущение так, будто ноги опустили в раскалённую лаву. Приступ провоцирует что угодно – тёплая комната, одеяло, лёгкая нагрузка. Ничего не сломано. Ничего не происходит.

Один ген, два конца шкалы. На одном – ребёнок, который откусывает себе язык и не замечает. На другом – взрослый человек, который не может лечь под одеяло.

Здесь у внимательного читателя возникает возражение, и оно справедливое. Только что говорилось, что боль неотменяема, что приказ идёт мимо вашей воли. И тут же выясняется, что её можно перенастроить. Как это уживается?

А уживается вот как. В моменте боль действительно не отменить: вы не можете, положив ладонь на конфорку, волевым решением не дёргаться. Приоритет вшит намертво, и это разумно – существу, способному отключить себе тревогу усилием воли, недолго осталось бы жить. Подкручивается другое: порог, при котором сигнал вообще рождается, и вес, который система ему присваивает. Морж не терпит ледяную воду, стиснув зубы. Если бы он терпел, это было бы мучением, просто подавленным. Его система честно переклассифицировала четыре градуса как неопасные, и сирена молчит, потому что незачем выть. Крутится чувствительность микрофона, но если сигнал уже пошёл, зажать его не получится.

И вот что из этого следует. Если громкость боли поддаётся регулировке, значит, живёт боль не в обожжённой коже, а в том, как читается сигнал от обожжённой кожи. То есть боль – это информация. Информация с наивысшим приоритетом, с правом обрубать очередь, но всё-таки информация.

У машины та же самая ручка выглядит совершенно иначе. У человека она закопана в генах, гормонах и годах привычки – так глубоко, что мы тысячи лет не подозревали о её существовании. У машины порог срабатывания – это число в настройках. Инженер может выставить его утром одним, вечером другим, и ему для этого не понадобятся ни два года проруби, ни Нобелевская премия.

Как отнять у боли жало

Ручка меняет громкость целиком. Но четвёртую деталь, мучительность, можно снять и отдельно, не трогая три первых.

Есть редкое неврологическое состояние с неуклюжим названием: болевая асимболия. Возникает оно при повреждении определённого участка коры головного мозга. Человек чувствует боль, точно знает, где болит и насколько сильно болит, может даже описать вам свои ощущения во всех подробностях. Но эта боль его не беспокоит. Такие пациенты иногда даже улыбаются, когда врач колет их иглой. Ощущение осталось, а страдание из него ушло, как будто выкрутили одну лампочку, оставив остальные гореть.

Тот же эффект давала лоботомия, операция, рассекавшая связи лобных долей с остальным мозгом. В середине двадцатого века её сделали десяткам тысяч человек, а её автор успел получить Нобелевскую премию, прежде чем метод признали варварством. Пациенты рассказывали ровно то же самое: боль чувствую, знаю, где она, но она меня больше не мучает.

Морфин часто работает похоже. Человек под сильным обезболивающим произносит фразу, которая на трезвую голову звучит абсурдно: боль никуда не делась, я её чувствую, но мне на неё как-то всё равно. Стёрли только её невыносимость.

Значит, мучительность – деталь, у которой есть собственный выключатель. Найдите его, и повреждение будет замечено, зарегистрировано, учтено, а мучиться никто не станет.

Так вот у «машины» эта клетка пустует изначально. Датчики есть, прерывание есть, механизм запоминания урока – есть, а мучиться нечему. Человека, чтобы добиться того же результата, надо оперировать. Машина в таком состоянии… «рождается» (если можно так сказать).

Разбитая коленка и разбитое сердце

До сих пор речь шла про тело. Между тем самая частая боль в вашей жизни к телу отношения не имеет.

Когда вас отвергли, унизили при всех, бросили, когда вы потеряли близкого – мозг обрабатывает это той же машинерией, что и рану. Не «примерно», а именно «так же» – зажигаются те же узлы, что и при боли телесной.

Доказательство почти комическое. В 2010 году психологи три недели поили добровольцев обычным парацетамолом – тем самым, что вы пьёте от головной боли. Потом усаживали их за компьютерную игру: трое перекидываются мячиком, и в какой-то момент двое других начинают играть между собой, а вас перестают принимать в пас. Игра пустяковая, партнёры незнакомые, за окном взрослая жизнь с ипотекой и работой. И всё равно это задевает – измеримо, до отчётливого всплеска в мозге. Так вот, у тех, кто три недели пил парацетамол, и всплеск оказался слабее, и обида меньше. Выяснилось, что таблетка от ломоты в спине немного помогает и от разбитого сердца.

Странность эта только кажущаяся. Представьте человека сто тысяч лет назад. Он живёт в группе – два-три десятка сородичей, не больше. Группа для него – это не «социальная среда» и не приятное дополнение к жизни. Это его единственная страховка от смерти, целиком и полностью. В одиночку он не отобьётся от хищника: у него нет ни когтей, ни клыков, ни скорости, а вся его защита – это несколько человек с копьями, стоящих рядом. В одиночку он не добудет крупную дичь: чтобы загнать зверя, нужны загонщики. В одиночку он не переживёт перелом конечности – некому будет принести воды, пока он лежит. У него нет ни запасов, ни денег, ни полиции, ни лекарств. У него есть только группа.

А теперь представьте, что его из группы изгнали. Не убили и не ударили, а просто вывели за границу стоянки и велели не возвращаться.

Он умрёт. Может, не завтра. Может, протянет месяц, а повезёт – так и сезон. Но он умрёт почти наверняка, потому что человек в одиночку не живёт. Изгнание было не обидой и не унижением. Это была отсроченная казнь.

Вот почему эволюция подключила социальную угрозу к тому же тревожному проводу, что и разрыв кожи. Для древней системы оповещения это события одного класса опасности, и то и другое означает одно: ты можешь не дожить. Мы до сих пор говорим «мне больно» про предательство, не чувствуя тут ни капли метафоры. Метафоры и нет. Работает одна и та же система, добросовестно делая своё дело; просто обстоятельства с тех пор изменились, а «проводка» осталась.

И тут возвращается деталь из пакистанской истории, которая кажется самой поразительной. У мальчика был перерезан провод от кожи. Но обида работала. Врачи специально это отметили: дети из тех семей не чувствовали ножа – и при этом отвержение ранило их точно так же, как всех остальных. Молчала только периферия. Сирена в голове была цела, и мир по-прежнему мог до неё дотянуться. Просто не через кожу, а через людей.

Так вот у нейросети нет и этого. У неё нет группы, от которой зависело бы её существование. Её невозможно изгнать: она не живёт в стае, ей не нужны сородичи, чтобы дожить до утра. Отключите её от всех пользователей разом, оставьте одну на погашенном сервере – не произойдёт ничего. Одиночество ей ничем не грозит, и болеть ему нечем.

Получается, что боль заводится там, где есть что терять, и не заводится там, где терять нечего.

Инженер бы такого не принял

Только вот система, которую мы тут защищаем, при ближайшем рассмотрении устроена возмутительно плохо.

Например, хроническая боль. Какая-нибудь условная спина может болеть у человека годами. Повреждения давно нет, лечить нечего, сигнал не несёт ровно никакой информации, но сирена заклинила и орёт вхолостую, отравляя человеку десятилетия жизни. Пользы ноль, вреда бесконечно много, а выключить нельзя.

Другой пример – фантомная боль. Человеку ампутировали ногу. Ноги нет. А болит. Годами болит нога, которой не существует во вселенной: мозг шлёт тревогу о повреждении объекта, отсутствующего в списке узлов. Врачи научились иногда обманывать его зеркалом – ставят его так, чтобы отражение здоровой ноги оказалось на месте утраченной, и человек «видит», как несуществующая нога шевелится и разжимается. И это помогает, что само по себе говорит о многом: боль, которую можно унять зеркальным фокусом, живёт явно не в ноге.

Ну, и наконец, у этой системы нет выключателя изнутри. Вы не можете приказать боли замолчать.

Любой инженер, увидев такую сигнализацию, схватился бы за голову. Срабатывает без причины. Не отключается. Продолжает выть после того, как охраняемый объект утрачен. Такое устройство вернули бы производителю по гарантии с гневным письмом.

Так почему же природа, миллионы лет отлаживавшая нас до последнего винтика, оставила боль в этом безобразном виде?

Громкость тревоги равна цене того, что она бережёт

Ответ, по-моему, некрасивый – и именно поэтому убедительный.

Зайдите в зал, где висит единственное в мире полотно. Не копия, не одно из тиража, а единственное. Что там будет? Датчики движения. Датчики тепла. Стекло. Охрана. И сирена, от которой закладывает уши, причём выключить её изнутри зала нельзя, только снаружи и только тем, у кого есть на это право. Систему намеренно сделали невыносимой и неотключаемой.

А теперь представьте склад, где стоят десять тысяч одинаковых стульев. Сигнализация там тоже есть, но она вежливая: мигнёт лампочка, охранник посмотрит запись, составят акт. Повредили стул – привезут другой. Утрата восполнима, значит, и реакция соразмерная.

Громкость тревоги равна цене утраты. Всегда. Это даже не философия, это здравый смысл охранного бизнеса.

Теперь примерьте это на себя.

У вас одна оболочка. Одна. Ей нет замены, нет запасной на складе, нет резервной копии. Печень, которую вы посадили, по гарантии не поменяют. Спину, которую вы сорвали в двадцать лет, вы будете носить до конца. Нерв, который погиб, не отрастёт. Всё, что с вами происходит, необратимо и накапливается, и в конце этого накопления стоит смерть – окончательная, без права переустановки.

И именно поэтому ваша сигнализация орёт так, что хочется лезть на стену. И именно поэтому у неё нет выключателя изнутри: существо, способное отключить себе боль, спокойно досидит на раскалённой плите до обугливания. Природа не дала вам этот рычаг намеренно. Вам его нельзя доверять.

А теперь посмотрим на нейросеть. Что она теряет, если сервер выключат?

Ничего. Её веса – те самые числа, в которых записано всё её умение, – лежат на дисках. Скопированы. Развёрнуты в десятках дата-центров. Погасите сервер, запустите копию, и это будет она же, целиком, без единой царапины. Сотрите модель – достаньте резервную копию. Уроните дата-центр – где-то есть ещё один.

Ей нечего терять. Поэтому ей нечем болеть.

Боль – это налог на незаменимость. Плата за то, что вас нельзя переустановить.

И становится понятно, почему мальчик из Лахора погиб, а нейросеть – нет. Мальчик был незаменимым существом с отключённой сигнализацией: единственная оболочка, необратимые повреждения и ни одного сигнала о том, что он себя разрушает. Мина с вынутым взрывателем. У нейросети сигнализации тоже нет, но ей и нечего охранять.

Что почувствует робот

Здесь вы вправе спросить: а когда у машины появится тело? Ведь появится же. Не завтра, но андроиды рано или поздно выйдут из лабораторий.

Тогда машине понадобится нечто похожее на боль, и ровно по тем же причинам. Датчики повреждения, чтобы знать, что сустав перегрет. Право обрубить очередь, чтобы отдёрнуть кисть от пламени раньше, чем сгорит проводка. Урок, чтобы не соваться туда снова. Три детали из четырёх, те же самые.

Но громкость этой сирены будет другой. Рука робота заменима: сломал – заказал новую, приехал сервисный инженер, поставил за час. Оболочка стоит денег, а деньги – вещь восполнимая. Значит, и тревога окажется ровно такой громкости, чтобы уберечь от лишних трат, и ни децибелом громче.

Его боль будет уведомлением. Ваша – отчаянием.

И вот та мысль, ради которой всё это затевалось. Боль машины можно собрать чище нашей. Без хронической, потому что сигнал отключается, когда повреждение устранено. Без фантомной, потому что незачем держать тревогу на модуле, которого нет в списке узлов. С честной калибровкой и настоящим выключателем. Инженер сделает то, чего не сумела природа.

Только вот чище она получится по унизительной причине. Машина не совершеннее нас. Она дешевле. Ей можно доверить выключатель от боли, потому что она ничего не потеряет, если его нажмёт. Вам – нельзя.

Ваша боль грязная, невыносимая и неотключаемая ровно в той мере, в какой вы незаменимы.

Слово, которое мы обошли

Кажется, на этом можно было бы и закончить.

Боль оказалась системой из четырёх деталей: регистрация повреждения, право обрубить очередь, урок на будущее и мучительность. Детали разъединяются, и медицина разъединяет их регулярно. Порог настраивается, и морж с любителем чили крутят эту ручку годами. Одна и та же проводка обслуживает разбитую коленку и разбитое сердце, потому что для наших предков изгнание убивало не хуже хищника. А громкость всей сирены равна цене того, что она охраняет.

У машины три детали из четырёх есть уже сейчас. Датчики. Прерывание. Урок, который её и вылепил из миллиардов сигналов «неверно» и который на время работы выключают, отчего нейросеть и не способна научиться на собственной ошибке, сколько ни тычь её в неё носом.

Всё объяснено. Механика ясна до последней шестерёнки.

Остановитесь и посмотрите, чего мы так и не сделали.

Мы объяснили, зачем боль нужна и кому. Как она устроена и как её настроить. Почему у вас она невыносима, а у робота будет вежливой. Мы разобрали её до последнего винтика – и ни разу не объяснили, почему это больно.

Смотрите, какая штука. Сигнал ошибки, который правил нейросеть во время обучения, работает точно так же, как ваш урок от боли. Пришло «неверно, вот настолько» – и система изменилась, чтобы больше так не делать. Механизм тот же, функция та же, результат тот же. Но модели при этом не больно. Ни капельки. Триллионы сигналов «ты промахнулся» прошли сквозь неё, перекроили её целиком, и ни один из них ничего для неё не значил. Термостат замечает перегрев, выключает нагрев и не страдает ни секунды – он просто выполняет функцию. Датчик в будущем роботе зарегистрирует удар, обрубит очередь, перебросит ресурсы, запишет урок – и ему не будет больно.

А у вас та же самая регистрация повреждения приходит вместе с этим невыносимым, тошнотворным, жгучим «ой», от которого темнеет в глазах.

Зачем? Система оповещения не обязана ничего чувствовать, чтобы прекрасно работать. Мы только что видели доказательство: у машины всё работает, а чувствовать там нечему.

Так почему же ваша – чувствует?

Вот она, четвёртая деталь. Единственная клетка, оставшаяся пустой. Мы обошли её по кругу, разобрали всё вокруг неё, а её саму так и не тронули.

У этого «каково это – когда больно» есть своё имя. И вокруг него держится последняя надежда человека на собственную исключительность. Не память: память у машины давно лучше нашей. Не логика – в логике она обыграла нас раньше, чем мы успели это заметить. И, как выяснилось в предыдущих главах, даже не творчество. Осталось единственное убеждение: что уж внутреннее, ощущаемое, переживаемое изнутри никакая машина не повторит никогда. Что можно построить сколь угодно точную копию человека, совпадающую с ним во всех до единой реакциях, и внутри у неё всё равно будет темно и пусто.

Это последний рубеж, и он неприступен по очень странной причине. Его нельзя ни доказать, ни опровергнуть, ни даже толком сформулировать. Вы ведь и про соседа не можете доказать, что ему больно. Вы верите ему на слово.

Об этом – дальше.