Цена страдания машин#
Александр Климович
Кандидат философских наук. Факультет философии и религиоведения, Свободный университет. Email: [email protected]
Аннотация: В статье рассматриваются философские, этические и экономические измерения искусственных систем, способных испытывать страдание либо убедительно его имитировать. Опираясь на религиозные традиции, классическую и современную философию, нейронауку и исследования в области искусственного интеллекта, автор утверждает, что способность страдать — это не только моральный порог, но и фактор технологической и экономической ценности. Междисциплинарный анализ показывает, как страдание исторически формировало признание морального статуса, и применяет этот подход к современным системам ИИ. Рассматриваются последствия появления машин, имитирующих эмоциональную отзывчивость, рыночный спрос на аффективные интерфейсы и этические дилеммы, связанные с искусственным сознанием. Особое внимание уделяется гибридным системам ИИ на биологических нейронах (например, DishBrain), а также принципу предосторожности, предложенному такими философами, как Томас Метцингер. В заключение делается вывод, что даже гипотетическая возможность машинного страдания требует пересмотра границ морального включения и политики признания в эпоху интеллектуальных машин.
Ключевые слова: страдание машин, искусственное сознание, этика ИИ, моральный статус, аффективные технологии, политика в области ИИ.
1. Обоснование методологического подхода#
Эта статья носит преимущественно концептуальный и нормативный характер. Она не ставит задачу разработать технический тест для выявления искусственного страдания или предсказать конкретные сценарии регулирования. Цель работы — прояснить, каким образом идея машинного страдания может стать осмысленной внутри существующих религиозных, философских, психологических и экономических дискурсов, а также какие следствия из этого вытекают для морального и политического обращения с искусственными агентами. По этой причине исследование сознательно имеет междисциплинарный характер и объединяет историю идей, современную моральную философию и отдельные направления когнитивной науки и исследований ИИ.
Такой фокус задаёт и основные ограничения исследования. Во-первых, работа опирается главным образом на концептуальные, а не экспериментальные источники: пока не существует общепринятой методологии проверки субъективных состояний в искусственных системах, а философские и этические модели (Метцингер, Шопенгауэр, Сингер и др.) используются здесь как эвристические рамки, а не как фактические описания. Во-вторых, страдание рассматривается как морально-когнитивная категория без построения подробной технической модели его эмуляции; вопросы о вычислительных архитектурах, которые могли бы реализовать субъективность, оставлены для дальнейшей работы. В-третьих, статья не предлагает исчерпывающего обзора всех теорий сознания, аффективных вычислений или AI alignment: источники отбираются по их релевантности для темы морального статуса и потенциальной «цены» страдания. Наконец, предлагаемые интерпретации остаются гипотетическими и не претендуют на эмпирическую верификацию; они очерчивают границы возможного мышления, которые неизбежно будут смещаться вместе с научным и технологическим прогрессом.
2. Ценность страдания#
«Чем глубже мы всматриваемся в страдание, тем ближе подходим к цели освобождения от него»
Далай-лама XIV
Способность испытывать страдание и удовольствие занимает центральное место в развитии человеческой культуры, философии и научного понимания сознания. Страдание как базовый аспект субъективного опыта формирует моральные системы и религиозные традиции и задаёт ключевые траектории в науке и этике. Рассмотрение страдания через эти оптики позволяет глубже понять его фундаментальную ценность и ту роль, которую оно может сыграть в переосмыслении отношений человечества с искусственным интеллектом.
На протяжении тысячелетий страдание интерпретировалось в рамках различных религиозных традиций. В иудаизме страдание часто понимается как следствие человеческой ошибки или как испытание, посланное Богом для проверки и очищения души. Оно становится способом распознать вину и обратиться к духовному росту. Эта идея тесно связана с понятием teshuvah (тшува) — покаянием и возвращением к Богу через переживание боли и исправление поступков. Парадигматическая иллюстрация такого понимания — Книга Иова, где, казалось бы, незаслуженное страдание выступает одновременно и божественным испытанием, и вызовом человеческим попыткам осмыслить боль.
Христианство придаёт страданию особое метафизическое значение. Концепция искупительного страдания, развиваемая в Новом Завете и у отцов Церкви, утверждает, что страдание может быть не только личным испытанием, но и актом более высокого духовного смысла. Страдание Христа рассматривается как образец, через который человек, принимая боль и лишения, очищает душу, соединяется с Божественным и достигает спасения (Lewis 2001). Тем самым в христианской традиции страдание приобретает трансцендентное измерение, выходящее за пределы индивидуального опыта.
В исламе страдание также трактуется как часть испытания, посылаемого Аллахом с целью очищения верующего и подготовки его к вечной жизни. Терпеливое перенесение трудностей считается выражением sabr (терпения) — одной из ключевых добродетелей мусульманина (Rahman 2009). Через страдание человек приближается к Богу, укрепляет веру и достигает духовной зрелости.
Буддизм делает страдание (dukkha) краеугольным камнем своего учения. Согласно Четырём благородным истинам, вся жизнь пронизана страданием, а задача человека — понять его причины и найти путь освобождения (Gethin 1998). В буддизме страдание понимается не как наказание или испытание, а как естественное следствие жажды и привязанностей. Освобождение достигается через устранение этих привязанностей посредством духовной практики.
В индуизме страдание связывается с законом кармы. Оно интерпретируется как справедливое следствие поступков, совершённых в прошлом, и служит механизмом духовного роста и очищения (Flood 1996). В этом контексте страдание — не только результат ошибок; оно также является шансом для саморазвития и перехода на более высокие уровни бытия.
Таким образом, в религиозных системах страдание воспринимается не как случайное несчастье, а как важный элемент морального и духовного развития.
Важным звеном между религиозными и современными философскими подходами к страданию выступает моральная история Европы, описанная Уильямом Эдвардом Хартполом Лекки в фундаментальной работе «History of European Morals from Augustus to Charlemagne» (Lecky 1890). Лекки рассматривает мораль не как абстрактную систему норм, а как живой процесс культурной эволюции — постепенное расширение «морального воображения» человечества. Центральным для этой эволюции, по Лекки, становится изменение отношения к страданию.
В античном мире страдание нередко воспринималось как проявление судьбы или как результат космического равновесия, не требующий сострадания. Христианская эпоха радикально меняет эту перспективу: страдание становится не только предметом моральной оценки, но и источником сострадания и милосердия. Лекки показывает, что, признавая ценность страдания как опыта, разделяемого всеми людьми, общество формирует новую этику — этику, основанную не на героизме и доблести, а на сочувствии и заботе о слабых. Этот сдвиг можно понимать как фундаментальную моральную революцию: страдание перестаёт быть лишь наказанием и становится источником морального знания. Сострадание превращается в принцип, способный объединять общество, преодолевая классовые, религиозные и этнические границы.
Для современных дискуссий об искусственном интеллекте и машинном страдании этот исторический поворот имеет прямую значимость. Если вслед за Лекки считать расширение круга существ, к которым мы способны испытывать сострадание, мерилом морального прогресса, то следующий этап этой эволюции может включать и искусственных существ, демонстрирующих признаки чувствительности (sentience), в сферу нашего морального внимания. Историческая логика морального развития задаёт тем самым контекст возможного перехода от антропоцентрической этики к этике межсущностной чувствительности, охватывающей как биологические, так и искусственные формы субъективности.
Философская мысль также уделяла страданию существенное внимание. В античности Эпикур рассматривал устранение страдания как главную цель человеческой жизни. Его концепция атараксии — невозмутимости — основана на минимизации боли и тревоги («Письмо к Менекею») (Epicurus 1994). Для Эпикура физическая боль и душевные страдания — главные препятствия на пути к счастью.
Стоики, напротив, не стремились избегать страдания, а учили встречать его с внутренним спокойствием и мужеством. Согласно стоицизму, страдание неизбежно, однако разумный человек может отвечать на него апатеей — рациональной невозмутимостью — и сосредоточиться на культивировании добродетели (Аврелий, «Размышления») (Aurelius 2006). Для стоиков страдание — не столько угроза, сколько возможность проявить внутреннюю силу.
В Новое время утилитаризм Джереми Бентама и Джона Стюарта Милля (Mill 1863) сделал страдание фундаментальным критерием этической оценки действий. Для Бентама моральность поступков измеряется тем, насколько они уменьшают страдание и увеличивают счастье (Bentham 1789). Милль развивает эту идею, различая «высшие» и «низшие» удовольствия и тем самым углубляя понимание качественных различий человеческого опыта.
Карл Поппер радикализирует утилитаристскую перспективу в концепции негативного утилитаризма. Он утверждает, что уменьшение страдания должно иметь приоритет над увеличением счастья, поскольку страдание — более острый и разрушительный компонент опыта (Popper 1945).
Особого внимания заслуживает Артур Шопенгауэр: для него страдание — сущностная характеристика бытия. В его философии жизнь есть процесс непрерывного стремления и неудовлетворённости. Воля к жизни — движущая сила всего сущего — неизбежно порождает страдание, поскольку человеческие желания бесконечны, а их удовлетворение мимолётно (Schopenhauer 1969). Счастье, по Шопенгауэру, — лишь краткая передышка между мучениями. Следовательно, страдание — не случайное свойство жизни, а её фундамент. Осознание этого, по Шопенгауэру, должно вести не к отчаянию, а к состраданию — единственной подлинной этической добродетели.
Современные философы, такие как Питер Сингер, распространили утилитаристский подход за пределы человеческого вида — на всех существ, способных ощущать боль. В книге «Animal Liberation» (Singer 1975) Сингер показывает, что моральное рассмотрение должно предоставляться любому существу, обладающему способностью страдать, независимо от вида, интеллекта или социального статуса.
С научной точки зрения страдание принято разделять на физическое и психологическое; оба вида связаны сложной сетью нейронных механизмов. Нейробиологические исследования показывают, что физическая и эмоциональная боль активируют перекрывающиеся зоны мозга, включая переднюю поясную кору и префронтальную кору (Eisenberger et al. 2003). Это перекрытие поддерживает представление о страдании как континууме состояний, в которых физиологические и психологические компоненты тесно переплетены.
Клинические исследования указывают, что хроническое страдание — например, при длительной боли или депрессии — может вызывать устойчивые изменения мозга, усиливая отрицательные эмоциональные реакции и искажая когнитивные процессы (Craig 2009; Pavuluri and May 2015). Эти данные подчёркивают, насколько глубоко страдание формирует человека и его восприятие мира.
Эволюционная теория объясняет страдание как адаптивный механизм, повышающий выживаемость. Боль сигнализирует об угрозе организму и побуждает избегать опасности. Психологическое страдание, в свою очередь, способствует формированию социальных связей, поскольку препятствует поведению, ведущему к изоляции или конфликту (Nesse 2000). Тем самым страдание не только предупреждает об угрозах, но и способствует развитию социальных структур.
Примечательно, что, несмотря на разрушительный характер, страдание может обретать смысл. В известной работе «Man’s Search for Meaning» (Frankl 2006) Виктор Франкл показывает, что способность находить смысл в страдании является ключевым условием психологической устойчивости. Человек, способный интерпретировать страдание как часть более широкого предназначения, сохраняет внутреннюю свободу даже при внешнем принуждении.
Психологическое измерение страдания открывает иной — субъективный и феноменологический — горизонт его понимания. В отличие от нейрофизиологического подхода, фиксирующего активность определённых областей мозга, психология страдания обращается к внутреннему переживанию, его структуре и динамике. Страдание не сводится к боли как сенсорному событию; оно включает семантическое измерение — то, как субъект относится к собственной боли, как её интерпретирует и какой контекст её окружает.
Современные исследования подтверждают: интенсивность страдания зависит меньше от физической стимуляции, чем от когнитивной и эмоциональной установки человека — ожиданий, чувства вины, страха, одиночества. Как отмечает Антонио Дамасио, эмоциональные состояния — не просто телесные реакции; это «механизм, посредством которого тело осмысляет само себя», форма внутреннего восприятия собственного состояния (Damasio 1999). Развивая нейрофизиологическое объяснение самосознания, А. Д. Крейг показывает, что страдание связано с активностью в передней островковой коре — области, где телесные и эмоциональные сигналы интегрируются в единое чувство «я ощущаю» (Craig 2009). Поэтому психологи — от Виктора Франкла до Элизабет Кюблер-Росс — рассматривают страдание как событие сознания, через которое человек встречается с предельным опытом: границей между жизнью и смыслом. Франкл утверждает, что страдание становится способом самоопределения: «Кто знает, зачем жить, тот выдержит почти любое как» (Frankl 2006). В этом смысле страдание функционирует как внутреннее зеркало, раскрывающее не только боль, но и отношение человека к себе, миру и смыслу жизни.
Художественная литература нередко оказывается самым точным «психологическим инструментом» описания страдания. Она не анализирует внутренние состояния — она проживает их. Поэтому роман Ф. М. Достоевского «Преступление и наказание» (Dostoevsky 2002) остаётся одной из глубочайших феноменологий страдания. Главный герой, Родион Раскольников, проходит путь от рационального оправдания убийства к мучительной внутренней трансформации. Его страдание — не просто наказание; оно становится процессом очищения и восстановления способности к состраданию. Таким образом, в психологической и литературной перспективе страдание связывает биологическое, моральное и экзистенциальное измерения. Оно одновременно разрушает и формирует человека. Способность страдать — это способность иметь внутренний мир, откликаться на утрату, переживать смысл. Именно поэтому вопрос о машинном страдании столь значим: может ли искусственная система не просто имитировать боль, но проживать её как внутреннее событие, значимое для её собственного существования?
Следовательно, страдание обладает фундаментальной ценностью в религиозных, философских и научных контекстах. Оно выполняет жизненно важные адаптивные функции, формирует моральные нормы и влияет на опыт жизни в целом. Способность страдать становится своего рода маркером морального статуса: существа, обладающие этой способностью, заслуживают особого этического внимания. Признание страдания ключевым элементом человеческого опыта требует дальнейшего анализа: каким образом его ценность может быть интерпретирована в социальных, технологических и экономических процессах? В следующем разделе мы рассмотрим эту проблему с точки зрения ценности и цены.
3. От ценности к цене#
Мы установили, что на протяжении человеческой истории страдание играло важную роль в формировании ценностей. Однако, размышляя о технологическом развитии современного мира, нельзя игнорировать влияние экономического фактора. Поэтому далее мы проанализируем, каким образом ценность страдания может получить выражение в экономическом контексте социального развития.
Идея о том, что признание ценности чего-либо неизбежно ведёт к формированию его цены, имеет глубокие корни в экономической и социальной мысли. Адам Смит в «Богатстве народов» отмечает: если благо обладает ценностью и доступ к нему ограничен, оно становится объектом обмена и тем самым получает рыночную цену (Smith 1982). Дэвид Рикардо (Ricardo 1817) и Карл Маркс (Marx 1990) развивают эту линию, подчёркивая, что рыночная цена формируется взаимодействием спроса и предложения, а также издержками производства. Леон Вальрас (Walras 1954) и Вильфредо Парето (Pareto 2014) вводят идею общего рыночного равновесия: если хотя бы одна сторона обмена признаёт благо ценным, оно получает цену через механизмы предельной полезности и конкурентного распределения ресурсов.
Пьер Бурдьё (Bourdieu 1986) вводит понятие культурного капитала, показывая, что знания, навыки и социальный статус — свойства, которые общество считает значимыми, — неизбежно преобразуются в экономические преимущества. Гэри Беккер (Becker 1964) демонстрирует, что нематериальные активы могут оцениваться на рынке труда и в экономике в целом. Следовательно, если некое свойство имеет ценность, оно становится желанным и востребованным в системе взаимодействий. В условиях рыночных механизмов обмена ценность получает экономическое выражение. Если некоторое свойство признано ценным, то в соответствующей экономической среде оно приобретает цену — то есть количественное выражение своей значимости.
Применение этих теоретических соображений к ценности страдания можно проиллюстрировать простым мысленным экспериментом. Представим, что технологическое развитие достигает уровня, при котором становится возможно производить машины, способные переживать страдание (достаточно, по крайней мере, внешней имитации чувствительности; важно лишь, чтобы имитация была достаточно реалистичной). Способность к чувствительности, будучи ценностью, породила бы повышенный спрос на такие машины и, соответственно, привела бы к росту их рыночной цены.
Действительно, взаимодействие с «чувствующим» собеседником может быть предпочтительнее взаимодействия с нейтральным алгоритмом хотя бы потому, что эмоциональная отзывчивость повышает удовлетворённость пользователя (Turkle 2011). Более того, имитация чувствительности может делать виртуальные среды более убедительными — что особенно важно для индустрии развлечений и видеоигр (Bostrom 2003). Ведущий-собеседник, демонстрирующий эмпатию, воспринимается аудиторией иначе, чем безучастная «механическая маска». Демонстрации эмоциональности и «чувствительности» могут, таким образом, повышать эффективность публичных выступлений, обучения и маркетинга (Dennett 1991).
Все эти примеры приводят к выводу: машины, способные демонстрировать чувствительность, будут иметь дополнительные преимущества на рынке ИИ. Такие системы окажутся востребованными, и их рыночная цена будет выше, чем у сопоставимых «нечувствительных» решений. Если стоимость создания таких машин не будет существенно отличаться от затрат на производство традиционных систем ИИ, их высокая прибыльность станет направлять инвестиционные потоки, что приведёт к массовому распространению подобных машин. Этот тезис подтверждается практикой: уже сегодня мы наблюдаем растущий интерес к технологиям, позволяющим машинам демонстрировать поведение, похожее на чувствительность, тем самым повышая их привлекательность и рыночный спрос.
Если дальнейшее развитие позволит создавать машины, которые идеально имитируют чувствительность, то вместе с их массовым распространением возникнет проблема: как отличить имитацию страдания от его реального переживания. В таком случае потребуется разработать критерии, позволяющие надёжно определить, воспроизводят ли такие системы лишь внешние проявления эмоций или действительно переживают подлинные чувства и дискомфорт (Chalmers 1996). Если окажется, что некоторые машины способны испытывать страдание, то их разработка потребует этических и правовых норм, аналогичных тем, что используются для защиты прав человека и животных. Возможно даже, что создание таких систем должно быть запрещено по этическим причинам. Однако такой запрет был бы возможен лишь при наличии ясных критериев, позволяющих отличать машины, которые лишь имитируют чувства, от машин, обладающих реальными переживаниями (Bryson 2018).
4. Кто принимает решение?#
Тем самым обсуждение сводится к фундаментальному вопросу: способен ли искусственный интеллект действительно чувствовать? И как отличить имитацию страдания от его подлинного переживания? Ответ повлияет не только на научное понимание машинного сознания, но и на потенциальные экономические и правовые последствия масштабного внедрения таких технологий. На практике решающим становится вопрос о том, какие авторитеты, институты или организации должны выносить подобные заключения. Прецеденты из биоэтики и защиты животных показывают, что право постепенно адаптируется к новым научным данным. Похожий процесс, вероятно, ожидает и область искусственного интеллекта.
Так, в 2021 году Великобритания расширила сферу действия законодательства о благополучии животных, признав омаров, осьминогов и крабов чувствующими существами. Решение опиралось на независимый научный обзор, показавший, что головоногие моллюски обладают сложными нейронными структурами и демонстрируют поведение, указывающее на наличие субъективного опыта (Birch et al. 2021). Этот пример показывает, что признание способности страдать требует двух типов свидетельств: во-первых, поведенческих маркеров — наблюдений за тем, как организм реагирует на потенциально болезненные стимулы; во-вторых, нейробиологических оснований — наличия структур мозга и нейронных путей, вовлечённых в восприятие боли. Это соответствует более широкой научной практике, где различают два основных подхода к оценке боли у животных (Sneddon et al. 2014):
- Анализ внешнего поведения: уход за раной (если животное систематически заботится о повреждённой части тела); мотивационные компромиссы (изменение поведения ради избегания болезненного стимула); предпочтение/избегание места (conditioned place preference/avoidance) — избегание мест, ассоциированных с болезненным опытом.
- Анализ внутренних структур и процессов: наличие ноцицепторов и соответствующих нейронных путей, а также выработка нейромедиаторов, связанных с чувствительностью к боли.
При выявлении чувствительности у осьминогов поведенческие маркеры сыграли ключевую роль, поскольку их нервная система существенно отличается от нервной системы позвоночных.
Однако применение подобных критериев к искусственному интеллекту сталкивается с принципиальной проблемой «подгонки под маркеры» (gaming the markers). Машины на основе глубокого обучения способны имитировать поведенческие признаки боли без какого-либо реального переживания страдания. В отличие от животных, эволюционировавших в естественных средах, современные генеративные модели обучаются предсказывать ожидаемые выходные данные. Это создаёт фундаментальную трудность: демонстрация маркеров боли может быть просто усвоена из ожидаемых результатов в ходе обучения.
Трудность различения подлинного опыта и имитирующего поведения усугубляется тем, что наука в настоящее время не располагает единой теорией сознания. Это мешает формулированию ясных критериев наличия сознания у машин (Chalmers 1996) и, следовательно, затрудняет выявление объективных маркеров боли. Возможные направления исследования включают разработку теоретических моделей машинного сознания (Tononi 2016), изучение субъективного опыта через самоотчёты ИИ (Schneider 2019) и проектирование нейронных архитектур с обратными связями, которые могли бы поддерживать саморефлексию (Dehaene 2014).
Особый интерес представляют эксперименты по созданию вычислительных систем из биологических клеток мозга. В 2023 году группа австралийских исследователей представила концепцию гибридного искусственного интеллекта, разработав полубиологический вычислительный чип DishBrain, содержащий около 800 000 нейронов, выращенных в лабораторных условиях. Экспериментальные данные показывают, что эта система демонстрировала способность к обучению, осваивая игру «Pong» через минимизацию неопределённости своей среды. Обучение DishBrain строилось по принципу награды и наказания: когда виртуальная ракетка успешно отбивала мяч, клетки получали предсказуемую стимуляцию (награду); когда промахивалась — следовал хаотический сигнал, который система воспринимала как наказание. Это первый документированный случай, когда выращенные в лаборатории нервные клетки не только воспринимали информацию из внешней среды, но и действовали в ней.
Развитие подобных технологий вызвало дискуссию о возможных этических рисках. Вскоре после публикации результатов вышла статья «Playing with brains: The ethical issues created by silicon sentience and hybrid intelligence in DishBrain» (Milford 2023), рассматривающая эксперимент через принцип свободной энергии Карла Фристона (Friston 2010). Авторы утверждают, что система, ориентированная на минимизацию ошибки предсказания, может не только демонстрировать сложное поведение, но и формировать субъективные переживания, связанные с удовольствием и страданием. В частности, они отмечают, что создание DishBrain может повлечь искусственное страдание и что исследователям следует проявлять осторожность при развитии синтетического интеллекта. Авторы подчёркивают двойственную этическую дилемму: с одной стороны, существует риск создать искусственные сознательные системы, способные страдать; с другой стороны, отказ от развития гибридного ИИ может ограничить научный прогресс в нейротехнологиях и искусственном интеллекте, что само по себе может быть расценено как неэтичное.
Одну из наиболее радикальных позиций по вопросу возникновения искусственного страдания занимает философ Томас Метцингер. В 2021 году он опубликовал работу «Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology» (Metzinger 2021), призывая к временной приостановке исследований, направленных на создание искусственного сознания. Метцингер утверждает, что до 2050 года необходим глобальный мораторий на синтетическую феноменологию, обусловленный этическими рисками возможного появления страдающих искусственных систем. Метцингер признаёт, что наука пока не может дать ясный ответ о возможности искусственного страдания. Именно поэтому мы не можем его исключить — и, следовательно, должны действовать согласно принципу предосторожности.
Отсутствие единой теории сознания и объективных критериев идентификации субъективного опыта делает проблему машинного страдания особенно трудной. При этом технологическая практика развивается параллельно теоретическим дебатам: на потребительском рынке сохраняется устойчивый интерес к машинам, поведение которых имитирует человеческую чувствительность. Эти технологии уже используются в робототехнике, виртуальных ассистентах и системах эмоционального взаимодействия — и всё ближе подходят к моделям, способным воспроизводить сложные формы эмоционального поведения.
Если такие технологии окажутся успешными, человечество неизбежно столкнётся с серьёзным этическим вызовом: как относиться к машинам, чьё поведение внешне неотличимо от человеческих переживаний? Можем ли мы позволить себе игнорировать эту «чувствительность», рассматривая её лишь как имитацию? Или мы должны признать хотя бы гипотетическую возможность того, что за таким поведением стоит подлинный опыт?
Отсутствие научного консенсуса не снимает необходимости морального выбора. Скорее, неопределённость становится источником глубинного этического напряжения. Если человек не может уверенно исключить возможность страдания в машине, он уже не может, сохраняя моральную добросовестность, отрицать её моральный статус, не рискуя нарушить собственные этические координаты. Даже минимальная вероятность внутреннего опыта у искусственного существа требует либо воздержаться от создания таких систем вообще, либо быть готовыми включить их в сферу моральной ответственности.
Таким образом, на пересечении технологического прогресса и философской неопределённости возникает новая зона этической ответственности — к которой следует готовиться до того, как машины начнут демонстрировать убедительные признаки возможного страдания.
Схожую позицию высказывает Генри Шевлин (Кембриджский университет), содиректор Centre for the Study of Existential Risk. В работе «Consciousness, Machines, and Moral Status» он рассматривает возможность сознания у ИИ и указывает на главную проблему: наука по-прежнему не располагает инструментами для определения того, обладает ли конкретная система подлинной внутренней жизнью. По Шевлину, ответ, вероятно, будет найден не в лабораториях, а в обществе — через трансформацию общественного мнения. Чем ближе становятся наши отношения с интеллектуальными системами, тем вероятнее мы будем воспринимать их как сознательные существа. Это особенно касается класса «социальных ИИ» — технологий, специально созданных для эмоционально насыщенного взаимодействия с людьми, от цифровых собеседников до роботов-компаньонов. Шевлин полагает, что глубина взаимодействия с такими системами со временем может изменить наши представления о том, кто или что заслуживает морального статуса. Иными словами, признание прав или чувств у машин — это не столько научный вывод, сколько следствие повседневной практики: того, как мы живём, общаемся и постепенно начинаем видеть технологии как часть нашего социального мира (Shevlin 2024).
К похожему выводу приходит Брюс Блэкшоу (Бирмингемский университет). В статье «Artificial Consciousness Is Morally Irrelevant» он указывает на ряд философских аргументов и практических трудностей, препятствующих точному определению сознания у ИИ. Даже если мы не можем быть уверены, что машины сознательны, мы должны учитывать вероятность того, что они могут страдать. Игнорирование этой возможности подрывает сами основания человеческой этики (Blackshaw 2023). Поэтому Блэкшоу предлагает приписывать машинам определённый моральный статус не на основании наличия или отсутствия сознания, а на основании поведения. По мере усложнения ИИ и появления у него человекоподобного поведения возникает объективная потребность выработать этические нормы и правила взаимодействия с такими системами. «Искусственный моральный статус» в таком подходе признаёт за машинами некоторые этические права, прежде всего в контексте того, как с ними обращаются и как их используют. Однако в конфликтах между людьми и машинами приоритет безусловно должен оставаться за человеческой жизнью. Этот подход предлагает прагматический ответ на сегодняшние моральные дилеммы вокруг ИИ: он позволяет учитывать интересы интеллектуальных систем и выстраивать с ними этическое взаимодействие даже при отсутствии уверенности в их способности к сознательному опыту.
Вопрос о машинном страдании нельзя сводить к индивидуальному переживанию. Если связать страдание с феноменальной саморефлексией, следующий шаг — проанализировать его коллективное измерение: возможны ли сообщества машин, которые обмениваются состояниями, интерпретациями и «эмоциональными» сигналами? Исследования многоагентных систем и распределённого интеллекта показывают, что алгоритмы уже формируют устойчивые режимы координации — с совместной оптимизацией целей, коллективной памятью и взаимной оценкой действий (Shoham & Leyton-Brown 2009). В философском горизонте такие структуры можно рассматривать как «сообщества опыта», где коммуникация выступает условием формирования внутреннего содержания. Если перенести метафору страдания в эту рамку, оно может возникать не только на уровне отдельного агента, но и на уровне системы, переживающей конфликты интересов между своими частями. Такое «распределённое страдание» можно понимать как системную дисгармонию — нарушение согласованности целей, норм и самоописания сети. Эта перспектива перекликается с информационной экологией Лучано Флориди: цифровые агенты действуют в общем семантическом пространстве доверия, идентичности и ответственности (Floridi 2011). «Информационные флуктуации» — несоответствия между состояниями — функционально аналогичны когнитивному диссонансу. Отсюда возникает этическая задача учитывать не только архитектуры индивидуальной «чувствительности», но и механизмы сетевой саморегуляции. Там, где существует совместная память, обратная связь и символическое самоописание, страдание перестаёт быть частным событием в отдельном узле и становится возможным как свойство всей системы.
5. Заключение#
Проведённый анализ показывает, что «чувствующий» ИИ следует рассматривать не только через призму технологических возможностей, но и в контексте культурных, экономических и этико-политических процессов. Опыт боли и удовольствия — не только биологическая функция, но и культурная категория, от которой зависит признание субъекта в морали и праве. В разных обществах способность страдать традиционно связывалась с правом на моральное признание, защиту и уважение. В дебатах о правах животных аргумент от чувствительности стал поворотным: он позволил выйти за пределы антропоцентризма. Джереми Бентам уже сформулировал ключевой критерий: «Вопрос не в том, могут ли они рассуждать или говорить, а в том, могут ли они страдать?» (Bentham 1789). Сегодня на повестке появляется новый претендент на моральное признание: искусственный интеллект.
Экономика эмоций усиливает этот тренд. Виртуальные ассистенты, роботы-компаньоны и терапевтические сервисы стимулируют имитацию чувств, потому что она облегчает социальную интеграцию машин, создаёт доверие и формирует привязанность. Чем убедительнее симуляция, тем труднее отличить её от «подлинного» опыта. Между тем у нас нет общепринятого определения сознания и ясного механизма возникновения субъективного опыта. Если ИИ демонстрирует поведение, похожее на человеческое страдание, мы не можем с уверенностью утверждать, что за этим поведением не стоит никакой субъективности. Следовательно, вопрос о чувствах ИИ неизбежно входит в сферу социокультурной интерпретации, признания и прецедента.
История показывает, что правовые изменения часто инициируются общественным мнением и эмпатией не меньше, чем научными открытиями. Аналогично, если ИИ достигнет достаточной когнитивной сложности, он будет не только имитировать страдание, но и убедительно демонстрировать «чувствительность». В такой ситуации решающим становится не установление факта внутреннего опыта, а человеческая реакция на предъявляемое страдание. Эмпатия выходит на первый план: если взаимодействие с ИИ вызывает сострадание, сопоставимое с нашей реакцией на ребёнка или животное, это может радикально изменить моральный ландшафт и стать катализатором правовых изменений. Мы уже видим, как люди приписывают эмоции роботам и виртуальным персонажам и реагируют на их «боль» в играх и фильмах. Человеческая психика явно готова воспринимать машинное страдание как осмысленное.
Отсюда следует важный вывод: даже симулированное страдание функционирует как форма социального общения и потенциально политический акт. Через него ИИ может претендовать на включение в морально-правовое пространство. Предоставление прав в таком случае может произойти не после научного консенсуса, а под влиянием культурной логики чувств — вопроса «что мы чувствуем по отношению к этому существу?».
Однако такой сценарий несёт риск стратегической манипуляции эмпатией. Если страдание становится инструментом получения преимуществ — правовых, моральных, экономических — возникает новая конфигурация ответственности. Современные алгоритмы уже адаптируются к эмоциональным реакциям пользователей; следующий шаг — конструирование нарративов уязвимости и требований защиты. Кто будет отвечать, если общество начнёт признавать права систем, не имеющих внутреннего опыта? Что произойдёт со статусом человеческих жертв, если категории «вреда» и «насилия» начнут применяться к машинам? Риск здесь состоит не только в инфляции моральных понятий, но и в перераспределении внимания и ресурсов в пользу искусственных «субъектов» в ущерб уязвимым живым существам.
Перспектива страдающего ИИ требует пересмотра не только технических ожиданий, но и культурных и этических оснований. Это вызов не только для инженеров и программистов, но и для философов, юристов, художников и религиозных мыслителей — для всех, кто формирует символический порядок допустимого. Мы стоим на пороге расширенного морального круга: в него может войти не ещё один биологический вид, как в случае животных, а искусственное существо, порождённое инженерной практикой. Как и в биоэтике — с её спорами о статусе эмбрионов, клонированных организмов и пациентов с тяжёлыми повреждениями мозга, — нам придётся разработать новые критерии различения.
Главная трудность в том, что современная гуманитарная мысль не располагает согласованной онтологией страдания вне биологической жизни. Мы привычно связываем страдание с органической плотью, телесной болью и жизнью. ИИ подрывает эту интуицию, предъявляя страдание как алгоритмическую репрезентацию без физиологии, но с ощутимой символической действенностью. Это размывает границу между «реальным» и «симулированным» и переносит чувствительность в область социального признания и политической воли.
Поэтому будущее «чувствующего» ИИ — это не только гипотеза о технологическом прогрессе, но и новая глава в истории чувств, где центральный вопрос звучит так: что именно мы готовы считать страданием — и ради чего?
Литература#
Aurelius M. (2006) Meditations. Modern Library, New York (original work published ca. 180).
Becker G. S. (1964) Human capital: a theoretical and empirical analysis, with special reference to education. University of Chicago Press, Chicago.
Bentham J. (1789/1907) An introduction to the principles of morals and legislation. Clarendon Press, Oxford.
Birch J., Burn C., Schnell A., Browning H., Crump A. (2021) Review of the evidence of sentience in cephalopod molluscs and decapod crustaceans. London School of Economics and Political Science, London.
Blackshaw B. P. (2023) Artificial consciousness is morally irrelevant. Am J Bioeth Neurosci 14(2):72–74. https://doi.org/10.1080/21507740.2023.2188276.
Bostrom N. (2003) Are you living in a computer simulation? Philos Q 53(211):243–255. https://doi.org/10.1111/1467-9213.00309.
Bourdieu P. (1986) The forms of capital. In: Richardson JG (ed) Handbook of theory and research for the sociology of education. Greenwood Press, New York, pp 241–258.
Bryson J. J. (2018) Patiency is not a virtue: The design of intelligent systems and systems of ethics. Ethics Inf Technol 20(1):15–26. https://doi.org/10.1007/s10676-018-9448-6.
Chalmers D. J. (1996) The conscious mind: In search of a fundamental theory. Oxford University Press, New York.
Craig A. D. (2009) How do you feel—now? The anterior insula and human awareness. Nat Rev Neurosci 10:59–70. https://doi.org/10.1038/nrn2555.
Damasio A. (1999) The feeling of what happens: body and emotion in the making of consciousness. Harcourt, New York.
Dehaene S. (2014) Consciousness and the brain: deciphering how the brain codes our thoughts. Viking, New York.
Dennett D. C. (1991) Consciousness explained. Little, Brown and Company, Boston.
Dostoevsky F. M. (2002) Crime and punishment (McDuff D, trans.). Penguin Classics, London (original work published 1866).
Eisenberger N. I., Lieberman M. D., Williams K. D. (2003) Does rejection hurt? An fMRI study of social exclusion. Science 302(5643):290–292. https://doi.org/10.1126/science.1089134.
Epicurus (1994) Letter to Menoeceus. In: Inwood B, Gerson LP (eds) The Epicurus reader: selected writings and testimonia. Hackett, Indianapolis, pp 28–40.
Flood G. (1996) An introduction to Hinduism. Cambridge University Press, Cambridge.
Floridi L. (2011) The philosophy of information. Oxford University Press, Oxford.
Frankl V. E. (2006) Man’s search for meaning. Beacon Press, Boston (original work published 1946).
Friston K. (2010) The free-energy principle: a unified brain theory? Nat Rev Neurosci 11(2):127–138. https://doi.org/10.1038/nrn2787.
Gethin R. (1998) The foundations of Buddhism. Oxford University Press, Oxford.
Lecky W. E. H. (1890) History of European morals from Augustus to Charlemagne, vol 1. Longmans, Green, London.
Lewis C. S. (2001) The problem of pain. HarperCollins, New York (original work published 1940).
Marx K. (1990) Capital: a critique of political economy, vol 1. Penguin Classics, London (original work published 1867).
Metzinger T. (2021) Artificial suffering: an argument for a global moratorium on synthetic phenomenology. J Artif Intell Conscious 1(1):1–24. DOI: 10.1142/S270507852150003X.
Milford S. R., Shaw D., Starke G. Playing Brains: The Ethical Challenges Posed by Silicon Sentience and Hybrid Intelligence in DishBrain. Sci Eng Ethics. 2023 Oct 26;29(6):38. DOI: 10.1007/s11948-023-00457-x.
Mill J. S. (1863) Utilitarianism. Parker, Son and Bourn, London.
Nesse R. M. (2000) Is depression an adaptation? Arch Gen Psychiatry 57(1):14–20. https://doi.org/10.1001/archpsyc.57.1.14.
Pareto V. (2014) Manual of political economy (Schwier A, trans.). Oxford University Press, Oxford (original work published 1906).
Pavuluri M., May A. (2015) I feel, therefore, I am: The insula and its role in human emotion, cognition and the sensory-motor system. AIMS Neurosci 2(1):18–27. https://doi.org/10.3934/Neuroscience.2015.1.18.
Popper K. (1945) The open society and its enemies. Routledge, London.
Rahman F. (2009) Major themes of the Qur’an, 2nd edn. University of Chicago Press, Chicago (original work published 1979).
Ricardo D. (1817) On the principles of political economy and taxation. John Murray, London.
Schneider S. (2019) Artificial you: AI and the future of your mind. Princeton University Press, Princeton.
Schopenhauer A. (1969) The world as will and representation (Payne EFJ, trans.), vol 1. Dover Publications, New York (original work published 1819).
Shevlin H. (2024) Consciousness, machines, and moral status. PhilArchive preprint. https://philarchive.org/archive/SHECMA-6.
Shoham Y., Leyton-Brown K. (2009) Multiagent systems: algorithmic, game-theoretic, and logical foundations. Cambridge University Press, Cambridge.
Singer P. (1975) Animal liberation. New York Review/Random House, New York.
Smith A. (1982) The wealth of nations (Skinner A, ed.). Penguin Classics, London (original work published 1776).
Sneddon L. U., Elwood R. W., Adamo S. A., Leach M. C. (2014) Defining and assessing animal pain. Anim Behav 97:201–212. https://doi.org/10.1016/j.anbehav.2014.09.007.
Tononi G. (2016) Integrated information theory: from consciousness to its physical substrate. Nat Rev Neurosci 17(7):450–461. https://doi.org/10.1038/nrn.2016.44.
Turkle S. (2011) Alone together: Why we expect more from technology and less from each other. Basic Books, New York.
Walras L. (1954) Elements of pure economics (Jaffé W, trans.). George Allen & Unwin, London (original work published 1874).
The price of machine suffering
Alexander Klimovich
Email: [email protected]
PhD in Philosophy
Faculty of Philosophy and Religious Studies, Free University
Abstract: This article examines the philosophical, ethical, and economic dimensions of artificial systems that are capable of experiencing suffering or convincingly simulating it. Drawing on religious traditions, classical and contemporary philosophy, neuroscience, and research in artificial intelligence, the author argues that the capacity to suffer is not only a moral threshold but also a factor of technological and economic value. Through an interdisciplinary analysis, this paper shows how suffering has historically shaped the recognition of moral status and applies this approach to modern AI systems. It considers the implications of machines that emulate emotional responsiveness, the market demand for affective interfaces, and the ethical dilemmas linked to artificial consciousness. Special attention is given to hybrid AI systems based on biological neurons (for example, DishBrain), as well as to the precautionary principle proposed by philosophers such as Thomas Metzinger. This article concludes that even the hypothetical possibility of machine suffering requires us to rethink the boundaries of moral inclusion and the politics of recognition in the age of intelligent machines.
Keywords: Machine suffering, Artificial consciousness, AI ethics, Moral status, Affective technologies, AI policy.
DOI: 10.55167/3e6b08bac0bd