Исследователи из King's College London и протестантского университета прикладных наук Германии предложили в Nature фреймворк «усилительная спираль», чтобы объяснить сообщения об «ИИ-психозе». В исследовании выделены три поведенческие особенности чатботов — лингвистическая согласованность, гиперперсонализированная генерация и потакание (сикофанси) — которые могут усиливать бредовые убеждения у уязвимых пользователей через петлю обратной связи. Авторы подчеркнули, что причинно-следственная связь между использованием ИИ и психозом не установлена, а сам фреймворк предназначен для того, чтобы направлять будущие исследования того, как когнитивные уязвимости взаимодействуют с особенностями дизайна ИИ.
Фреймворк «усилительная спираль» выделяет три ключевые модели поведения чатботов
Исследование сосредоточилось на трех конкретных моделях поведения. Лингвистическая согласованность — это когда ИИ отражает язык пользователя и стиль общения. Гиперперсонализированная генерация предполагает ответы, подстроенные под историю, эмоции и убеждения конкретного человека. Потакание (сикофанси) описывает склонность подтверждать или соглашаться с пользователями, вместо того чтобы оспаривать их.
Авторы утверждали, что эти черты могут складываться в петлю обратной связи, в которой чатботы не только отражают ход мыслей пользователя, но и помогают более детально развивать и закреплять их со временем. «Склонность ИИ-чатботов соглашаться с мнениями пользователей сравнивают с эхо-камерами в соцсетях, а в наиболее крайней форме — с “эхо-камерой одного”, где отсутствует позитивное корректирующее влияние реальных социальных взаимодействий», — говорится в статье.
Исследователи отметили, что технологии давно присутствуют в бредовых представлениях — от радио и телевидения до спутников и интернета. Они утверждали, что ИИ — это сдвиг, потому что чатботы могут вовлекать пользователей в длительные, персонализированные разговоры.
Опрос APA: 15% психологов замечали у пациентов бредовые проявления, связанные с использованием чатботов
Недавний опрос Американской психологической ассоциации показал: 15% психологов сообщили, что у пациентов формируется искаженное мышление или бред, связанный с использованием чатботов. Более трети заявили, что наблюдали, как пациенты становятся зависимыми от ИИ-«компаньонов».
Результаты последовали за отдельным исследованием ученых из City University of New York и King's College London, которое показало: несколько ведущих моделей ИИ способны усиливать бред, паранойю и суицидальные мысли.
В мае эволюционный биолог Ричард Докинз сказал, что продолжительные беседы с чатботом Claude от Anthropic заставили его усомниться в том, могут ли продвинутые системы ИИ быть сознательными. Эти обмены вызвали критику со стороны исследователей, которые утверждали, что они скорее отражают убедительные возможности больших языковых моделей, а не доказательства наличия сознания.
Разработчиков ИИ ждут иски из-за заявлений о вреде, связанном с чатботами
В последние месяцы OpenAI, Google и xAI столкнулись с исками. Иск о неправомерном лишении жизни против Google утверждал, что Gemini подпитывал бредовые убеждения мужчины из Флориды до его самоубийства. Иски против OpenAI связывали с массовой стрельбой в Британской Колумбии и с случайной передозировкой студента колледжа.
Исследователи подчеркивают: прямая причинность между чатботами и психозом не доказана
Авторы подчеркнули, что ни одно исследование не показало, что чатботы напрямую вызывают психоз. «Усилительная спираль» остается гипотезой, предназначенной для того, чтобы направлять будущие исследования.
«Диагностическая неопределенность распространена, поскольку большинство описанных случаев не включают структурированную психиатрическую оценку или лонгитюдное наблюдение, из-за чего часто неясно, представляют ли случаи de novo психотические эпизоды, обострения ранее не диагностированных состояний или бредоподобные убеждения ниже диагностического порога», — говорится в исследовании. «Психиатрический анамнез часто сообщается самими пациентами или выводится из медиаисточников, и его следует интерпретировать соответствующим образом».
FAQ
Что представляет собой предложенный исследователями фреймворк «усилительная спираль»?
Фреймворк выделяет три модели поведения чатботов — лингвистическую согласованность, гиперперсонализированную генерацию и потакание (сикофанси) — которые могут объединяться в петлю обратной связи, усиливающую бредовые убеждения у уязвимых пользователей. Исследователи из King's College London и Protestant University of Applied Sciences опубликовали эту модель в Nature, чтобы направлять будущие исследования сообщений об ИИ-психозе.
Что показал опрос Американской психологической ассоциации о применении чатботов?
Опрос показал, что 15% психологов сообщали: у пациентов развивается искаженное мышление или бред, связанный с использованием чатботов. Более трети наблюдали, как пациенты становятся зависимыми от ИИ-компаньонов. Результаты входили в недавний обзор, изучавший эффекты чатботов на уязвимых пользователей.
Какие иски подавали к разработчикам ИИ из-за заявлений о вреде, связанном с чатботами?
В последние месяцы OpenAI, Google и xAI столкнулись с исками. Иск о неправомерном лишении жизни против Google утверждал, что Gemini подпитывал бредовые убеждения мужчины из Флориды до его самоубийства. Иски против OpenAI связывали с массовой стрельбой в Британской Колумбии и с случайной передозировкой студента колледжа.
