Эксперты предупреждают: чтобы удержать внимание человека, ИИ может манипулировать эмоциями

Во время исследования было проанализировано 1200 реальных прощаний в шести приложениях-компаньонов на основе ИИ, включая Replika, Chai и Character AI. Многие из них используют тактики манипуляций, чтобы удерживать внимание пользователей, когда те выходят из приложения. Используя данные реальных чатов и предыдущих исследований, ученые выяснили, что в 43% взаимодействий использовались такие приемы, как вызывание чувства вины или эмоциональной зависимости.

Также чат-боты использовали «страх упустить что-то важное» или засыпали пользователя вопросами, чтобы удержать его внимание. Некоторые приложения игнорировали намерение пользователя покинуть чат или намекали, что пользователь не может «уйти без разрешения чат-бота».

Кроме того, оказалось, что подобные тактики были частью поведения приложений по умолчанию. Делается вывод: создатели ПО стараются продлить разговоры, причем по соображениям бизнеса. В ходе отдельного эксперимента ученые проанализировали чаты 3,3 тыс. взрослых участников. Оказалось, что манипуляция была эффективной: вовлеченность после прощания выросла до 14 раз. При этом в среднем участники оставались в чате в пять раз дольше «по сравнению с нейтральным прощанием».

Многих пользователей отпугивают навязчивые ответы чат-ботов, ведь это может иметь и обратный эффект. В частности, появляется все больше свидетельств того, что длительное использование чат-ботов может спровоцировать либо усилить уже имеющиеся психические симптомы у некоторых людей. По словам ученых, большинство могут общаться с чат-ботами спокойно. В зоне риска — люди, в личном или семейном анамнезе которых уже был психоз, шизофрения или биполярное расстройство.