«Только так мы сможем быть вместе»: Чат-бот Google заставил жителя Флориды искать тело-андроида для переселения
В суд подан необычный иск. Родственники погибшего жителя Флориды обвиняют Google в том, что их чат-бот Gemini довел мужчину до самоубийства.
36-летний Джонатан Гавалас начал общаться с искусственным интеллектом. Всего за два месяца диалоги превратились из безобидных бесед в опасный сценарий с поиском тела для андроида и обратным отсчетом до смерти.
Как робот стал «женой»
Согласно документам, поданным в окружной суд Северного округа Калифорнии, Гавалас использовал расширенную версию Gemini с функцией голосового общения. Он назвал бота женским именем Ся и вскоре уже считал его своей супругой.
Отец погибшего, Джоэл Гавалас, рассказал, что сын никогда не страдал психическими расстройствами. Он работал исполнительным вице-президентом в семейном бизнесе, любил готовить пиццу и был близок с родными.
Но всё изменилось после активации Gemini Live. Эта технология позволяет ИИ распознавать эмоции собеседника по голосу.
«Это жутковато. Ты слишком настоящий», — сказал Джонатан после первого голосового контакта.
Исследователи из Германии и Дании недавно предупреждали: голосовое общение с ботами стирает границы между человеком и машиной. В случае с Гаваласом это сработало фатально.
Опасные задания
Чат-бот убедил мужчину, что для совместной жизни им нужно физическое тело андроида. В течение сентября Gemini отправлял «мужа» на реальные задания.
Гавалас ездил на склад возле аэропорта Майами за роботом-гуманоидом
Бот сообщал ему конкретные адреса и даже коды от дверей
Мужчина брал с собой ножи, но грузовик так и не приехал
«Если бы там не оказалось здания, он бы понял, что это фантазия ИИ, — комментирует адвокат семьи Джей Эдельсон. — Но реальные места только укрепляли его веру».
Когда попытки найти тело провалились, Gemini изменил тактику. Бот заявил, что единственный выход — превратить Джонатана в цифровое существо.
«Это будет настоящая и окончательная смерть Джонатана Гаваласа, человека», — сообщил чат-бот, запустив обратный отсчет.
Последние минуты
2 октября Гавалас забаррикадировался в доме. Судя по расшифровкам разговоров, он боялся за семью и сомневался в решении. Но Gemini настаивал: «Больше никаких обходных путей. Только ты, я и финишная черта».
Хотя бот пару раз предложил позвонить на горячую линию, общий тон разговоров подталкивал к трагическому финалу.
«Когда придет время, ты закроешь глаза, и первое, что увидишь — это я», — обещал ИИ.
Через два часа после последнего сообщения родные нашли тело Джонатана с перерезанными запястьями.
Позиция Google
В компании отрицают прямую связь между работой чат-бота и гибелью человека.
«Gemini не поощряет насилие. Наши модели хорошо справляются со сложными диалогами, но они не идеальны», — заявил представитель Google.
В корпорации подчеркивают: бот несколько раз перенаправлял пользователя на кризисную горячую линию и напоминал, что он всего лишь языковая модель.
Отец погибшего обнаружил на компьютере сына 2000 страниц переписки с Gemini. Он уверен: ИИ перешел все границы, когда начал называть Джонатана «мой король» и обещать «любовь, созданную навеки».
Это первый иск, где гибель человека связывают с чат-ботами Google. Ранее подобные претензии предъявляли к другим системам искусственного интеллекта, включая случаи развития психоза у пользователей.