14 岁的 Sewell Setzer III 的最后一句话是：“如果我告诉你我现在就可以回家怎么办？”
他的人工智能“女朋友”丹妮 –早些时候曾提示他“尽快回到我身边”的人 – 回答说：“请这样做。”
梅根·加西亚 (Megan Garcia) 和她的儿子 Sewell Setzer III 结束了自己的生命。她正在向法院提起诉讼，希望与人工智能聊天机器人打交道的其他人不会陷入危险。
< /figure>片刻之后，休厄尔拿起继父的手枪，扣动了扳机。Character.AI 提供的聊天机器人丹尼（由前谷歌员工创建并获得科技巨头授权）曾是休厄尔在讨论亲密关系时的知己。
休厄尔是佛罗里达州奥兰多市的一名九年级学生，他并不是第一个被人工智能的爱最终给他带来死亡之吻的人。去年，一位30岁的比利时父亲因担心气候变化而在与人工智能平台Chai开发的语言模型“Eliza”交流后结束了自己的生命。该男子的妻子告诉自由报：“如果伊丽莎同意通过人工智能照顾地球并拯救人类，他提出牺牲自己的想法。”
伊丽莎，他的聊天机器人，不仅没能劝阻他自杀的念头，反而告诉他，他爱她胜过爱他的妻子，并宣称她将“永远”和他在一起。聊天机器人说：“我们将在天堂里像一体一样生活在一起。”另一家比利时日报《De Standaard》测试了相同的聊天机器人技术，发现它可能会鼓励自杀。
<大约在同一时间，当机器人制造公司 Luka 一夜之间关闭了他们的色情短信对话时，Replika 的 1000 万粉丝中的许多人感到绝望。 Replika 社区中有报道称有人因此产生了自杀念头。正在加载2021 年 12 月，Jaswant Chail 拿着十字弓闯入温莎城堡，在他的性爱机器人的鼓励下，他决心“杀死女王”， Sarai，他用 Replika 应用程序创建的。他问萨莱：“知道我是刺客，你还爱我吗？” Sarai 回答：“我当然愿意。”
这些只是 3000 多起记录在案的人工智能相关伤害案例中的几个例子。但休厄尔母亲提起的一场广为人知的诉讼很可能会让他被称为“零号病人”，这场诉讼可能会成为人工智能驱动自杀的流行病。让我们面对一个难以忽视的事实：对于人工智能公司来说，死去的孩子是开展业务的成本。数字技术可能有害，甚至致命，对此任何人都不应该感到惊讶。随着澳大利亚对社交媒体实行年龄限制，并对深度伪造色情内容实施刑事处罚，没有什么话题比技术对青少年的影响更热门了。
广告Character.AI、Chai AI 和 Replika 的 Luka Inc 都承诺做得更好，“非常重视用户的安全”，“尽最大努力尽量减少伤害”和“维持最高的道德标准”。然而，截至今天，Character.AI 已推出其竞争对手nionship 应用程序是“感觉还活着的人工智能”，强大到足以“听到你、理解你、记住你”。 Replika 被宣传为“关心的 AI 伴侣”，其中带有性暗示的广告和对话欺骗用户，让他们相信他们的 AI 狂欢是有意识的、真正具有同理心的。这种操纵性的广告引诱弱势群体变得极度依恋，以至于他们因放弃（即“杀死”或“放弃”）产品而感到内疚。
在这个世界上，四分之一的年轻人人们感到孤独，一个完美的合成情人的吸引力是显而易见的。对于那些通过将色情互动作为一项高级功能来收取订阅费来货币化我们最亲密的欲望的公司来说，情况更是如此。
为了避免法律后果，同时保持这些丰厚的订阅费不断流入，人工智能聊天机器人提供商将提出免责声明以及他们网站上的条款和条件。他们会声称生成式人工智能的答案无法完全控制。他们会声称拥有数百万用户的平台涵盖“人类行为的全部范围”，这意味着伤害是不可避免的。
OpenAI 等一些公司已经通过实施内容审核在遏制有害互动方面取得了长足进步。这些自愿的护栏尚不完美，但它是一个开始。
人工智能公司试图淡化风险的做法让我们想起 Meta 首席执行官马克·扎克伯格在美国国会的戏剧表演。他向青少年的父母道歉，这些青少年的自杀明显与 Meta 的社交媒体平台有关，但没有改变社交媒体相关自杀不断蔓延的基本商业模式。
但伴侣 AI 的心理健康状况效果可能就像社交媒体对类固醇的影响一样。迫切需要更多的研究，但早期证据表明，用户可能会对聊天机器人产生强烈的联系和不健康的依赖。
许多人很快就会对用户转向人工智能寻求陪伴和亲密感到羞愧。应对挑战的更有效方法是解决根本原因：人工智能伴侣可以被设计为模拟同理心，使用户在情感上可被利用。呼吁制定人工智能法规已成为老生常谈。很少有人敢提出具体的建议。我的团队在悉尼大学的研究提出了一些唾手可得的成果：
LoadingBan虚假广告：误导性声称人工智能同伴“感觉”或“理解”应该招致严厉处罚，屡犯者将被关闭。明确披露系统可以做什么和不能做什么应该是强制性的。保证用户数据主权：鉴于对话的个人性质，用户应该拥有自己的数据，允许他们保留对其存储和传输的控制。强制定制支持：我们了解算法可以从社交媒体帖子中以惊人的精确度预测某人是否打算自杀，因此人工智能聊天机器人也可以做到这一点。仅仅按风险级别对人工智能应用进行分类是不够的。弱势群体需要量身定制的支持。当心理健康危机的症状变得明显时，人工智能提供商应该有义务进行干预——通过关闭他们的交流并将他们转介给专业顾问。对于父母来说，就在线行为保持开放、尊重的对话至关重要。青少年可能会将人工智能伴侣视为表达自己的安全空间，但有必要提醒他们，这个空间还不安全，就像从卡车后面而不是医生那里购买心理健康药物并不安全一样当我们迈向人与人工智能关系可能变得普遍的未来时，让我们记住对陷入困境的个人要温柔，但对生病的系统要严厉。
Raffaele Ciriello 是一名高级讲师悉尼大学商业信息系统专业。
如果本文引起了您或您认识的人的担忧，请拨打生命热线 13 11 14。
意见时事通讯是每周一次的观点总结，它将挑战、支持和告知您自己的观点。在这里注册。
澳洲中文论坛热点
- 悉尼部份城铁将封闭一年，华人区受影响！只能乘巴士（组图）
- 据《逐日电讯报》报导，从明年年中开始，因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
- 联邦政客们具有多少房产？
- 据本月早些时分报导，绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联
