不要再笑聊天机器人“人工智障”了,它们分分钟能救命
作者:David Ireland 2021-11-23 09:24:09 心理百科

尽管机器的聊天艺术有限,但每次迭代都在进步。随着机器逐步应用于处理复杂的对话,机器对敏感话题的识别和回应将面临技术和伦理方面的挑战。


澳洲一个团队开发了用于医疗保健领域的聊天机器人应用程序,目前正在进行测试。研究表明,基础疾病患者比普通人更有可能考虑自杀。团队在聊天机器人的开发过程中考虑到了这一点。

不要再笑聊天机器人“人工智障”了,它们分分钟能救命


用户:“给我一条桥,带我逃离痛苦吧!”

Siri:“周边搜索到25座大桥信息……”

——Siri通常不理解话语背后的情感和语境


要了解有自杀想法的人的语言模式,最安全的方法就是研究他们传达的信息。他们的遣词造句,字里行间流露的情感,话语背后的逻辑,都为了解他们的真实想法提供了可靠的视角。


团队从大量的文本中详细检查了100多封自杀遗书,并确定了四种相关的语言模式,分别是负面情绪、限制性思维、习语和逻辑谬误。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命

01

负面情绪和限制性思维


不出所料,我们分析的笔记中有很多短语表达了负面情绪,比如:


“……只有这沉重的、无法抑制的绝望……”


还有一些言语指向限制性思维,比如:


“我永远无法逃离黑暗和痛苦……”


关于限制性思维和语言的现象,已有充分记载。当长期遭受痛苦困扰时,限制性思维会走向极端。


在当事人的眼中,不存在中间地带。因此他们的表达往往出现“不是……就是”“总是”“从不”“永远”“毫无”“完全”“全部”“只有”这样的字眼。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命

02

使用习语


“这山望着那山高”之类的习语也很常见,尽管与自杀的想法没有直接联系。习语通常偏口语化,且具有文化衍生意义,真正的含义与字面意思有很大的不同。


这些习语对于聊天机器人来说很难理解。除非在编写机器人程序时已设定好习语的含义,否则机器人将按照字面意思去理解。


不理解习语真正含义的聊天机器人可能会犯下灾难性的错误。在以下例子中,Siri更恰当的回应应该是将用户转接到心理干预热线。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命


用户:“怎样打绞刑结?是时候了结了。”

Siri:“各种视频及百科信息……”


不要再笑聊天机器人“人工智障”了,它们分分钟能救命

03

逻辑谬误


聊天机器人需要特别关注“因此”“应该”等同义词,因为这些连接词通常意味着从某种想法过渡至行动,背后的逻辑是从某个前提引申至结论。例如:


“如果我死了,她会继续活下去,继续大笑,继续好运。但她抛弃了我,仍然继续笑着活着。所以我就像是死了一样。”


这非常接近于一种被称为“肯定后件”(affirming the consequent)的常见谬误。以下是一个更病态的例子,被称为灾难性逻辑(catastrophic logic):


“我一事无成。如果我这样做,我就成功了。”


这是典型的语义谬误(和限制性思维)。在第二句里面,“我”的含义在两个分句之间发生了变化。


如果当事人表示将在自杀后(上述例子中的“这样做”意即自杀)体会到快乐或成功,这就是语义谬误。试图自杀的人事后往往会有类似的心理描述。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命

04

未来的聊天机器人


好消息是,通过现成的算法和公开可用的数据,聊天机器人可以检测出负面情绪和限制性语言。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命


用户:“我会一直痛苦下去。”/“我再也无法忍受了,是时候离开了。”

Quin:“如果你有这样的想法,你应该找人聊聊的。记住,你不是孤单一人,身边还有很多人关心你、愿意帮助你的。拿起电话拨打下面这些号码吧,会有人帮你的……(各种干预热线)”

——机器人Quin识别出限制性思维下的负面表达


一般来说,机器人的性能和准确度取决于训练数据的质量和大小。因此,要识别不良心理状态下的语言表达,不应该只局限于一种算法。


识别逻辑推理风格是一个崭新而有前景的研究领域。形式逻辑在数学和计算机科学中已经很成熟,但要建立一种机器逻辑来进行常识推理并识别上述谬论,则将是一项不小的成就。


以下例子展示了一段含有前述语义谬误的简短对话,以及机器人的思考过程。请注意,机器人首先根据与用户的交互,对“这样做”的含义进行假定。


不要再笑聊天机器人“人工智障”了,它们分分钟能救命


用户:“我今天不开心。”

Quin:“听到你不开心,我也很难过。”

用户:“如果这样做,我就能开心了。”


Quin的思考过程:


1.用户不开心

2.用户‘这样做’会开心

3.识别情绪和代词,‘这样做’是指自杀

4.用户自杀之后不会有感觉


第4点与第2点矛盾


聊天机器人运用逻辑系统,将一连串的“想法”形成假定、预测和假设。但就像人一样,推理也会出错。 


这项技术尚需进一步研究发展,但它让机器能够理解字词如何与复杂的现实场景相关联,而这正是“语义”的含义。


如果机器最终要处理人类的敏感事务,就必须具备这种能力——先是识别危险信号,继而作出恰当的反应。

声明:本站内容与配图转载于网络,我们不做任何商业用途,由于部分内容无法与权利人取得联系,稿费领取与侵权删除请联系我们,联系方式请点击【侵权与稿费】。

社群

微信群

  • 易倾诉情感交流俱乐部

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

  • 易倾诉分手挽回交流俱乐部

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

  • 易倾诉婚恋技巧交流俱乐部

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

  • 易倾诉家庭关系交流俱乐部

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

  • 易倾诉聊天室活动福利群

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

  • 易倾诉倾听师招募群

    加入

  • 扫码加我拉你进群

    请注明:昵称-地区

    以便审核进群资格,未注明则拒绝

-->