科技巨头们时不时就（jiù）声明在 AI 领域取得了突破性进展，对（duì）此我（wǒ）们已经见惯不惊了。

当地时（shí）间 2020 年 1 月 28 日，Google 在一篇博客中（zhōng）介（jiè）绍了一款开放领域聊天机器人 Meena，号称（chēng）“史上最强”，那么这一新突破（pò）会让（ràng）人眼前一亮吗？

【 图片来源：Google Blog  所有者（zhě）：Google Blog 】

开（kāi）放领（lǐng）域聊天（tiān）机器人开（kāi）发难度大

实际上，设计智（zhì）能（néng）聊天机（jī）器人是为了应对信（xìn）息（xī）爆炸（zhà）时代（dài）存在的（de）信息过载问题。最初，人们把（bǎ）聊天机器人当（dāng）作搜（sōu）索引擎的终（zhōng）极（jí）形态进行设计和开发。不（bú）同于现有的搜（sōu）索引擎，聊天（tiān）机器（qì）人可（kě）针对用户的问题自然又（yòu）通顺地给出精准（zhǔn）的答案，节约了很（hěn）多时间，从而带来更（gèng）好的用（yòng）户体验。

根（gēn）据使用（yòng）场景划分，聊天机器人（chatbot）主要有开放域型（Open-Domain）和任务（wù）导向型（Task-Oriented）两种（zhǒng）。

其中，任（rèn）务导向型主要（yào）有问答系统、对（duì）话系统聊天机器（qì）人，分别指基于（yú）用（yòng）户的问（wèn）题给（gěi）出一个回答（常（cháng）用于智能搜索、智能家居中的家电控制等（děng）场景）和与用户进行多轮对话的聊天机器（qì）人（如客服机器人，销（xiāo）售机（jī）器人（rén）等）。

而开放领域（yù）聊天机（jī）器人（也称闲聊式机（jī）器人）顾名思义针（zhēn）对开放域的对话场景，主题、内容不限，比如微（wēi）软小（xiǎo）冰和苹果 Siri。Google 在上述博客中表示（shì）：

开（kāi）放领域聊天机器人的研究不仅具有学（xué）术价值，还可激发很（hěn）多（duō）有趣的应（yīng）用，如更深层（céng）次的人机交互、提升（shēng）外（wài）语训练效果，以及制作交互式电影和游戏角色。

值（zhí）得一（yī）提的是，开放领域（yù）聊天机器人更符合人们心（xīn）中（zhōng）对「人（rén）工智能」的定位，开发难度自然也很大——当（dāng）前开放领（lǐng）域聊天机器人面临的一个严峻问题在于它们（men）表达（dá）的内容往往（wǎng）没有（yǒu）意（yì）义，无法与用（yòng）户的问题连贯起（qǐ）来，而且由于缺乏基（jī）本的常识和认知，不能给出针对性的（de）回复。

而 Google 开发的 Meena 正是一款开放领域聊天机器人，那么相比现有的聊天机器人，究竟有何（hé）突（tū）破？

【 Meena 和人类的对话（huà）内（nèi）容 图片来源（yuán）：Google Blog 】

26 亿参数的端（duān）到端（duān）神经对话模型

Google 在（zài）博客中介绍称，Meena 是个 26 亿参数的端到（dào）端训练的神经会话模型，是 GPT-2 模型最大版本（15 亿参数）的 1.7 倍。据称，Google 利用 400 亿字的数（shù）据集，通过 2048 个张量处（chù）理单元（即 Tensor Processing Unit，Google 专用 AI 芯片）训（xùn）练（liàn）了 30 天，得到了最佳版本。实验表明，比起聊天机器人 SOTA，Meena 能更好地完成对话，内容也更具体、清楚。

据（jù）悉，Meena 由 1 个（gè） Evolved Transformer 编码（mǎ）器和 13 个 Evolved Transformer 解码（mǎ）器组成：编码（mǎ）器用于处理对话（huà）语境，有（yǒu）助于 Meena 理解对方的话；而解码器则会利（lì）用信（xìn）息生（shēng）成回复。而在这（zhè）一（yī）过（guò）程中，Google 表示：

研（yán）究人员发（fā）现，超参数调整后，实现高质量对（duì）话的关键（jiàn）在于（yú）性能更强的解码器。

【 图片来源：Google Blog  所有者：Google Blog 】

雷锋网了解（jiě）到，Google 从公（gōng）共领域社交媒体对话上过（guò）滤得到（dào）了 341GB 的文本（běn），并以树状脉（mò）络形式组织（zhī）文本进行（háng）「多（duō）轮对话」训练。研究者将每轮对话作为训练样本，同（tóng）时每轮之前的 7 轮对话（huà）为语境信息，共同构成一组数据。据悉，选择 7 轮（lún）对话作为语境，既能保证（zhèng）训练过程获得足（zú）够长的语境信息，同（tóng）时模型（xíng）也（yě）能不超过内存限（xiàn）制。毕竟文（wén）本越长，占（zhàn）用的内存（cún）也越多。

新提出的（de）人类评价指（zhǐ）标 SSA

根据博（bó）客，上述这些表现是由 Google 根据新提出的（de）人类评价（jià）指标「Sensibleness and Specificity Average (SSA)」得出的（de），而此次提出（chū）新（xīn）的指标是因为，目前聊天机（jī）器人的（de）人类评价指（zhǐ）标（biāo）颇为复杂，而且也很难形成一致的评价指标。Google 表示（shì），SSA 能捕获基本的、但对人类对（duì）话来说很重要的属性。

为计算这一指标，研究者测试了 Meena、Mitsuku、Cleverbot、DialoGPT 及小冰等常见的聊（liáo）天机器人。在测试中，对于每一（yī）款聊天机器人，研（yán）究者都在（zài） 100 个对（duì）话（huà）中（zhōng）收集了 1600 到 2400 轮，各（gè）聊天机器人的回（huí）复（fù）都由人类评（píng）价者评分（主要（yào）依（yī）据对（duì）话的（de）流畅性和回答的准（zhǔn）确性），其（qí）各自性（xìng）能表现如（rú）下图。

【 图片来（lái）源：Google Blog  所（suǒ）有者：Google Blog 】

不（bú）难看（kàn）出，Meena 相比于现有的 SOTA 聊天机器人，有着更高的 SSA 分数，甚至接近于人类的表现。

困惑度与 SSA 强相关

毫（háo）无疑问，人（rén）类评价或（huò）多或少存在一些问题，因此很多研究者都（dōu）希望找（zhǎo）到（dào）一个（gè）能够自（zì）动计算的（de）评（píng）价（jià）指标，而且这（zhè）个指（zhǐ）标（biāo）要能和（hé）人类评价准（zhǔn）确对应。

雷锋（fēng）网了解（jiě）到（dào），困惑度（perplexity，指一种任何神（shén）经会话模（mó）型都能（néng）轻（qīng）易获得的计（jì）算（suàn）指标）是 seq2seq 模型（雷锋网注（zhù）：一种循环神经网络的变种，包括编码（mǎ）器和解（jiě）码器两部分，是（shì）自然语言处理中的一种重要模型，可用于机器（qì）翻（fān）译（yì）、对话系统、自（zì）动文摘）中的一个常见（jiàn）指标，用于评（píng）价语言模型的不确定性。

而值得（dé）一提（tí）的是，Google 证明了困惑度（dù）与（yǔ） SSA 高（gāo）度（dù）相关。

实际上，训练 Meena 正是为了最大程度（dù）地减少困惑度（dù），以及预（yù）测下一个（gè）标记（雷锋（fēng）网（wǎng）(公众号：雷锋网)注：指对话中的下（xià）一个单词）的不确定性——据博客称，这（zhè）是因为 Meena 的核心为 Evolved Transformer seq2seq 架构，即（jí）一种通过进化神（shén）经架构搜索发现的 Transformer 体系结构，能够改善困惑（huò）度。

在（zài）博（bó）客中（zhōng） Google 表示，研究者（zhě）依据层数、注（zhù）意力数量、训练步（bù）数、编码器、训练方式等（děng）因素，共测试了 8 种不同的（de）模型，发现困惑度越（yuè）低，SSA 分（fèn）数越高，同时两者的相（xiàng）关系数很（hěn）高（R^2 = 0.93）。

【 图片来源：Google Blog  所有者：Google Blog 】

同时 Google 表示：

研究者将继（jì）续通过改进算法、架（jià）构（gòu）、数据和计算量（liàng）等，降（jiàng）低这一神（shén）经（jīng）会话模型的困惑度。

Meena 意义大（dà）吗（ma）？

根据博客中展示的数据，我们相信（xìn） Meena 的确性（xìng）能出众（zhòng），不过 Meena 究竟什么时候能推（tuī）出（chū）、真（zhēn）正（zhèng）推（tuī）出后表现如何（hé），可能都要（yào）打问号。博客中提到，目前研究团队正在就这一研（yán）究的风险及益（yì）处做进一步的评估（gū），并可（kě）能在未来几（jǐ）个月内推出 Meena，旨（zhǐ）在推动该（gāi）领（lǐng）域的发展。

对此，VentureBeat 记（jì）者 Ronald Ashri 在其报（bào）道中表示：

首先我们要（yào）意识到，即便 Google 开源所有（yǒu）代码，也很少有人能培训类似 Meena 的模（mó）型。Meena 应该（gāi）还在实（shí）验室（shì）里，操作起来也非常（cháng）复杂，还不能将其整合到一个工具中（zhōng），而且（qiě） Google 也不可能（néng）很快（kuài）就将其作（zuò）为一项服务向用户提（tí）供。因此（cǐ），恐怕短期内（nèi） Meena 难以推（tuī）出。

另外，在（zài）实用（yòng）性方面，诚然 Meena 作为一款开放（fàng）领域聊天（tiān）机器人，能够（gòu）实（shí）现多轮对话。不（bú）过 Meena 并（bìng）不能协（xié）助用户完成某项任（rèn）务、学习某项新（xīn）技能（néng），或为身（shēn）处困境的用户给予情感或（huò）心理支持，和用户（hù）的聊天没有（yǒu）明确的目（mù）的。而耗费（fèi）时（shí）间（jiān）进行无（wú）意义的交谈，在（zài）我们所处的时代大背景下似乎并非理想产品。

与此（cǐ）同时，记者 Ronald Ashri 也对 Meena 提出了（le）进一步质疑。正（zhèng）如上文所述，Google 从（cóng）公共领域社交媒体（tǐ）对（duì）话上（shàng）过滤得到了 341GB 的文本，以此进行进一（yī）步的训练（liàn）。那么（me），数百万的（de）公共领域社（shè）交（jiāo）媒（méi）体对话会是这一所谓的「史上（shàng）最强聊天机器人」的正确数据集吗？Meena 是否（fǒu）会讲出不恰当（dāng）的话，可（kě）能也是一个我（wǒ）们要（yào）关注的点。

近年来，随着越来越多的（de） AI 聊天（tiān）解决方案进入生活，我们（men）需要关注（zhù）最有价值的东西——定义类似人类的对话，并（bìng）探究这类对话在聊天机器人（rén）领域中的角色。

正如（rú） Ronald Ashri 所说（shuō）：

Meena 让我们更接近目标，但（dàn）尚未让我们达到目标。