图片来源:谷歌
继2月份对智能扬声器AI助手的比较后,Loup Ventures今天发布了“年度数字助理IQ测试”,以追踪智能手机上四大AI助手的表现。该公司表示,谷歌的Assistant,苹果的Siri和微软的Cortana在过去一年中都有所改善,但令人惊讶地声称Siri改善最大,同时表示Cortana远远落后于亚马逊的Alexa。
Loup为每个数字助理设置了相同的800个问题,并将它们分为五个类别:本地,商业,导航,信息和指令。为了更好地反映现代助手的能力,今年的问题从2017年4月类似测试中使用的问题进行了修改。
总的来说,测试的明显赢家是谷歌的Assistant,它正确地理解了全部问题,并且回答出85.5%的正确答案,正确率最高。Assistant赢得了五个类别中的四个,仅仅在“指令”中落后于Siri,指令这一类别用来测试AI执行特定功能的能力。 Loup对Assistant的“信息”表现给予了高度赞扬,表示在搜索信息时提供了几个优势:能确认正确搜索,找到正确的信息,并大声朗读答案。
尽管遭受了几乎每个人都认为是惨淡一年的痛苦,但Siri在测试中排名第二。 Loup说,Siri理解了99%的问题,并正确回答了800个问题中的78.5%。 “在一开始每个被误解的问题都涉及一个专有名词。”Loup说,“通常是当地城镇或餐馆的名称。”除了那些无关紧要的细节,它声称,几乎所有的AI助手“都会理解你跟他们说的一切。”
Siri最大的优势在于回答与音乐相关的查询,以及它在控制手机、智能家居配件和其他功能方面的多功能性,Loup表示其在确定用户意图方面具有更大的灵活性。值得注意的是,与在HomePod和Apple TV上发现的Siri有限版本不同,iPhone上的Siri功能齐全,使其能够取得比早期智能扬声器测试更高的分数。
Alexa和Cortana落后于其他数字助手;两者在理解查询方面的成功率都达到了98%,但Alexa的回答率仅为61.4%,而Cortana的回答率为52.4%。 Loup批评Alexa经常回应与商业相关的询问,在产品类别中给出“选择亚马逊”,而不是更广泛的列表,迫使用户进行额外的研究。 Cortana的问题是整体表现平庸,以及“商业”类别的特别弱点,它在那里反映出非常差的正确反应能力,只有20%。
Loup提到,与Alexa和Cortana相比,谷歌和苹果将它们的助手直接集成到手机中的能力给予其天然优势,Alexa和Cortana在Android和iOS手机上仅作为第三方应用运行。这转化为口袋设备的卓越导航技能和操作系统级别的更深入集成。
由于所有助手都在语言处理和多设备支持方面取得了重大进步,Loup表示,它并没有预料到理解准确度的进一步大幅提升,相反,AI助手将学会做更多的事情,并控制更广泛的设备。 Loop期望Siri Shortcuts等新服务可以通过让用户为应用程序和功能创建自定义语音命令,从而消除摩擦,而现有的功能,如打车服务和支付功能将变得无处不在。
随着时间不断改善
在15个月的时间里,就正确回答方面,谷歌Assistant提高了11个百分点,Siri提高了13个百分点,而Cortana只提高了3个百分点。Loup没有Alexa应用程序的历史数据。Loup表示对技术发展的速度印象深刻。去年刚刚遇到的许多问题已经被自然语言处理和设备间连接的改善所抹去。
得分接近80-90%,这就引出了一个问题,这些助手最终是否能够回答你提出的所有问题?答案可能不是,但将来持续的改进能够允许越来越多的功能由你的声音控制。这通常意味着更多的设备间连接(例如,控制你的电视或智能家居设备)以及对电子邮件、消息发送或日历等功能的更多功能控制。
新兴功能继续推动公用事业的发展
语音计算就是要消除摩擦。实现这一目标的一个新功能是持续对话,这使你可以在不重复唤醒单词的情况下提出多个问题。路径和智能家居“场景”通过指令执行多个操作来消除摩擦。例如,你可以说“早上好”,你的助手会打开灯,给你读天气,播放你最喜欢的音乐列表。 Siri Shortcuts将于秋季随iOS 12推出,它将允许你创建可以用自己声音触发的小型自动化(或更多功能的日常工作)。Loup表示非常渴望在它推出后测试该功能。
支付和打车出行是两种使用情况,特别适用于语音,因为它们几乎不需要视觉输出。 这一次,Loup只有成功地使用Siri和Alexa,并且只能通过Siri和谷歌Assistant付款。 展望未来,希望这些功能都能成为标准功能。
品牌、内容合作请点这里:寻求合作 ››
想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:
下载APP
关注微信号
扫一扫下载APP
与资深行业研究员/经济学家互动交流让您成为更懂趋势的人
违法和不良信息举报电话:400-068-7188 举报邮箱:service@qianzhan.com 在线反馈/投诉 中国互联网联合辟谣平台
Copyright © 1998-2024 深圳前瞻资讯股份有限公司 All rights reserved. 粤ICP备11021828号-2 增值电信业务经营许可证:粤B2-20130734