细思极恐！亚马逊口音识别技术可让Alexa分辨用户特征 提供针对性广告

图片来源：网络

在10月初，亚马逊悄然发布了一项专利，允许其虚拟助手Alexa根据声音破译用户的身体特征和情绪状态。语言口音、种族起源、情感、性别、年龄和背景噪音等特征或“语音特征”将立即被提取并标记到用户的数据文件中，以帮助提供更有针对性的广告。

该算法还会根据客户的IP地址、主要送货地址和浏览器设置来考虑客户的实际位置，以帮助确定其口音。专家表示，如果亚马逊的专利成为现实，或者已经有可能进行口音检测，那么就会引入监视和侵犯隐私的问题，以及潜在的歧视性广告。

该专利提出的公民权利问题与面部识别相似，后者也是亚马逊用作人工智能战略支柱的另一项技术，也是一项有争议地向执法部门推销的技术。与面部识别一样，语音分析突显出，现有法律和隐私保护措施根本无法保护用户免受新类别数据收集，严重地甚至会成为政府间谍活动的工具。与面部识别不同，语音分析不依赖于公共场所的摄像头，而是依赖于我们家中智能扬声器内的麦克风。它还针对广告提出了自己棘手的问题，这些问题基于国籍、母语等衍生特征来瞄准或排除某些人群(Facebook一次又一次偶然地陷入这种争议)。

为何政府可能对口音数据感兴趣

斯坦福大学法学院互联网与社会中心的消费者隐私主管詹妮弗·金说，如果基于语音的口音检测可以确定一个人的种族背景，那么它就会开辟出一种令政府极为感兴趣的新信息类别。

她说：“如果你有一家公司而且你正在创建新的数据分类，而政府又对它们感兴趣，你以为执法部门不会跟进那就太天真了。”

她描述了这样一个场景，了解用户的购买历史、现有的人口统计数据，以及他们是否讲阿拉伯语或阿拉伯口音的英语，亚马逊将识别用户并归属于宗教或种族群体。金说，如果这能够帮助联邦调查局(FBI)确定用户是不是恐怖组织的成员，那么FBI将强制亚马逊提供此类数据。她说，针对恐怖主义的数据需求对于企业来说更难应对，而那些要求含糊不清或过于宽泛的的企业则排在后面。

电子前沿基金会高级职员律师安德鲁·克罗克表示，“外国情报监视法”(FISA)使得政府可以秘密地要求这些数据。 FISA管理为获取外国势力信息而进行的电子间谍活动，允许在某些情况下无需手令进行此类监控，而在其他情况下，允许在不向公众开放、只有政府代表的法庭发出的搜查令下进行监视。在许多情况下，美国公民和居民的通信通常是根据法律获得的，但在偶然情况下，甚至偶然收集的通信也可能在FBI的调查中用于对付美国人。根据FISA，政府可以“更容易地获取秘密信息，并且存在国内法中不存在的大规模或批量监视能力。”克罗克说，“当然，这可以通过较少的法庭监督秘密进行。”

美国公民自由联盟的言论、隐私和技术项目的监督和网络安全律师詹妮弗·格兰尼克建议亚马逊的口音数据也可以为政府提供移民控制的信息。

“假设你让ICE去其中一家供应商并说‘给我们所有有西班牙语口音的人的订阅信息’......以便识别特定种族的人或理论上可能有无证件的亲属。”她说，“所以你可以看到这种类型的信息肯定会被滥用。”

虽然金说她没有看到政府要求这些数据的证据，但她目睹了“在其他情况下发生的类似事情。” 还有一种可能是，如果美国联邦调查局(FBI)向亚马逊发送了一封国家安全信函，一项禁令将阻止该公司披露大量信息，包括收到信函的确切数量。国家安全信函要求通信公司披露某些类型的信息，就像传票那样，但通常是秘密进行的。这些信函要求这些公司交出一些精选的数据，比如账户所有者的姓名和账户的年龄，但美国联邦调查局(FBI)通常会提出更多要求，包括电子邮件标题和互联网浏览历史纪录。

然而，与其他一些科技巨头相比，亚马逊在其收到的国家安全信函和一般数据请求的披露方面并不那么详细。例如，在其信息请求报告中，不像苹果和苹果所做的那样，亚马逊没有透露收到了多少NSL或者有多少帐户受到国家安全请求的影响。其他公司的这些更具体的披露显示出一种趋势：从2016年中期到2017年上半年，发送给苹果、Facebook和谷歌的国家安全请求显著增加。

但即使政府尚未向亚马逊提出此类要求，我们也知道它已经关注语音和语音技术已有一段时间了。 1月，The Intercept报道说，美国国家安全局已经开发出的技术不仅可以记录和转录私人谈话，还可以自动识别发言人。创建了一个人的“声纹”，可以与数百万截取和录制的电话、视频和互联网电话交叉对比。

为了创建美国公民的“声纹”，政府文件没有明确指出已经完成，专家表示，国家安全局只需要利用亚马逊或谷歌现有的语音数据。

在过去的一年里，亚马逊与政府的关系变得越来越融洽。 BuzzFeed最近透露了有关奥兰多警察局如何使用Rekognition(亚马逊的面部识别技术)来识别“感兴趣的人”的细节。几个月前，美国公民自由联盟(ACLU)揭露了亚马逊的行为，称其“向政府监控推销Rekognition”。同时， 6月，亚马逊正在忙着向移民和海关执法官员介绍其技术。

尽管这些爆料已经敲响了警钟，甚至对亚马逊的员工来说也是如此，但专家们表示，语音识别也带来了类似的担忧，即便不是更紧迫，也是同样紧迫的。亚马逊的语音处理专利可以追溯到去年3月。该公司在回应The Intercept的问题时表示，这项专利是探索性的，并承诺在收集和使用数据时遵守其隐私政策。

隐私法滞后于技术

当科技公司开始收集有关消费者的新数据时，美国薄弱的隐私法律是消费者容易受到攻击的原因之一。格拉尼克说:“法律中没有任何东西可以保护收集到的有关一个人的情绪或口音的数据。

在缺乏强有力的法律保护的情况下，消费者被迫在自己的隐私和虚拟助理的便利性之间做出权衡取舍。 “能够使用非常强大的语音控制将是非常好的，如果它意味着你不只是被用于一个巨大的AI算法，并用于提高新产品的能，特别是你还要为这些系统买单。”金说道。

电子通信隐私法案(ECPA)于1986年首次通过，是当时隐私保护的重大进步。但是现在，30多年后，它还没有赶上技术创新的步伐。通常，根据ECPA，政府机构需要传票、法院命令或搜查令才能强迫公司披露受保护的用户信息。与法院命令和搜查令不同，传票不一定需要司法审查。

亚马逊最新的信息披露报告涵盖了今年上半年，该报告显示公司在此期间收到了1,736份传票，其中1,283份传票要求提供部分或全部信息。自亚马逊三年前开始发布这些报告以来，它收到的数据请求数量稳步增加，2015年至2016年间有大幅增长。Echo，其支持Alexa的扬声器在家中使用，于2015年发布，亚马逊没有说明这一增长是否与它的扬声器越来越受欢迎有关。

虽然ECPA保护与我们的数字对话相关的数据，但格拉尼克表示，它对亚马逊等提供商收集信息的应用是“完全不够的。”“政府可以说，'给我们一个你认为是中国人、拉丁裔的名单'，提供者必须争论他们为什么不。这种结论性数据不受ECPA保护，这意味着政府可以通过传票强制其披露。”她说。

由于ECPA不明确，因此存在一个法律问题，即亚马逊是否可以自愿转交用户与Alexa的对话。格兰尼克表示，亚马逊可能认为此类数据是受ECPA保护的电子通信，并要求政府获得访问权限，但作为通信的一方，亚马逊也有权透露它。她说，到目前为止，还没有法院案件解决这个问题。

EFF的克罗克认为，与Alexa的交流，例如语音搜索和命令，受到ECPA的保护，但同意政府可以通过授权或其他法律程序获取数据。

他补充说，亚马逊存储口音信息的方式可能会影响政府访问它的能力。如果亚马逊将其长期存储在云中的客户配置文件中，那么这些配置文件比实时语音通信更容易获得，实际语音通信的拦截根据“窃听法案”(一项管理拦截和披露通信的联邦法律)引发保护。 (ECPA修改了窃听法案，将电子通信包括在内。)如果它存储在与Alexa语音搜索相关的元数据中，政府已经获得了过去的数据，并且可以继续通过这种方式获取。

2016年，阿肯色州的热水浴缸谋杀案致使被告人的Echo成为焦点。警方查封了该设备并试图获取其录音，促使亚马逊争辩说，与Alexa的任何通信及其回应都受到第一修正案下的言论自由保护。在被告允许的情况下，亚马逊最终将这些记录交了出来。最近一段时间，在新的谋杀案中，新罕布什尔州的一名法官命令亚马逊交出Echo录音，再次希望它可以提供刑事证据。

动态、有针对性和歧视性广告

除了政府监督外，专家们还很担心亚马逊新的数据分类增加了歧视性广告的可能性。当人口统计分析(传统广告的基础)与来自Alexa的其他经过算法评估的信息分层时，广告很快就会变得具有侵略性或令人反感。

格兰尼克表示，如果亚马逊“将一套住房广告展现给拥有中国口音，而将不同广告的展现给那些有芬兰口音的人......一个主要是强调中国邻居，另一个则是欧洲邻居。”这将是根据国籍或种族进行歧视。

金说，如果亚马逊允许广告商向某些种族或性别群体展示和隐藏广告，它也会面临价格歧视甚至种族歧视的指控。 “如果你住在O.C.，你有中国口音，是中产阶级，它可以向你展示更高价格的东西。 [Alexa]可能会说，‘我会根据这些东西给你推荐LV包包。’”她说。

基于情感销售产品也为广告商操纵消费者提供了机会。 “如果你是某个人口中的女性而且你很沮丧，那么，我们知道你可能会疯狂购物......知道你处于一种脆弱势状态，没有任何法规阻止她们这样做。”金说。

亚马逊专利的一个例子设想向说中文的人进行营销，尽管是在一个更加无害的背景下，描述广告如何针对“说普通话或有中国口音并住在美国的中年用户。”如果用户问“Alexa，今天有什么消息?”Alexa可能会回答：“在你的简要新闻发布之前，你可能会对小米电视盒感兴趣，它可以让你以49.99美元的价格观看超过1,000个实时中文电视频道。你想买吗?”

根据该专利，广告可以根据用户语音输入而呈现，但也可以“随时呈现”。它们甚至可以被注入到现有音频流中，例如新闻摘要或从音乐播放列表中播放歌曲。

新规则出现在数据隐私中

在Facebook的剑桥分析丑闻曝光后，立法者对科技公司及其隐私惯例越来越警惕。 9月下旬，参议院商务委员会就此问题与技术高管举行了新一轮的听证会，同时让技术高管有机会解释，他们是如何应对欧盟和加州新出台的严格数据隐私法。

加州的监管于6月通过，并于2020年生效，为美国的消费者隐私法树立了新的先例。它扩展了个人信息的定义，使加州居民能够更好地控制向第三方共享和销售数据。

不出所料，亚马逊和其他大型科技公司对新的改革进行了强有力的反击，以过度的处罚、合规成本和数据收集限制为由进行了强力反击，并称每家公司都为此花费了近20万美元。在参议院听证会期间，亚马逊副总裁兼副总法律顾问Andrew DeVore要求委员会考虑加利福尼亚州法律的“意外后果”，他称之为“令人困惑且难以遵守”。

现在中期选举已经过去，隐私权倡导者希望国会对隐私问题的兴趣转变为立法行动;到目前为止，它还没有。联邦贸易委员会也在考虑更新其消费者保护执法优先事项。 9月，它启动了一系列听证会，审查“新技术”和其他经济变化的影响。

格兰尼克表示，随着各州采取行动保护联邦政府所没有保护到的消费者，加州可以成为美国其他地区的典范。 8月，加利福尼亚州也成为第一个通过物联网网络安全法的州，要求制造商增加“合理的安全功能”，以保护其收集的信息免遭未经授权的访问、修改或披露。

2008年，伊利诺伊州成为第一个通过监管生物识别数据法律的州，对虹膜扫描、指纹、声纹、手部扫描和面部几何数据的收集和存储施加了限制。 (格兰尼克表示，目前还不清楚法律是否涵盖语音数据。)作为第一个通过具有里程碑意义立法的州，伊利诺伊州为加利福尼亚州提出了一个警示故事。尽管其法案曾被视为示范法，但在过去10年中，只有其他两个州，分别为德克萨斯州和华盛顿州，通过了生物识别隐私法。其他地方的类似努力在很大程度上被企业游说所扼杀

一个日益增长的全球问题

如果科技公司和政府机构变得过于友好，语音口音数据被滥用，活动家们会向其他国家寻求可能出现问题的例子。

去年，Die Welt报道说，德国政府正在测试语音分析软件，以帮助确认难民的来源。他们希望这将决定在德国寻求庇护的人的方言，移民官员在审查申请时会将其作为几个“指标”之一。由于语音专家质疑软件做出如此复杂决定的能力，因此测试遭到了怀疑。

人们通过智能扬声器自愿为科技公司提供的信息量正在增长，用户也可以通过智能扬声器进行购买。盖洛普去年进行的一项调查发现，22%的美国人目前使用像Echo这样的智能家居私人助理，将它们放在起居室、厨房和其他私密空间。根据消费者技术协会的一项研究，44%的美国成人互联网用户计划购买一台。

亚马逊带着拥有更复杂语音能力的Alexa进军智能家居已经有很长一段时间了。 2016年，它已经将情绪检测作为一种领先于竞争对手谷歌和苹果的方式。同年，它还提交了一个实时语言口音翻译专利申请，这是口音检测和翻译技术的结合。当上个月发布其情感和口音专利时，Alexa有能力读取情绪并检测客户是否生病，被人认为毛骨悚然。

亚马逊抓住“口音差距”

亚马逊目前的口音处理能力欠缺火候。今年7月，《盛顿邮报》华指控亚马逊和谷歌创造了一个“口音差距”，让非英语母语人士在语音激活技术革命中落后。 Alexa和Google Assistant都很难理解带中文和西班牙语口音的英语。

自语音识别技术出现以来，接受方言、语音障碍和口音一直是一个持久的挑战。如果今天亚马逊的专利技术可用，自然语言处理专家表示，口音和情绪检测也无法得出准确的结论。首先，教授人工智能的训练数据缺乏多样性，而且由于语言本身不断变化，任何人工智能都很难跟上。

虽然亚马逊的新专利表明它正在关注“口音差距”，但它可能出于错误的原因这样做。改进的语言口音检测使语音技术更加公平和可访问，但这是有代价的。

关于专利

专利并不是科技公司已经开发出来的产品，也不是他们能够开发出来的产品。特别是科技公司提交了数量惊人的专利申请。

在一份通过电子邮件发送的声明中，亚马逊表示，它提交了“一系列有前瞻性的专利申请，探索新技术的全部可能性。专利需要多年时间才能获得，并不一定反映当前产品和服务的发展。”该公司还说它“只会根据我们的隐私政策收集和使用数据”，并没有详细说明其技术的其他用途或数据。

但金也审查过多项Facebook专利，表示可以从中窥探公司的发展方向。

她说:“你会看到这样一个未来，与人和内心世界的互动变得越来越激进。”这是公司的下一个前沿领域。不只是跟踪你的行为，你去了哪里，他们认为你可能会买什么。现在是你的想法、你的感受，这就是让人们深感不舒服的地方。”

Granrix建议，目前，那些想要保持隐私并将监控风险降至最低的人不应该购买扬声器。 “你基本上都是为政府安装一个麦克风，让政府在你家里监听你的声音。”她说。