人工智能帮法官给罪犯定罪并决定服刑时间 但算法偏见是个大问题

当Netflix的电影推荐错误时，你可能会认为这不是什么大问题。同样，当你最喜欢的运动鞋没有进入亚马逊的推荐产品列表时，它也不会让你觉得世界末日来临。但是，当算法为你评估1到500的威胁分数(用于判断服刑时间)时，你可能会对预测分析的这种使用产生一些担忧。

人工智能(AI)现在几乎渗透到我们生活的方方面面。当然，机器预测并不总是100%准确。但是，当在高风险设置中实施AI时，错误成本会急剧增加。这可能包括推荐治疗癌症的新药物，或刑事司法，以帮助法官评估嫌疑人重新犯罪的可能性。事实上，近年来人工智能最具争议的用途之一是预测性警务。

对于普通观众而言，预测性警务方法可能最为人所知的是2002年由汤姆·克鲁斯主演的科幻电影《少数派报告》。根据菲利普·迪克(Philip K. Dick)的一篇短篇小说改编，这部电影展示了一个可以预测和预防犯罪的未来愿景。这可能听起来像一个十分牵强的乌托邦情景。然而，预测司法今天已经存在。建立在先进的机器学习系统之上，有一大批新公司为法院提供预测服务;例如，以风险评估算法的形式，估计犯罪分子再犯的可能性。

机器可以识别未来的罪犯吗?

在2013年被捕后，Eric Loomis被判处六年监禁，部分原因是基于一个不透明的算法预测，认为他会犯下更多罪行。 Equivant(以前称为Northpointe)是Eric Loomis案件中使用的专利软件背后的公司，声称提供了被告的360度视图，以便在司法决策中提供详细的算法帮助。

该公司是美国预测性司法领域的众多参与者之一。电子隐私信息中心最近的一份报告发现，在法庭上越来越多地使用算法来“设定保释金，裁定刑期，甚至有助于确定有罪或无罪”。在法庭上向更多机器智能的转变，允许人工智能加强人类判断，对整个司法系统可能极为有利。

然而，ProPublica的一份调查报告发现，这些算法往往会加剧执法数据中的种族偏见。算法评估往往错误地将黑人被告作为未来的罪犯，几乎是白人被告的两倍。更重要的是，依赖这些风险评估的法官通常不了解分数是如何计算的。

这是有问题的，因为机器学习模型的可靠性取决于它们所训练的数据。如果基础数据存在任何形式的偏差，则存在的结构性不平等和不公平偏差，不仅会被复制，而且还有被放大的风险。在这方面，人工智能工程师必须特别警惕他们的盲点和隐含的假设;重要的不仅仅是机器学习技术的选择，还有关于为AI模型寻找、组织和标记训练数据的所有小决策。

有偏见的数据带来了偏见的算法

即使很小的违规行为和偏见也会在最终的风险评估中产生相当大的差异。关键问题是种族偏见和结构性歧视等问题已经渗透到我们周围的世界。

例如，有证据表明，尽管吸毒率相似，但与毒品相关指控，美国黑人的逮捕率是美国白人的四倍。即使工程师忠实地收集这些数据并用它训练机器学习模型，AI仍然会将嵌入式偏差作为模型的一部分。

不平等的系统模式无处不在。如果你看一下2014/2015最卖座的电影，你会发现女性角色在屏幕时间和说话时间方面的代表性都很低。新的机器学习模型可以量化这些不平等，但是有很多关于工程师如何主动缓解这些不平等的问题。

谷歌最近的“Quick, Draw!”涂鸦小游戏生动地证明了解决偏见问题的原因。该实验邀请全世界的互联网用户参与有趣的绘画游戏。在每一轮游戏中，用户都被要求在20秒内绘制一个物体。然后，AI系统将尝试猜测他们的图画描绘了什么。来自100个国家超过2000万的人参与了这场比赛，产生了超过20亿种各种各样的物品图画，包括猫、椅子、明信片、蝴蝶、地平线等。

但是当研究人员在数据集中检查鞋子的图纸时，他们意识到他们正在处理强烈的文化偏见。大量早期用户画出的运动鞋看起来像匡威帆布鞋。这导致该模型将运动鞋的典型视觉属性作为“鞋子”应该是什么样的原型示例。因此，看起来不像运动鞋的鞋子，如高跟鞋、芭蕾舞鞋或木底鞋，都不被识别为鞋子。

最近的研究表明，如果不加以控制，机器学习模型将学习过时的性别刻板印象，例如“医生”是男性，“接待员”是女性。以类似的方式，以过去美国总统的形象来训练的AI模型已被证明，只能预测男性候选人可能成为总统竞选的赢家。

设计人工智能的公平性

2018年10月，国际数据保护和隐私委员会会议发布了“人工智能伦理与保护宣言”，这是迈向人工智能国际治理原则的第一步。该声明指出，“应减少和减轻因使用人工智能数据而可能导致的非法偏见或歧视”。这一概念固有的断言是，人工智能需要在更广泛的道德和法律标准上进行评估;不仅仅基于分类准确性和混淆模型。为了预测司法的目的，我们提出了以下AI公平原则：

1.代表性

为了防止不公平的偏见，所有受试者都应该有相同的机会在数据中出现。有时，这意味着需要将代表性不足的人群添加到任何训练数据集中。有时这也意味着有偏差的机器学习模型需要在不同的数据源上进行大量重新训练。在谷歌的Quick, draw!实验中，工程团队不得不故意寻找其他鞋类的其他训练样例，如高跟鞋和鳄鱼皮，以弥补代表性的差距。更重要的是，最近的研究提供了新的算法技术来衡量虚假陈述，并帮助减轻机器学习中不必要的偏差。

2.保护

机器学习系统需要避免对个人的不公正影响，特别是与社会和物理漏洞相关的影响以及其他敏感属性。这些可能包括种族、民族、性别、国籍、性取向、宗教和政治信仰。算法的整体公平性必须根据它如何影响受其影响的最脆弱人群来判断。

然而，简单地从机器学习模型中省略敏感变量并不能解决问题，因为可能混杂着与它们相关的各种因素。关于刑事司法，研究表明，从犯罪历史数据集中省略种族仍然导致种族不同的预测。相反，有早期证据表明，可以使用补充机器学习算法从数据集中删除种族差异和其他敏感信息。希望将来，这种方法可以帮助工程师建立一个“种族中立”的人工智能系统，用于预测再次犯罪。

3.管理精神

算法公平意味着不仅仅是没有不公正;它代表了在机器学习系统设计中不断追求公平的积极责任。在这方面，管理精神只能由一个挑战彼此隐含假设的多元化团队承担。

例如，在常规的消除无意识偏见练习中，团队可以对多样化的观点进行评价。包括ProPublica和Privacy International在内的一些非政府组织也开始在建立大规模人工智能模型的公司中倡导多元化管理。因此，只有通过创造包容性文化，公司才能为团队创造适当的条件，以解决机器学习中的不公平偏见。

4.真实性

最终原则不仅涉及培训数据的真实性，还涉及人工智能预测的真实性，因为它们被用于为人类决策提供信息。例如，尽管继续努力限制可能有害或滥用的应用程序，过去一直遗憾地使用机器学习来通过虚假伪造来扭曲现实。在这种情况下，人工智能的普遍滥用可以帮助恶意行为者制作虚假的视频，让人们说出他们以前从未说过的话，或伪造现实生活中从未发生的情况。极端情况下，这可能会导致一个世界，法官无法再确定任何媒体的描述或证据是否与真相相符。因此，这导致一些媒体权威人士得出结论，“人工智能的最大牺牲品不会是工作，而是最终彻底消除对你看到或听到的任何信任。”幸运的是，人工智能研究人员已经在努力提高效率和可扩展性反措施，以检测各种形式的操纵媒体。

防止机器偏差的机器

这四个原则可以帮助开始关于AI公平性的对话，特别是当用于预测性司法时。 公平永远不是机器学习的默认。 因此，工程师需要采取主动措施来更改此默认值。 如果我们不积极设计AI公平性，我们就有可能使有害的偏见和刻板印象永久化。

然而，关于AI的最令人印象深刻的事情之一是，算法也可以有效地用于衡量和减轻不公平的偏见。 展望未来，工程师们希望将这些技术扩展到有意义的领域，帮助人类决策者做出没有偏见的预测。