当你不知道算法在做什么时,如何让算法公平-王其杉博客|程序员|科技新闻
安迪·洛普
改变生活的决定是在黑暗中发生的。机器学习算法现在确定从贷款申请到癌症诊断的决策。在法国,他们把孩子送到学校。在美国,他们决定服刑。他们可以设定信用评分和保险费率,并决定求职者和大学申请者的命运。
但是这些程序往往是不可解释的。为了得出他们的决定,机器学习算法自动建立基于大数据集的复杂模型,使得即使使用它们的人也可能无法解释为什么或者如何得出特定的结论。它们是一个黑盒子。
广告
人工智能研究员桑德拉·沃克特正在努力将它们拖入光中。现年32岁,是牛津互联网研究所和伦敦艾伦·图灵研究所的研究员。她在自己的祖国奥地利接受律师培训,并将她对科技的兴趣归功于她的祖母,她祖母是被奥地利一所技术大学录取的前三名妇女之一。她说:“她把我对技术的思考塑造成一种强大而有趣、可以永久使用的东西。”
现在,沃特致力于人工智能、机器学习和机器人技术的法律和伦理含义。她充当了技术制造商与法官和决策者之间的纽带,法官和决策者将为技术创造法律框架。她说,她的工作是“达成公平的平衡”,并找出如何在不损害我们的人权和隐私的情况下获得技术的好处。
阅读下一步
Facebook打败谷歌,在人工智能领域占据统治地位
Facebook打败谷歌,在人工智能领域占据统治地位
通过
山姆山
Wachter认为我们应该有法律权利知道为什么算法会对我们作出具体的决定。但是存在冲突,因为软件所有者经常声称,提高透明度可能冒着泄露其知识产权的风险,或者帮助个人发现游戏系统的漏洞。Wachter和她的同事Brent Mittelstadt和Chris Russell已经提出了一个折衷方案:反事实的解释。
反事实是世界需要怎样的不同才能产生不同的结果:如果你一年多挣10000英镑,你就能得到抵押贷款;如果你的学位稍微好一点,你就能得到这份工作。
广告
“如果我没有得到贷款,我不必太在意算法是如何工作的。”我真的只是想知道为什么我没有得到贷款,并有一些关于如何改进的指导,”Wachter说。反事实的解释可以通过找到可能导致模型预测不同结果的最小可能的变化来提供这一点。
关键的是,反事实的解释给出了关于为什么做出决定而不透露算法的实质的答案。黑匣子保持密封。“它在有意义的信息和保护知识产权和商业秘密之间找到了甜点,”Wachter说。
2018年9月,Google在其开源机器学习网络应用程序TensorBoard的一个新特性.-if(如果)中实施了Wachter的建议。如果允许任何人分析机器学习模型,并为其结果创建反事实的解释——不需要编码。
阅读下一步
蒙特利尔重塑了自己,成为全球人工智能创业的大本营。
蒙特利尔重塑了自己,成为全球人工智能创业的大本营。
通过
詹姆斯·坦伯顿
算法出错时
谷歌,2018
康奈尔大学的研究人员发现,将用户的性别设定为女性会导致他们为高薪工作投放的广告数量减少。
达勒姆警察部队,2017年
由于担心它歧视来自某些地区的人,预测再犯罪的算法被回滚。
中国,正在进行
国家监控个人生活的许多方面,如就业和爱好,以给出基于“可信度”的评分。
芝加哥警察,2013-2017
一个项目,以确定参与枪击的风险标签的人作为以前的罪犯,根据他们住在哪里。
谷歌,2013年
一项研究显示,带有“黑色发音”名字的搜索更有可能出现诸如犯罪背景调查等服务的广告。
广告
除了阐明具体的决定,反事实的解释可以用于测试算法是否公平,例如通过检查改变某人的种族或性别是否影响决定(这将是非法的)。“在透明度和问责制方面,这是向前迈出的一大步,”Wachter说。
然而,她警告说,决策过程的透明度“只是问责硬币的一面”。“这让你明白为什么一个决定是以一种特定的方式做出的,但这并不意味着这个决定是合理的或合法的,”她说。
一个问题是,首先缺乏关于使用什么数据来训练决策算法的透明度。发薪日贷款机构Wonga声称使用7000多个数据点来评估申请者拖欠贷款的可能性。在中国,社会信用评分是基于一个人的在线行为和他们的朋友网络。
Wachter说,如果算法基于我们甚至不知道的变量来构建关于我们的假设,“这就成了人权问题”。根据我们的就业历史,我们可能会被拒绝工作,但不是因为我们喜欢Facebook上的报纸。她说,公司应该被要求证明他们用来做决策的数据点既相关又能导致准确的预测。
阅读下一步
AI正在入侵英国的警务,但是几乎没有证据表明它有用。
AI正在入侵英国的警务,但是几乎没有证据表明它有用。
通过
马特·伯吉斯
沃克特的最新工作集中在“合理推断的权利”上。根据2018年实施的全面欧洲数据保护条例GDPR,欧盟的每个人都有权访问和修改公司持有的有关这些数据的任何数据。我们还有“被遗忘的权利”——要求删除关于我们的在线搜索结果的能力。但是Wachter认为,除了访问我们的数据之外,我们还应该能够要求并纠正公司根据其内容对我们的任何假设。“这是被遗忘的权利的逻辑对应物,”她说。“你也有权利被别人看到。”
更多《连线》的伟大故事
–在黑暗网络最大的招聘网站内部
–到2050年伦敦地铁将如何实现碳中和
–一个能源巨头将在2019年提供所有能吃的电力。
广告
——你可以做的日常工作来防止气候变化
–英国陆军秘密信息战机内部
每周六,在《有线周刊》时事通讯中获取收件箱中最好的有线信息