当黑人女性玛丽·路易斯 (Mary Louis) 于 2021 年春天搬进马萨诸塞州的一套公寓时，她的兴奋变成了沮丧，因为她收到一封电子邮件，称“第三方服务”拒绝了她的租约。
该第三方服务包含一种旨在评分的算法 租房申请人，这成为集体诉讼的主题，路易斯掌舵，指控该算法存在种族和收入歧视。
周三，一名联邦法官在该诉讼中批准了一项和解协议，这是此类诉讼中的第一个和解协议，该算法背后的公司同意支付超过 220 万美元，并取消诉讼中指控的歧视性筛查产品的某些部分。
和解协议中，SafeRent Solutions 公司并未承认任何过错，该公司在一份声明中表示，虽然“仍然相信 SRS 分数符合所有适用法律，但诉讼既耗时又昂贵。”
虽然此类诉讼可能相对较新，但使用算法或人工智能程序对美国人进行筛选或评分却并非如此。多年来，人工智能一直在暗中帮助美国居民做出重要的决定。
当一个人提交工作申请、申请住房贷款甚至寻求某些医疗护理时，人工智能系统或算法有可能像路易斯一样对他们进行评分或评估。然而，这些人工智能系统基本上不受监管，尽管有些系统被发现存在歧视。
“管理公司和房东需要知道，他们现在已经注意到了，他们认为可靠且良好的这些系统将受到挑战，”路易斯的律师之一托德·卡普兰说。
该诉讼称，SafeRent 的算法没有考虑到住房券的好处，他们称住房券是租户支付每月账单能力的重要细节，因此它歧视了有资格获得援助的低收入申请人。
该诉讼还指责 SafeRent 的算法过于依赖信用信息。他们认为，它未能全面了解申请人按时支付租金的能力，并且对拥有住房券的黑人和西班牙裔申请人不公平，部分原因是由于历史不平等，他们的信用评分中位数较低。
原告律师之一克里斯汀·韦伯 (Christine Webber) 表示，仅仅因为算法或人工智能没有被编程为歧视，算法使用或权重的数据可能会产生“与你告诉它故意歧视相同的效果”。
当 Louis 的申请被拒绝后，她尝试对该决定提出上诉，并向两位房东发送了推荐信，以证明她已经提前或按时支付了 16 年的租金，即使她没有良好的信用记录。
拥有住房券的路易斯手忙脚乱，她已经通知前房东她要搬出去，而她则负责照顾孙女。
使用 SafeRent 筛选服务的管理公司的回应是：“我们不接受上诉，也不能推翻租户筛选的结果。”
路易斯感到自己被打败了。她说，算法不认识她。
“一切都基于数字。你无法从他们那里得到个人的同理心，”路易斯说。 “没有什么可以打败这个系统。这个体系总是会打败我们。”
虽然州立法者提出了针对此类人工智能系统的严格监管，但这些提案在很大程度上 未能获得足够的支持。 这意味着像路易斯这样的诉讼开始为人工智能问责制奠定基础。
SafeRent 的辩护律师在一项驳回动议中辩称，该公司不应承担歧视责任，因为 SafeRent 并未就是否接受或拒绝租户做出最终决定。该服务将对申请人进行筛选、评分并提交报告，但由房东或管理公司决定接受或拒绝租户。
圣路易斯的律师以及提交了本案利益声明的美国司法部认为，SafeRent 的算法可能要承担责任，因为它仍然在获得住房方面发挥着作用。法官驳回了 SafeRent 驳回这些指控的动议。
和解协议规定，在某些情况下，包括申请人使用住房券时，SafeRent 不能将其评分功能纳入其租户筛选报告中。它还要求，如果 SafeRent 开发出计划使用的另一个筛选分数，则必须由原告同意的第三方进行验证。
路易斯的儿子为她找到了一套经济实惠的公寓 Facebook 她后来搬进了这个市场，尽管价格贵了 200 美元，而且地段不太理想。
“我对自己能休息一下并不乐观，但我必须继续坚持，就是这样，”路易斯说。 “我有太多依赖我的人。”
