围绕人工智能及其改变行业的潜力,人们议论纷纷。 医疗保健在这方面排名靠前。 如果应用得当,人工智能将通过改善癌症的早期检测和诊断,加速癌症治疗,从而显着改善患者的治疗结果。 发现 更有效的靶向治疗、预测疾病进展并制定理想的个性化治疗计划。
除了这一令人兴奋的潜力之外,还有一个令人难以忽视的事实:用于训练医疗人工智能模型的数据反映了内在的偏见和 长期困扰美国卫生系统的不平等现象 并且经常缺乏关键信息 代表性不足的社区。 如果不加以控制,这些偏见将扩大不平等,并导致因社会经济地位、种族、民族、宗教、性别、残疾或性取向而丧生。
死亡将会发生
为了生成人工智能模型,数据科学家使用算法从大数据集中发现或学习预测能力的关联。 在大型语言模型 (LLM) 或生成人工智能中,深度学习技术被用来分析和学习输入文本数据中的模式,无论该信息是真、假还是根本不准确。 这些数据无论多么不完美,都使得模型能够对各种查询形成连贯且相关的响应。
在医疗保健领域,患者接受治疗或不接受治疗的方式的差异嵌入在用于训练人工智能工具的数据中。 当应用于大量且多样化的人群时,这意味着特定人群(例如有色人种、代表性不足的社区、残疾人或人群)的医疗需求 具有特定类型的健康计划承保范围——可能被忽视、忽视或误诊。 如果不加以控制,人们将不必要地死亡——我们甚至可能不知道潜在的错误信息或谎言的存在。
人工智能系统并不是孤立运行的。 让我们举一个现实世界的例子:如果机器学习软件接受大量数据的训练,其中包括根深蒂固的系统性偏见,这些偏见导致向白人患者提供的护理与有色人种患者提供的护理不同,那么这些数据不平等就会传递给人工智能算法并随着模型的学习和迭代而呈指数放大。 在我们当前的人工智能复兴四年前进行的研究表明,对于那些已经得不到充分服务的人们来说,会产生如此可怕的后果。 2019 年一项具有里程碑意义的研究 科学 研究了一种基于人工智能的预测算法,该算法在为超过 1 亿患者提供服务的医院中使用,发现黑人患者的病情必须比白人患者严重得多,才能成为同等护理水平的候选人。
在这种情况下,用于训练人工智能模型的基础数据存在缺陷。 该算法也是如此,该算法根据医疗保健支出数据进行训练,作为医疗保健需求的代理。 该算法反映了一个历史性的差异,即与具有相同需求水平的白人患者相比,黑人患者获得护理的机会较少,因此产生的商业保险索赔数据较少,医疗保健支出也较少。 使用历史医疗保健成本作为健康指标,人工智能模型错误地得出结论,黑人患者比同等病情的白人患者更健康,反过来,将需要额外护理的黑人患者人数少了一半以上。 当算法得到修正后,根据医疗需求确定需要额外护理的黑人患者比例从 18% 增加到 47%。
其他 算法该项目旨在评估严重残疾的州居民应获得多少小时的家庭援助,但被发现存在一些偏差,导致有关受助者医疗需求的错误。 结果,该算法指示削减急需的医疗服务,导致许多患者的护理受到极大干扰,在某些情况下甚至导致住院治疗。
有缺陷的算法的后果可能是致命的。 A 最近的研究 专注于基于人工智能的工具,以促进脓毒症的早期发现,这种疾病每年导致约 27 万人死亡。 该工具部署在 170 多家医院和卫生系统中,但未能预测 67% 的患者患有脓毒症。 它为数千人发出了错误的败血症警报。 研究人员发现,检测缺陷的根源在于,该工具正在新的地区使用,其患者人口统计数据与它所训练的地区不同。 结论:人工智能工具在不同地区和人口统计数据中的表现并不相同,因为患者的生活方式、疾病发生率以及获得诊断和治疗的机会各不相同。
尤其令人担忧的是,人工智能驱动的聊天机器人可能会使用依赖于未经过信息准确性筛选的数据的法学硕士。 可能会导致虚假信息、对患者的错误建议以及有害的医疗结果。
我们需要挺身而出
在人工智能改变医疗保健之前,医学界需要加紧努力,坚持在每个发展阶段进行人工监督,并在部署时应用道德标准。
在医学领域开发人工智能时,需要采用全面、多维的方法。 这不仅仅是数据科学家的任务,还需要各种专业人士的深入参与——包括数据科学家、技术人员、医院管理人员、医生和其他来自不同背景和不同观点的医学专家,他们都意识到人工智能管理不善的危险——提供必要的监督,以确保人工智能成为医疗保健的积极变革工具。
正如药物试验需要 FDA 的监督(指导原则以及公开共享的数据和证据)一样,医疗保健领域的人工智能管理在应用于临床环境之前也需要独立的审计、评估和审查。 FDA 拥有监管医疗设备的流程,但缺乏专门的资金和明确的途径来监管基于人工智能的新工具。 这使得人工智能开发人员只能自己开发减少偏见的流程——如果他们意识到有必要这样做的话。 私营企业、数据科学家和医学界必须在开发和部署人工智能的团队中建立多样性。 人工智能可以而且应该被开发并应用于医学,因为它的潜力是巨大的——但我们都需要承认医学的复杂性,特别是考虑到训练数据中根深蒂固的偏见,并且需要一个模型设计来考虑到医学的每一步。过程。
作为一名医生,我在医学院学到的第一个信条就是希波克拉底誓言。 我发誓“首先,不伤害”。 现在,作为一名高管和创新者,我的目标是超越自我。 为人工智能在医疗保健领域正常运作构建基础设施将使我们在医疗保健转型以造福所有人的道路上迈出一大步。
Chevon Rariy 医学博士是 Oncology Care Partners(一个基于价值的创新肿瘤护理网络)的首席健康官兼数字健康高级副总裁,同时也是专注于肿瘤学的投资者和执业内分泌学家。 她是 Equity in STEMM、Innovation 和 AI 的联合创始人,该组织与学术界、行业和政策制定者合作,减少医疗保健方面的障碍,并在代表性不足的社区推进 STEMM(科学、技术、工程、数学和医学)。 Rariy 博士在数字健康、技术和股权交叉领域的各种非营利和私人董事会任职,并且是 2023 年 JOURNEY Fellow。
更多必读评论由 财富:
《财富》评论文章中表达的观点仅代表作者的观点,并不一定反映以下观点和信念: 财富。