在医学领域,关于人工智能意外影响的警示故事已经成为传奇。
有一个程序旨在预测患者何时会患上败血症,这是一种致命的血液感染,但却引发了一连串的误报。 另一项旨在改善病情最严重的患者的后续护理,但似乎加剧了令人不安的健康差距。
由于担心此类缺陷,医生们一直让人工智能处于旁观状态:协助 作为抄写员, 作为一个 随意的第二意见 并作为 后台组织者。 但该领域已经获得了在医学及其他领域的投资和动力。
在批准新医疗产品方面发挥关键作用的食品和药物管理局内,人工智能是一个热门话题。 它有助于发现新药。 它可以查明意想不到的副作用。 甚至有人讨论将其视为对那些因重复、死记硬背的任务而不堪重负的员工的一种帮助。
然而,在一个关键方面,FDA 的角色受到了尖锐的批评:它审查和描述其批准的帮助医生检测从肿瘤、血栓到肺萎陷等一切疾病的项目的审查和描述是多么仔细。
“我们将会有很多选择。 这令人兴奋,”领先的医生游说团体美国医学会主席杰西·埃伦菲尔德博士在接受采访时说道。 “但是,如果医生打算将这些东西纳入他们的工作流程,如果他们愿意付费并且愿意使用它们,那么我们就必须对这些工具的工作有一定的信心。”
拜登总统发布行政命令 周一,该委员会呼吁各机构制定法规,试图管理人工智能的安全和隐私风险,包括医疗保健领域的风险。 该命令为人工智能医学研究以及收集伤害或不安全做法报告的安全计划寻求更多资金。 本周晚些时候将与世界领导人举行会议讨论这个话题。
在周一的一次活动中,拜登表示,监督人工智能的开发和安全并建立人们可以信任的系统非常重要。
“例如,为了保护患者,我们将使用人工智能来开发效果更好、成本更低的抗癌药物,”拜登先生说。 “我们还将启动一项安全计划,以确保人工智能医疗系统不会造成伤害。”
没有任何一个美国机构能够管理整个格局。 纽约州民主党参议员、多数党领袖查克·舒默 (Chuck Schumer) 于 9 月份召集科技高管前往国会山,讨论培育该领域并找出缺陷的方法。
谷歌为卫生工作者推出的新型聊天机器人试点已经引起了国会的关注。 它被称为 Med-PaLM 2,旨在回答医学问题,但具有 提出了担忧 关于患者隐私和知情同意。
FDA 如何监督此类“大型语言模型”或模仿专家顾问的程序,只是该机构落后于人工智能领域快速发展进步的一个领域。 该机构官员才刚刚开始谈论审查在处理数千次诊断扫描时将继续“学习”的技术。 该机构的现有规则鼓励开发人员一次专注于一个问题,例如心脏杂音或脑动脉瘤,这与欧洲使用的扫描一系列问题的人工智能工具形成鲜明对比。
该机构的管辖范围仅限于批准销售的产品。 它对卫生系统内部建立和使用的计划没有权力。 斯坦福大学、梅奥诊所和杜克大学等大型医疗系统以及健康保险公司可以构建自己的人工智能工具,在几乎没有政府直接监督的情况下影响数千名患者的护理和承保决策。
尽管如此,医生们在尝试部署 FDA 批准的大约 350 个软件工具来帮助检测血栓、肿瘤或肺孔时,还是提出了更多问题。 他们几乎找不到基本问题的答案:程序是如何构建的? 有多少人进行了测试? 它是否有可能识别出一般医生会漏掉的东西?
公开信息的缺乏,在充满数据的领域或许是自相矛盾的,导致医生们犹豫不决,担心听起来令人兴奋的技术可能会导致患者接受更多的活检、更高的医疗费用和有毒药物,而不会显着改善护理。
Eric Topol 博士是一本关于医学人工智能的书的作者,他对该技术的潜力几乎是一位镇定的乐观主义者。 但他表示,FDA 的做法是失误,允许人工智能开发人员保密他们的“秘密武器”,并且没有要求仔细研究来评估任何有意义的好处。
圣地亚哥斯克里普斯研究中心执行副总裁托波尔博士说:“你必须拥有真正令人信服的大量数据来改变医疗实践,并让人们相信这是正确的道路。” 相反,他补充说,FDA 允许走“捷径”。
大型研究开始讲述更多故事:人们发现使用人工智能进行检测的好处 乳腺癌 另一个突出的缺陷是应用程序旨在识别 皮肤癌,托波尔博士说。
FDA 医疗器械部门负责人杰弗里·舒伦 (Jeffrey Shuren) 博士承认,需要继续努力,确保人工智能项目在其部门批准后兑现承诺。 虽然药物和一些设备在批准之前会在患者身上进行测试,但人工智能软件程序通常不需要同样的测试。
Shuren 博士在 10 月 16 日的国家罕见疾病组织会议上表示,一种新方法可能是建立实验室,让开发人员可以访问大量数据并构建或测试人工智能程序。
“如果我们真的想确保这种适当的平衡,我们就必须修改联邦法律,因为我们用于这些技术的框架已经有近 50 年的历史了,”Shuren 博士说。 “它确实不是为人工智能设计的”
其他因素使大型医院和卫生网络采用机器学习的努力变得复杂。 软件系统之间不相互通信。 没有人就谁应该为它们买单达成一致。
据一项估计, 约百分之三十 的放射科医生(人工智能已深入发展的领域)正在使用人工智能技术。 可以锐化图像的简单工具很容易销售。 但高风险的项目,比如那些选择优先进行脑部扫描的项目,如果医生不知道该程序是否经过训练来检测 19 岁与 90 岁的疾病,他们就会感到担忧。老的。
意识到这些缺陷,尼娜·科特勒博士正在领导一项为期数年、耗资数百万美元的项目来审查人工智能项目。 她是 Radiology Partners 临床人工智能的首席医疗官,这是一家位于洛杉矶的诊所,每年为美国约 3,200 家医院、独立急诊室和影像中心读取约 5,000 万份扫描数据。
她知道,对于该诊所的 3,600 名放射科医生来说,深入研究人工智能将是一件很微妙的事情。 毕竟,被称为“人工智能教父”的杰弗里·辛顿 (Geoffrey Hinton) 在 2016 年搅动了整个行业,当时 他预测 机器学习将完全取代放射科医生。
科特勒博士说,她开始通过询问开发人员来评估批准的人工智能程序,然后测试一些程序,看看哪些程序遗漏了相对明显的问题或指出了微妙的问题。
她拒绝了一项已批准的计划,该计划除了放射科医生发现的病例之外,没有检测到肺部异常,并且错过了一些明显的异常。
她说,另一个扫描头部图像寻找动脉瘤的程序令人印象深刻,动脉瘤是一种可能危及生命的疾病。 尽管它标记出许多误报,但它发现的病例比放射科医生发现的病例多了约 24%。 更多患有明显脑动脉瘤的人接受了后续护理,其中包括一名 47 岁的患者,其大脑某个意想不到的角落出现了血管膨出。
八月份的远程医疗预约结束时,罗伊·费根医生意识到他在与患者交谈时遇到了困难。 由于怀疑中风,他赶紧前往北卡罗来纳州乡村的一家医院进行CT扫描。
该图像被发送给放射学合作伙伴诊所格林斯伯勒放射科,在那里它在中风分类人工智能程序中引发了警报。 放射科医生不必在 Fagan 医生之前筛选病例,也不必点击浏览 1,000 多个图像切片; 发现脑血栓的人立即弹出。
放射科医生将费根医生转移到一家更大的医院,可以迅速清除血栓。 他醒来时感觉一切正常。
“它并不总是那么有效,”Greensboro Radiology 的 Sriyesh Krishnan 博士说,他也是 Radiology Partners 的创新开发总监。 “但是当它发挥作用时,这些患者的生活就会发生改变。”
费根博士想在下周一重返工作岗位,但同意休息一周。 他对人工智能程序印象深刻,他说:“现在有了它真是一个进步。”
这些项目未经 FDA 审查,但考虑到不确定性,医生们已转向机构批准记录来寻求保证。 他们发现很少。 一个研究小组在研究针对重症患者的人工智能程序时发现,现实世界中的使用“完全不存在”或基于计算机模型的证据。 宾夕法尼亚大学和南加州大学团队 还发现了 其中一些项目是基于与现有医疗设备的相似性而获得批准的,其中一些项目甚至没有使用人工智能。
另一项研究 截至 2021 年,FDA 批准的项目发现,在 118 种人工智能工具中,只有一种工具描述了该项目接受培训的患者的地理和种族分类。 大多数程序都在 500 个或更少的案例上进行了测试,研究得出的结论是,这还不足以证明广泛部署它们的合理性。
马萨诸塞州总医院的研究作者兼首席数据科学官 Keith Dreyer 博士目前正在通过美国放射学院领导一个项目,以填补信息空白。 在愿意分享信息的人工智能供应商的帮助下,他和同事计划 发布更新 关于机构批准的计划。
例如,通过这种方式,医生可以查找一个程序旨在识别多少儿科病例,以告知他们可能影响护理的盲点。
FDA 发言人詹姆斯·麦金尼 (James McKinney) 表示,该机构的工作人员在批准人工智能程序之前会审查数千页内容,但承认软件制造商可能会撰写公开发布的摘要。 他说,这些并不是“为了做出购买决定”,并补充说,产品标签上提供了更详细的信息,而公众不容易获得这些信息。
AMA 主席 Ehrenfeld 博士表示,在医学领域正确监管人工智能是一项涉及多个机构的任务,这一点至关重要。 他说医生已经检查过 人工智能的作用 在致命的飞机失事中警告自动安全系统的危险超越飞行员或医生的判断。
他说,737 Max 飞机失事调查表明,飞行员没有接受过超越安全系统的培训,从而导致了致命的碰撞。 他担心医生可能会遇到在患者护理后台运行的类似人工智能使用,这可能是有害的。
“只要了解人工智能的存在,就应该有一个明显的起点,”埃伦菲尔德博士说。 “但目前尚不清楚,如果我们没有正确的监管框架,这种情况是否一定会发生。”