人工智能（AI）正日益融入医疗保健运营，从预约安排、账单处理等行政职能到临床决策（包括诊断和治疗建议）均有所涉足。尽管人工智能带来显著效益，但对其偏见性、透明度及责任归属的担忧已促使监管机构采取应对措施。 科罗拉多州《人工智能法案》（以下简称《法案》）将于2026年2月1日生效，该法案对部署高风险人工智能系统的实体（特别是涉及影响医疗服务及其他关键领域重大决策的系统）提出了治理与信息披露要求。
鉴于该法案的广泛适用性——包括其对在科罗拉多州开展业务的实体可能产生的域外效力——医疗保健提供者必须主动评估其人工智能应用情况，并为遵守即将出台的法规做好准备。下文将探讨该法案的立法意图、适用的人工智能类型、未来监管框架、对提供者的潜在影响、法定合规要求以及执法机制。
1. 该法案旨在防范什么？
该法案主要旨在缓解算法歧视现象，即指基于种族、残疾、年龄或语言能力等特征，由人工智能驱动的决策导致对个人实施非法差异化对待或造成不同程度影响的行为。该法案力求防止人工智能强化现有偏见，或作出对特定群体造成不公平不利影响的决策。
医疗保健领域算法歧视的实例
- 就医便利性问题：人工智能驱动的电话预约系统可能无法识别某些口音，或无法准确处理非英语人士的语音输入，这使得非英语母语者预约医疗服务变得更加困难。
- 存在偏见的诊断工具与治疗建议：某些人工智能诊断工具可能针对不同种族的患者提出不同的治疗方案，其依据并非医学证据，而是源于训练数据中的偏见。例如，主要基于白人患者数据训练的人工智能模型，可能无法识别黑人或西班牙裔患者身上呈现不同特征的早期病症，从而导致对历史上被边缘化群体提出不准确或效果较差的治疗建议。
- 通过针对这些及其他由人工智能引发的不平等现象，《法案》旨在确保自动化系统不会强化或加剧医疗保健获取与治疗效果方面的现有差异。
2. 该法案涵盖哪些类型的人工智能？
该法案广泛适用于使用人工智能与科罗拉多州居民互动或对其作出决策的企业。尽管某些高风险人工智能系统——即在重大决策中起关键作用的系统——需遵守更严格的要求，但该法案对医疗保健领域使用的绝大多数人工智能系统均设定了义务。
法案中的关键定义
- “人工智能系统”指任何基于机器的系统，该系统产生的输出（如决策、预测或建议）能够影响现实世界环境。
- “重大决定”指实质性影响消费者获取医疗保健、保险或其他基本服务的机会或成本的决定。
- “高风险人工智能系统”指任何会作出或实质性影响重大决策的人工智能工具。
- “实质性因素”指由人工智能系统生成的、有助于作出重大决策或能够改变重大决策结果的因素。
- “开发者”指人工智能系统的创建者。
- “部署者”指高风险人工智能系统的使用者。
3. 医疗保健提供者如何确保合规？
尽管该法案规定了广泛的义务，具体法规仍在制定中。科罗拉多州总检察长受命制定规则以明确合规要求。这些法规可能涉及：
- 人工智能系统的风险管理与合规框架。
- 面向消费者的应用程序中人工智能使用的披露要求。
- 关于评估和缓解算法歧视的指导意见。
医疗保健提供者应密切关注监管框架的发展动态，确保其人工智能相关实践符合州法律要求。
4. 该法案将如何影响医疗保健运营？
该法案将要求医疗保健提供者具体评估其在各运营领域使用人工智能的情况，因该法案广泛适用于任何影响决策的人工智能系统。鉴于人工智能在患者护理、行政职能及财务运营中日益重要的作用，医疗机构应预见其在多个领域面临的合规义务。
账单与收款
- 应审查基于人工智能的计费和理赔处理系统，以发现可能存在的偏见，这些偏见可能导致特定患者群体在债务追讨过程中遭受不比例的针对性追讨。
- 部署者应确保其人工智能系统不会无意中为特定患者群体设置财务障碍。
预约安排与患者接诊
- 人工智能驱动的预约助手必须设计为能够满足残障患者和英语水平有限患者的需求，以避免无意中的歧视和延误就医。
- 服务提供者必须评估其人工智能工具是否存在以可能被视为歧视的方式，优先对待某些患者而冷落其他患者。
临床决策与诊断
- 人工智能诊断工具必须经过验证，以确保其不会对不同人群产生有偏见的诊断结果。
- 采用人工智能辅助分诊工具的医疗机构应制定审查人工智能生成建议的规程，以确保其公平性和准确性。
5. 若使用人工智能，您需要遵守哪些规定？
该法案为开发者和部署者设定了不同的义务。在多数情况下，医疗保健提供者将作为人工智能系统的"部署者"而非开发者。当医疗保健提供者将人工智能工具融入其运营时，需仔细审查与开发者的合同关系，以确保风险合理分配及信息共享机制的完善。
- 开发者（人工智能供应商）的义务
- 向部署方披露的信息：开发者必须确保人工智能系统的训练数据、已知偏见及预期使用场景的透明度。
- 风险缓解：开发者必须记录为减少算法歧视所做的努力。
- 影响评估：开发者必须在部署人工智能系统前评估其是否存在歧视风险。
- 部署者的义务（例如：医疗保健提供者）
- 避免算法歧视的义务
- 部署高风险人工智能系统的责任方必须采取合理谨慎措施，保护消费者免受已知或可预见的算法歧视风险。
- 风险管理政策与计划
- 部署者必须实施风险管理政策和计划，以识别、记录并减轻算法歧视风险。
- 该计划必须具有迭代性，定期更新，并与公认的人工智能风险管理框架保持一致。
- 要求因部署者的规模、复杂性、人工智能系统范围及数据敏感性而异。
- 影响评估（常规与事件触发式审查）
- 时间要求： 部署者必须进行影响评估：
- 在部署任何高风险人工智能系统之前。
- 对于每个部署的高风险人工智能系统，至少每年一次。
- 在对人工智能系统进行任何故意且重大的修改后90天内。
- 必备内容：每项影响评估必须包含人工智能系统的目的、预期用途及效益；对算法歧视风险的分析及缓解措施；所处理数据的描述（包括输入数据、输出数据及任何定制化数据）；性能指标与系统限制；透明度措施（含消费者披露）；以及部署后监测与保障机制的详细说明。
- 修改的特殊要求：若因重大修改而进行影响评估，该评估还必须包含说明，阐明人工智能系统的实际使用情况与其最初预期用途的契合度或偏差情况。
- 时间要求： 部署者必须进行影响评估：
- 通知与透明度
- 公告：部署方必须在其网站上发布声明，说明其使用的高风险人工智能系统以及如何管理歧视风险。
- 致患者/员工通知：在人工智能系统作出重大决策前，必须告知相关人员该系统的使用情况。
- 决策后说明：若人工智能导致不利决策，部署方必须说明其作用，并允许当事人提出申诉或更正不准确数据。
- 总检察长通知：若发现人工智能导致算法歧视，部署方必须在90天内通知总检察长。
- 避免算法歧视的义务
小型部署者（员工少于50人的企业）若未使用自有数据训练人工智能模型，则可免除诸多合规义务。
6. 该法案如何执行？
- 唯有科罗拉多州总检察长拥有执法权。
- 若部署者遵循公认的人工智能风险管理框架，则存在可反驳的合规推定。
- 该法不赋予私人诉讼权，这意味着消费者不能依据该法直接提起诉讼。
医疗保健提供者应及早采取行动，评估其人工智能使用情况并实施合规措施。
最终思考：医疗保健提供者当前应采取的行动
- 该法案标志着人工智能监管领域的重大转变，尤其对日益依赖人工智能驱动工具开展患者护理、行政职能及财务运营的医疗服务提供者而言。
- 尽管该法案旨在提高透明度并减轻算法歧视，但也给相关机构带来了重大的合规义务。医疗机构必须评估其人工智能应用情况，实施风险管理协议，并保留详细记录。
- 鉴于监管环境的不断演变，医疗保健提供者应采取主动措施，包括对现有人工智能系统进行审计、对员工进行合规要求培训，并建立符合最佳实践的治理框架。随着科罗拉多州总检察长制定法规的进程推进，及时了解新增的监管要求对于确保合规并规避执法风险至关重要。
- 最终，该法案反映了人工智能监管的更广泛趋势，这种趋势很可能超越州界。当前投资于人工智能治理的医疗机构，不仅能降低法律风险，还能在日益由人工智能驱动的行业中维持患者信任。
- 若医疗机构计划将人工智能系统整合至运营流程中，必须进行全面的法律分析以确定《法案》是否适用于其具体应用场景。此过程还应包含对人工智能开发商服务协议的审慎审查与协商，以确保医疗机构能从开发商处获得充分信息与协作支持，从而符合《法案》要求，并合理分配双方风险责任。
合规并非千篇一律的过程。它需要对人工智能工具、其功能及其影响重大决策的潜在能力进行审慎评估。机构应与法律顾问密切合作，以应对该法案的复杂性，实施风险管理框架，并建立持续合规的规程。随着人工智能法规的演进，主动的法律评估将至关重要，这不仅能确保医疗服务提供者满足监管要求，更能维护符合更广泛行业标准的伦理与公平的人工智能实践。
福里律师事务所致力于协助您应对监管变革带来的短期与长期影响。我们拥有丰富的资源，可助您应对这些挑战以及与业务运营和行业特定问题相关的其他重要法律考量。请联系本文作者、您的福里客户关系合伙人或我们的 医疗保健与生命科学业务组或 创新技术业务组 团队。
