인공지능(AI)은 일정 관리 및 청구와 같은 행정 기능부터 진단 및 치료 권고와 같은 임상적 의사 결정에 이르기까지 의료 운영 전반에 점점 더 통합되고 있습니다. AI가 상당한 이점을 제공함에도 불구하고, 편향성, 투명성 및 책임성에 대한 우려로 인해 규제 대응이 촉발되었습니다. 2026년 2월 1일 발효 예정인 콜로라도주 인공지능법 (이하 '법')은 고위험 AI 시스템을 도입하는 기관, 특히 의료 서비스 및 기타 중요 분야에 영향을 미치는 중대한 결정에 관여하는 기관에 거버넌스 및 공개 의무를 부과합니다.
해당 법안의 광범위한 적용 범위(콜로라도에서 사업을 영위하는 기관에 대한 잠재적 역외 적용 포함)를 고려할 때, 의료 서비스 제공자들은 인공지능 활용 현황을 선제적으로 평가하고 향후 시행될 규정 준수를 준비해야 합니다. 아래에서는 법안의 취지, 적용 대상이 되는 인공지능 유형, 향후 규제, 제공자에 대한 잠재적 영향, 법적 준수 요건 및 집행 메커니즘에 대해 논의합니다.
1. 이 법은 무엇을 방지하려고 하는가?
이 법안은 주로 인종, 장애, 연령, 언어 능력 등 특정 특성에 기반하여 개인에게 불법적인 차별적 대우나 불균형적 영향을 초래하는 인공지능 기반 의사결정, 즉 알고리즘 차별을 완화하는 것을 목표로 합니다. 이 법안은 인공지능이 기존의 편향을 강화하거나 특정 집단을 불공정하게 불리하게 만드는 결정을 내리는 것을 방지하고자 합니다.
의료 분야에서 발생하는 알고리즘 차별 사례
- 의료 접근성 문제: 인공지능 기반 전화 예약 시스템은 특정 억양을 인식하지 못하거나 비영어권 사용자의 말을 정확히 처리하지 못할 수 있어, 비영어권 사용자가 의료 예약을 잡는 데 어려움을 겪을 수 있습니다.
- 편향된 진단 도구와 치료 권고: 일부 인공지능 진단 도구는 의학적 근거가 아닌 훈련 데이터의 편향성으로 인해 인종이 다른 환자에게 서로 다른 치료법을 권고할 수 있습니다. 예를 들어, 주로 백인 환자 데이터로 훈련된 인공지능 모델은 흑인이나 히스패닉 환자에서 다르게 나타나는 질병의 초기 징후를 놓칠 수 있으며, 이로 인해 역사적으로 소외된 집단에게 부정확하거나 덜 효과적인 치료 권고가 이루어질 수 있습니다.
- 이 법안은 이러한 AI 기반 불평등 및 기타 불평등을 대상으로 함으로써, 자동화 시스템이 의료 접근성과 결과 측면에서 기존 격차를 강화하거나 악화시키지 않도록 보장하는 것을 목표로 합니다.
2. 본 법안은 어떤 유형의 인공지능을 다루는가?
이 법은 콜로라도 주민과 상호작용하거나 그들에 대한 결정을 내리는 데 인공지능을 사용하는 기업에 광범위하게 적용됩니다. 중대한 결정에 상당한 영향을 미치는 특정 고위험 인공지능 시스템은 더 엄격한 요건을 적용받지만, 이 법은 의료 분야에서 사용되는 대부분의 인공지능 시스템에도 의무를 부과합니다.
법률의 주요 정의
- "인공지능 시스템"이란 실제 환경에 영향을 미칠 수 있는 결정, 예측 또는 권고와 같은 출력을 생성하는 기계 기반 시스템을 의미한다.
- "중대한 결정" 이란 소비자의 의료 서비스, 보험 또는 기타 필수 서비스에 대한 접근성이나 비용에 실질적인 영향을 미치는 결정을 의미한다.
- "고위험 인공지능 시스템"이란 중대한 결정을 내리거나 그 결정에 실질적인 영향을 미치는 인공지능 도구를 의미한다.
- "중요한 요소"란 AI 시스템에 의해 생성된 요소로서, 중대한 결정을 내리는 데 기여하거나 중대한 결정의 결과를 변경할 수 있는 요소를 의미한다.
- "개발자"란 인공지능 시스템의 제작자를 의미합니다.
- "배포자"란 고위험 AI 시스템의 사용자를 의미한다.
3. 의료 서비스 제공자는 어떻게 규정 준수를 보장할 수 있나요?
해당 법안은 광범위한 의무를 규정하고 있으나, 구체적인 규정은 아직 마련되지 않았다. 콜로라도 주 법무장관은 준수 요건을 명확히 하기 위한 규칙을 마련하는 임무를 부여받았다. 이러한 규정들은 다음 사항을 다룰 수 있다:
- 인공지능 시스템의 위험 관리 및 규정 준수 프레임워크
- 소비자 대상 애플리케이션에서의 인공지능 사용에 대한 공개 의무
- 알고리즘적 차별 평가 및 완화 지침
의료 서비스 제공자는 규제 체계가 발전함에 따라 관련 동향을 주시하여 인공지능 관련 업무가 주 법률에 부합하도록 해야 합니다.
4. 해당 법안이 의료 서비스 운영에 어떤 영향을 미칠 수 있나요?
이 법안은 의사 결정에 영향을 미치는 모든 인공지능 시스템에 광범위하게 적용되므로, 의료 서비스 제공자들이 다양한 운영 영역에서 인공지능을 활용하는 방식을 구체적으로 평가하도록 요구할 것입니다. 환자 치료, 행정 업무 및 재무 운영에서 인공지능의 역할이 확대됨에 따라, 의료 기관들은 여러 영역에서 준수 의무가 발생할 것을 예상해야 합니다.
청구 및 채권 추심
- 인공지능 기반 청구 및 보험금 청구 처리 시스템은 채권 추심 과정에서 특정 환자 집단에 불균형적으로 집중될 수 있는 잠재적 편향성을 검토해야 한다.
- 배포자는 자신의 인공지능 시스템이 특정 환자 집단에게 의도치 않게 재정적 장벽을 조성하지 않도록 해야 합니다.
예약 및 환자 접근
- 인공지능 기반 예약 지원 시스템은 장애가 있거나 영어 능력이 제한된 환자를 수용할 수 있도록 설계되어야 하며, 이를 통해 의도치 않은 차별과 치료 접근 지연을 방지해야 한다.
- 제공자는 자신의 인공지능 도구가 특정 환자를 다른 환자보다 우선시하여 차별적이라고 간주될 수 있는 방식으로 운영되는지 평가해야 합니다.
임상적 의사 결정과 진단
- 인공지능 진단 도구는 다양한 인구 집단에 대해 편향된 결과를 생성하지 않도록 검증되어야 한다.
- 인공지능 기반 분류 도구를 사용하는 의료 기관은 공정성과 정확성을 보장하기 위해 인공지능이 생성한 권고 사항을 검토하는 절차를 마련해야 한다.
5. 인공지능을 사용할 경우, 어떤 규정을 준수해야 합니까?
이 법은 개발자와 배포자에게 서로 다른 의무를 규정합니다. 의료 서비스 제공자는 대부분의 경우 개발자가 아닌 AI 시스템의 '배포자'에 해당합니다. 의료 서비스 제공자는 AI 도구를 운영에 도입함에 따라 개발자와의 계약 관계를 면밀히 검토하여 적절한 위험 분배 및 정보 공유를 확보해야 할 것입니다.
- 개발자(AI 공급업체)의 의무
- 배포자에 대한 공개 사항: 개발자는 AI 시스템의 훈련 데이터, 알려진 편향성 및 의도된 사용 사례에 대해 투명성을 제공해야 합니다.
- 위험 완화: 개발자는 알고리즘적 차별을 최소화하기 위한 노력을 문서화해야 합니다.
- 영향 평가: 개발자는 AI 시스템을 배포하기 전에 해당 시스템이 차별 위험을 초래하는지 평가해야 합니다.
- 배치자의 의무(예: 의료 서비스 제공자)
- 알고리즘 차별 방지 의무
- 고위험 인공지능 시스템 배포자는 알고리즘 차별의 알려진 또는 예측 가능한 위험으로부터 소비자를 보호하기 위해 합리적인 주의를 기울여야 한다.
- 위험 관리 정책 및 프로그램
- 배포자는 알고리즘 차별의 위험을 식별, 문서화 및 완화하는 위험 관리 정책 및 프로그램을 구현해야 합니다.
- 해당 프로그램은 반복적이어야 하며, 정기적으로 업데이트되고, 인정된 인공지능 위험 관리 프레임워크와 일치해야 합니다.
- 요구 사항은 배포자의 규모, 복잡성, AI 시스템 범위 및 데이터 민감도에 따라 달라집니다.
- 영향 평가 (정기 및 사건 유발 검토)
- 타이밍 요구사항: 배포자는 영향 평가를 수행해야 합니다:
- 고위험 AI 시스템을 배포하기 전에.
- 배포된 고위험 AI 시스템마다 최소한 매년.
- 인공지능 시스템에 대한 고의적이고 중대한 변경이 발생한 후 90일 이내에.
- 필수 내용: 각 영향 평가는 AI 시스템의 목적, 의도된 사용 및 이점, 알고리즘 차별 위험 분석 및 완화 조치, 처리되는 데이터(입력, 출력 및 모든 맞춤화 데이터)에 대한 설명, 성능 지표 및 시스템 한계, 투명성 조치(소비자 공개 포함), 배포 후 모니터링 및 안전 장치에 대한 세부 사항을 포함해야 합니다.
- 수정 시 특별 요구사항: 중대한 수정으로 인해 영향 평가가 수행되는 경우, 해당 평가에는 인공지능 시스템의 실제 사용이 원래 의도된 목적과 어떻게 부합하거나 벗어났는지에 대한 설명도 포함되어야 합니다.
- 타이밍 요구사항: 배포자는 영향 평가를 수행해야 합니다:
- 알림 및 투명성
- 공지사항: 배포자는 자사 웹사이트에 고위험 인공지능 시스템의 사용 현황 및 차별 위험 관리 방안을 설명하는 공지를 게시해야 합니다.
- 환자/직원 대상 공지: 인공지능 시스템이 중대한 결정을 내리기 전에, 해당 시스템의 사용에 대해 개인에게 반드시 알려야 합니다.
- 사후 결정 설명: 인공지능이 불리한 결정에 기여한 경우, 배포자는 인공지능의 역할을 설명하고 해당 개인이 항소하거나 부정확한 데이터를 수정할 수 있도록 해야 합니다.
- 법무장관 통지: 인공지능이 알고리즘 차별을 유발한 것으로 판명될 경우, 배포자는 90일 이내에 법무장관에게 통지해야 합니다.
- 알고리즘 차별 방지 의무
소규모 배포자(직원 50명 미만)는 자체 데이터로 AI 모델을 훈련시키지 않는 경우 이러한 준수 의무의 상당 부분에서 면제됩니다.
6. 이 법은 어떻게 시행되나요?
- 콜로라도 주 법무장관만이 집행 권한을 가진다.
- 배포자가 인정된 인공지능 위험 관리 프레임워크를 따를 경우, 준수 여부에 대한 반박 가능한 추정치가 존재한다.
- 사적 소송권이 없으므로, 소비자는 해당 법률에 따라 직접 소송을 제기할 수 없습니다.
의료 서비스 제공자는 인공지능 사용 현황을 평가하고 규정 준수 조치를 시행하기 위해 조기에 대응해야 합니다.
최종 고찰: 의료 서비스 제공자들이 지금 해야 할 일
- 이 법안은 인공지능 규제에 있어 중대한 전환점을 의미하며, 특히 환자 치료, 행정 업무 및 재무 운영에 인공지능 기반 도구에 점점 더 의존하고 있는 의료 서비스 제공자들에게 해당됩니다.
- 이 법안은 투명성 제고와 알고리즘 차별 완화를 목표로 하지만, 동시에 상당한 준수 의무를 부과합니다. 의료 기관들은 인공지능 활용 현황을 평가하고, 위험 관리 프로토콜을 시행하며, 상세한 기록을 유지해야 할 것입니다.
- 변화하는 규제 환경을 고려할 때, 의료 서비스 제공자는 기존 AI 시스템 감사, 직원 대상 규정 준수 요건 교육, 모범 사례에 부합하는 거버넌스 체계 구축을 통해 선제적 접근을 취해야 합니다. 콜로라도 주 법무장관의 규정 제정 작업이 진행됨에 따라, 추가 규제 요건에 대한 정보를 지속적으로 파악하는 것은 규정 준수를 보장하고 집행 위험을 피하는 데 핵심적일 것입니다.
- 궁극적으로 이 법안은 주 경계를 넘어 확장될 가능성이 높은 인공지능 규제에 대한 광범위한 추세를 반영합니다. 현재 인공지능 거버넌스에 투자하는 의료 기관들은 법적 위험을 완화할 뿐만 아니라, 점점 더 인공지능 중심이 되어가는 산업에서 환자 신뢰를 유지할 수 있을 것입니다.
- 의료 서비스 제공자가 AI 시스템을 운영에 통합할 계획이라면, 해당 법률이 특정 사용 사례에 적용되는지 판단하기 위해 철저한 법적 분석을 수행하는 것이 필수적이다. 이는 또한 의료 서비스 제공자가 법률을 준수하고 당사자 간 위험을 적절히 분배하기 위해 개발자로부터 충분한 정보와 협력을 확보할 수 있도록 AI 개발자와의 서비스 계약을 신중하게 검토하고 협상하는 것을 포함해야 한다.
준수는 일률적인 프로세스가 아닙니다. AI 도구와 그 기능, 중대한 결정에 영향을 미칠 가능성을 신중하게 평가해야 합니다. 기관들은 법률 자문과 긴밀히 협력하여 법안의 복잡성을 헤쳐 나가고, 위험 관리 체계를 구현하며, 지속적인 준수를 위한 프로토콜을 수립해야 합니다. AI 규제가 진화함에 따라, 의료 제공자들이 규제 요건을 충족할 뿐만 아니라 광범위한 업계 표준에 부합하는 윤리적이고 공정한 AI 관행을 유지하도록 보장하기 위해서는 사전적인 법적 평가가 중요할 것입니다.
Foley는 규제 변화에 따른 장단기적 영향에 대처할 수 있도록 도와드립니다. 비즈니스 운영 및 산업별 문제와 관련된 이러한 사항 및 기타 중요한 법적 고려 사항을 탐색하는 데 도움이 되는 리소스를 보유하고 있습니다. 해당 자료의 저자, 귀하의 Foley 관계 파트너, 당사의 헬스케어 및 생명과학 분야또는 혁신 기술 부문 에 문의하세요.
