NIST의 인공지능 위험 관리 프레임워크는 기업이 인공지능 위험을 해결하는 데 도움을 줍니다.

앞서 논의한 바와 같이, 올해 초 미국 국립표준기술연구소(NIST)는 신뢰할 수 있고 책임감 있는 인공지능(AI) 리소스 센터를 출범했습니다. 이 AI 리소스 센터에는 NIST의 AI 위험 관리 프레임워크(RMF) 와 함께 기업 및 개인이 해당 프레임워크를 구현하는 데 도움을 주는 실행 가이드가 포함되어 있습니다. RMF는 AI 시스템의 위험을 분석하고 해결하는 동시에 해당 위험을 최소화하기 위한 실용적인 지침과 모범 사례를 제공함으로써 AI 사용자 및 개발자를 지원하기 위해 설계되었습니다. 또한 AI 기술이 지속적으로 발전하고 운영화됨에 따라 변화하는 환경에 실용적이고 유연하게 대응할 수 있도록 구성되었습니다.

RMF의 전반부는 이러한 위험을 다루고 후반부는 위험 대응 방안을 논의합니다. AI RMF가 적절히 구현될 경우, 조직과 사용자는 AI 시스템 활용 시 프로세스 개선, 인식 및 지식 향상, 참여도 증대를 경험하게 될 것입니다. RMF는 AI 시스템을 "주어진 목표 집합에 대해 예측, 권고 또는 실제 또는 가상 환경에 영향을 미치는 결정과 같은 출력을 생성할 수 있는 공학적으로 설계되거나 기계 기반의 시스템"으로 정의합니다. AI 시스템은 다양한 수준의 자율성으로 작동하도록 설계됩니다.

인공지능 시스템의 위험, 영향 및 피해 이해와 대응

인공지능(AI) 시스템의 활용은 개인과 조직(RMF에서 총칭하여 "행위자"라 함)에게 생산성 및 창의성 증대를 포함한 다양한 이점을 제공합니다. 그러나 RMF는 AI 시스템이 잘못 사용될 경우 개인, 조직 및 일반 대중에게 해를 끼칠 수 있음을 인지하고 있습니다. 예를 들어, RMF는 AI 시스템이 차별을 증폭시키고, 기업에 보안 위험을 초래하며, 기후 변화 문제를 악화시킬 수 있다고 설명합니다. RMF는 행위자들이 AI 시스템의 긍정적·부정적 영향을 체계적으로 대응할 수 있도록 합니다.

많은 사이버 보안 전문가들이 이해하듯이, 위험은 사건 발생 가능성과 해당 사건 발생 시 발생할 수 있는 피해의 함수입니다. 부정적 결과에는 사람, 조직 또는 생태계에 대한 피해가 포함될 수 있습니다. 실제로 위험은 사건 발생 가능성에 상당한 불확실성이 존재할 수 있고, 피해가 발생할 경우 그 영향을 파악하기 어려운 경우가 많아 정밀하게 정량화하기 어렵습니다. RMF는 다음과 같은 몇 가지 과제를 설명합니다:

• 제3자 소프트웨어, 하드웨어 및 데이터 관련 위험: 제3자 데이터나 시스템은 AI 시스템 개발을 가속화하는 데 유용할 수 있으나, 위험 측정을 복잡하게 만들 수 있는 불확실성을 내포합니다. 또한 AI 시스템 사용자가 개발자 및 공급자의 의도와 다르게 시스템을 활용할 수 있습니다. AI 시스템 개발자 및 공급자는 실제 운영 환경에서의 시스템 사용 방식이 통제된 개발 환경에서의 사용과 현저히 다를 경우 예상치 못한 상황에 직면할 수 있습니다.
• 신뢰할 수 있는 지표의 가용성: AI 시스템 사용 시 발생할 수 있는 잠재적 영향이나 피해를 계산하는 것은 복잡하며 여러 요인이 관여할 수 있습니다.
• 인공지능(AI) 라이프사이클의 각 단계별 위험: 기성 시스템을 사용하는 행위자는 자체 시스템을 구축하고 훈련하는 행위자와는 다른 위험에 직면하게 될 것입니다. 위험 관리 프레임워크(RMF)는 기업이 자체 위험 허용 수준을 결정해야 하며, 법적 또는 규제적 맥락에 따라 일부 조직은 다른 조직보다 더 많은 위험을 감수할 의사가 있을 수 있음을 인정합니다. 그러나 RMF는 모든 위험을 해결하고 최소화하는 것이 효율적이거나 비용 효율적이지 않으며, 기업은 해결할 위험의 우선순위를 정해야 함을 인정합니다. 기업이 사이버 보안 및 데이터 개인정보 보호 위험을 처리해야 하는 방식과 유사하게, RMF는 조직 운영의 각 단계에서 다양한 위험이 발생할 수 있으므로 위험 관리를 조직 운영 관행에 통합할 것을 제안합니다.

  RMF는 또한 신뢰성이 AI 시스템의 핵심 특징임을 인정합니다. 신뢰성은 행위자의 행동, AI 시스템이 사용하는 데이터셋, AI 시스템 사용자와 개발자의 행동, 그리고 행위자가 이러한 시스템을 감독하는 방식과 연결됩니다. RMF는 다음과 같은 특성이 AI 시스템의 신뢰성에 영향을 미친다고 제안합니다:

• 검증 및 신뢰성: 행위자는 AI 시스템이 특정 요구사항을 충족시켰으며, 특정 조건 하에서 오류 없이 작동할 수 있음을 확인할 수 있어야 한다.
• 안전: 인공지능 시스템은 인간의 생명, 건강, 재산 또는 환경을 위협해서는 안 됩니다.
• 보안 및 복원력: AI 시스템은 예상치 못한 불리한 사건과 변화 모두에 대응하고 복구할 수 있어야 한다.
• 책임성과 투명성: 행위자들은 인공지능 시스템과 그 출력물에 대한 정보를 접근할 수 있어야 한다.
• 설명 가능성과 해석 가능성: AI 시스템은 행위자에게 적절한 수준의 정보를 제공하고 어느 정도 이해를 가능하게 해야 한다.
• 개인정보 보호 강화: 적절한 경우, 인공지능 시스템의 설계 선택에는 익명성, 기밀성 및 통제권과 같은 가치들이 반영되어야 한다.
• 유해한 편향을 관리한 공정성: AI 시스템은 기존 차별을 지속시키고 악화시킬 위험이 있습니다. 관련 주체들은 이러한 편향을 예방하고 완화할 준비가 되어 있어야 합니다.

AI RMF 위험 관리 핵심 및 프로파일

AI RMF(RMF 핵심)의 핵심에는 기업이 신뢰할 수 있는 AI 시스템을 개발할 수 있도록 지원하는 프레임워크를 제공하기 위해 설계된 기본 기능들이 있습니다. 이러한 기능들은 통제(govern), 매핑(map), 측정(measure), 관리(manage)로 구성되며, '통제' 기능은 다른 모든 기능에 영향을 미치도록 설계되었습니다.

그림 1: 위험 관리 핵심 요소 (NIST AI 100-1, 20쪽).

이러한 각 기능은 상위 수준의 기능을 달성하기 위해 설계된 범주와 하위 범주로 더 세분화됩니다. 수많은 하위 범주와 권장 조치들을 고려할 때, RMF 코어는 기업이 단순히 '체크리스트를 확인하는' 용도로 사용하기 위한 것이 아닙니다. 대신 AI RMF는 위험 관리가 지속적이고 시기적절하며 AI 시스템의 전체 수명 주기 동안 수행되어야 한다고 조언합니다.

AI 위험 관리 프레임워크(AI RMF)는 위험 관리에 있어 '모든 상황에 적용 가능한 단일 접근법'이 존재하지 않음을 인정합니다. 행위자는 AI 시스템의 사용 사례에 특화된 프로필을 구축하고, 네 가지 기능을 수행하고 달성하기 위해 적절한 조치를 선택해야 합니다. AI RMF가 프로세스를 설명하는 반면, AI RMF 플레이북은 일반적인 상황(일반적으로 프로필이라 함)에 대해 AI RMF를 구현하는 방법에 대한 상세한 설명과 유용한 정보를 제공합니다. RMF 프로파일은 특정 분야, 기술 또는 용도에 따라 달라집니다. 예를 들어, 고용 환경을 위한 프로파일은 신용 위험 및 사기 탐지를 위한 프로파일과 다를 것이며, 다른 위험을 다룰 것입니다.

RMF 코어는 다음과 같은 기능으로 구성됩니다:

• 거버넌스. 강력한 거버넌스는 조직의 위험 관리를 유지하는 데 핵심적인 내부 관행과 규범을 개발하는 데 중요합니다. 거버넌스 기능은 다른 세 가지 기능의 정책과 관행을 구현하는 데 도움이 되는 범주를 설명하며, 책임 구조를 구축하고, 직장 내 다양성을 확보하며, 다양한 관점을 가진 팀이 AI 위험을 평가할 수 있도록 접근성 프로세스를 마련하고, 안전 제일의 AI 관행 문화를 실천하는 데 전념하는 조직 팀을 개발합니다.
• 지도( Map). 지도 기능은 행위자들이 AI 시스템을 사용할 때 위험을 맥락화하는 데 도움을 줍니다. 지도 기능 하에 제시된 조치를 실행함으로써 조직은 부정적 위험의 잠재적 원인을 예측하고 평가하며 해결하는 능력을 향상시킬 수 있습니다. 이 기능의 주요 범주에는 AI 시스템의 맥락 설정 및 이해, AI 시스템 분류, AI 시스템 모든 구성 요소에 대한 위험과 이점 파악, 영향을 받을 수 있는 개인 및 집단 식별 등이 포함됩니다.
• 측정. 측정 기능은 정량적 및 정성적 도구를 활용하여 AI 위험을 분석 및 모니터링하고, 행위자들이 자신들의 AI 시스템 사용을 평가하도록 합니다. 측정 항목은 신뢰성 특성, 사회적 영향, 인간-AI 상호작용의 질 등 다양한 목표를 추적해야 합니다. 측정 기능의 범주에는 적절한 방법과 지표의 식별 및 적용, 신뢰성 특성에 대한 시스템 평가, 식별된 위험을 시간 경과에 따라 추적하기 위한 메커니즘 구현, 측정 효과성에 대한 피드백 수집 등이 포함됩니다.
• 관리. 관련 위험과 적절한 위험 허용 수준을 결정한 후 , 관리 기능은 기업이 위험을 우선순위화하고, 가장 높은 위험을 해결하기 위해 자원을 적절히 배분하며, 정기적인 모니터링과 AI 시스템 개선을 가능하게 하는 데 도움을 줍니다. 관리 기능의 범주에는 지도 및 측정 단계의 평가에 따른 위험 우선순위화, AI 혜택 극대화와 AI 피해 최소화 전략 수립, 제3자로부터의 AI 위험 관리가 포함됩니다.

이러한 방식으로, 플레이북은 네 가지 기능을 달성하는 방법에 대한 구체적이고 실행 가능한 제안을 제공합니다.

기업에 미치는 영향

AI 위험 관리 프레임워크(AI RMF)는 기업이 AI 시스템에 대한 견고한 거버넌스 프로그램을 개발하고 위험을 해결하는 데 도움을 줍니다. 현재 AI RMF의 사용은 제안된 법률(유럽연합의 인공지능법 포함)에 따라 의무화되지는 않았지만, 다른 NIST 표준 및 지침과 마찬가지로 AI RMF는 기업이 이러한 법률의 위험 분석 요건을 체계적이고 반복 가능한 방식으로 준수하는 데 유용함을 입증할 것입니다. 따라서 AI 시스템 제공 또는 사용을 고려 중인 기업은 위험을 분석하고 최소화하기 위해 AI RMF 활용도 검토해야 합니다. 기업은 규제 기관에 AI RMF 적용 과정에서 생성된 상위 수준 문서를 제시해야 할 수 있으며, 고객의 우려를 줄이고 신뢰를 높이기 위해 해당 문서를 고객에게 제공하는 것도 고려할 수 있습니다.

저자들은 캘리포니아 대학교 버클리 법대생이자 폴리 앤드 라드너 LLP의 2023년 여름 인턴인 매튜 차의 기여에 깊이 감사드립니다.