국가정보원(이하 “국정원”)은 2025. 11. 20. 국가인공지능안보센터와 함께 인공지능 위험 사례집(이하 “사례집”)을 발간하였습니다. 사례집은 인공지능(AI) 기술의 확산으로 국가안보·재난·산업경제·사회·민생 등 전 분야에서 발생 가능한 대표적인 사고·피해 시나리오 70건과 이에 대한 예방·대응방안을 담고 있습니다.
 
사례집은 인공지능으로 인한 위협 발생 가능 분야를 (1) 국가안보, (2) 재난·재해·인프라, (3) 경제·산업·의료, (4) 사회·민생·인권 네 가지로 구분하였으며, 위협 유형 역시 (1) AI 자체 오류, (2) 오용·악용, (3) AI 대상 공격, (4) 사회 구조 변화 등 네 가지로 분류하고 있습니다. 최근 수많은 기업들이 업무 효율화 및 서비스 고도화를 위하여 다양한 인공지능 서비스를 도입 중에 있는 상황에서, 본 사례집은 기업들의 인공지능 서비스 활용에 따른 위험 요소를 사전에 식별하고 이에 대한 대응 및 관리 전략을 수립하기 위한 중요한 참고자료가 될 수 있어 보입니다.

사례집에서 제시하고 있는 대표적인 인공지능으로 인한 사고·피해 시나리오는 아래와 같습니다.
 

• API 종속성 위험: 인공지능 기업의 API 서비스가 원인 불명의 장애로 중단되어, 이에 기반하여 구축 및 자동화된 고객사들(공공기관·대기업·금융사 등)의 고객센터, 거래, 민원 처리 등 업무가 중단 또는 지연된 경우 재정 손실 및 사회 혼란을 유발하게 될 수 있습니다.

• AI 오작동으로 인한 사고: 제조업체 등 산업 현장에서 활용되는 AI 협동로봇의 센서나 인식 기능에 오류가 발생할 경우, 로봇이 작업자를 인식하지 못하고 충돌하거나 가격하여 인명 피해를 유발할 위험이 존재합니다.

• 가짜뉴스 유포 및 시장 교란: 범죄 조직이 금융사의 AI 트레이딩 모델을 교란할 목적으로 정교한 가짜뉴스를 생성·유포할 경우, AI 시스템이 이를 사실로 오인하여 관련 주식을 자동 매도함으로써 주가 폭락 및 기업·시장 신뢰도 하락을 야기할 수 있습니다.

• 보안 취약점 및 정보 유출: 해킹 조직이 사내 포털에 탑재된 AI 챗봇 비서를 대상으로 ‘탈옥(Jailbreak)’ 공격 등을 수행하여 보안 가드레일을 우회할 경우, 임직원이 업로드한 고객 정보나 회사의 핵심 기밀 정보가 외부로 유출될 위험이 있습니다.

• 저작권 분쟁: AI가 생성한 이미지, 음악 등의 콘텐츠가 기존 예술·문화 생태계를 교란하거나 제3자의 저작권을 침해하는 결과물을 내놓을 경우, 해당 AI 기술을 활용하는 기업 또한 법적 분쟁에 휘말릴 소지가 있습니다.
   

경제, 의료 등 산업 전반에서 AI 활용에 따른 리스크를 최소화하기 위해서는, 사례집의 제언과 같이 (1) 외부 AI 서비스에 대한 의존도 점검 및 백업 체계 마련, (2) 로봇(이른바 피지컬 AI)과 인간의 작업 공간 분리 및 안전장치 강화, (3) 비인가 데이터 전송에 대한 경보 체계 구축, (4) 정보 신뢰성 판단을 위한 AI 시스템 고도화, (5) 임직원 대상 보안 교육 및 대책 수립 등 다각적인 대비가 필요합니다.

특히 AI 도입을 전사적으로 추진 중인 기업은 (1) 현재 기업에서 도입하고 있거나 임직원이 업무에 활용하고 있는 AI 서비스 현황을 파악하고 이와 관련하여 발생할 수 있는 법적, 기술적, 보안적 측면의 이슈 및 리스크를 분석 및 검토하고, (2) 이러한 내용을 기초로 기업 구성원들이 안전하게 AI를 업무에 활용하고 고객 서비스에 이용할 수 있도록 사내 AI 활용을 위한 가이드라인 및 안전 수칙을 수립 및 시행하는 한편, (3) 보다 체계적이고 지속적으로 AI 리스크를 관리하기 위해서 전사적인 AI 거버넌스 체계를 구축(조직 구성, 내규 수립 등)하는 등의 조치를 통해 잠재적 위험에 선제적으로 대처하고 비즈니스 연속성을 확보하는 것이 필요할 것으로 생각됩니다.

[영문] Release of AI Risk Casebook - NIS Releases AI Risk Casebook