1.

투명성 확보의무

인공지능기본법 제31조는 투명성 확보의무와 관련하여 생성형∙고영향 인공지능에 대하여 (1) 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전 고지할 의무(제1항, “사전 고지의무”), (2) 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 표시할 의무(제2항, “결과물 표시의무”), (3) 딥페이크 생성물에 대한 고지 및 표시의무(제3항)를 규정하고 있습니다. 다만, 시행령 제정안에서는 시행령 초안과 달리 딥페이크 생성물 고지와 표시의무를 이행한 경우에는 결과물 표시의무의 적용을 면제하였습니다. 투명성 확보의무에 대한 구체적 이행 방법은 시행령 제22조 및 투명성 가이드라인에서 정하고 있습니다. 특히 결과물 표시의무의 경우 가이드라인에 콘텐츠 유형별(이미지·동영상·오디오·텍스트)로 표시되는 방식을 자세하게 제시하고 있으므로 참고가 필요합니다.

이러한 투명성 확보의무는 이용자에게 최종적으로 인공지능 제품 및 서비스를 제공하는 인공지능 사업자에게 부과되기 때문에, 인공지능 개발사업자도 이용자에게 이를 직접 제공할 때는 해당 의무를 부담할 수 있습니다.

다만, 예외적으로 (1) 고영향·생성형 인공지능 기반 운용 사실이 명백한 경우, (2) 사업자 내부 업무 용도로만 사용되는 경우에는 투명성 확보의무가 적용되지 않습니다. 이중 (1)의 경우 단순히 명칭 등에 인공지능 사용을 적시한 것이 아니라, 이용자 입장에서 제품∙서비스의 “어느 부분”에서 생성형 인공지능이 활용되는지 명확히 인지할 수 있는 경우여야 한다는 점에 유의가 필요합니다.
 

2.

고영향 인공지능의 판단

인공지능기본법은 “사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템”을 ‘고영향 인공지능’으로 정의하고, 이를 제공하는 사업자에게 강화된 의무를 부과합니다.

판단 가이드라인은 고영향 인공지능에 해당하는지에 대하여 두 단계의 판단 과정을 제시하고 있습니다.  먼저, (1) 고영향 인공지능이 되기 위해서는 인공지능기본법 제2조제4호 각 목에서 정한 여러 영역(에너지, 먹는 물, 보건의료, 의료기기, 원자력, 생체인식, 채용, 대출심사, 교통, 공공서비스, 학생평가 등) 중 하나에서 활용되어야 합니다.

다음으로, (2) 사람의 생명, 신체의 안전 및 기본권의 보호에 중대한 영향을 미치거나 위험을 초래할 우려가 있어야 합니다. 영향을 미치는지 여부에 대한 판단은 부정적 영향 내지 위험에 초점을 맞추며, 인공지능시스템의 의도된 목적, 기능, 활용 맥락을 다양한 관점에서 종합적으로 고려해야 합니다. 또한 직접 이용자뿐만 아니라 간접적으로 영향을 받는 자도 고려됩니다.

고영향 인공지능에 해당하는 경우 법상 각종 의무 대상이 되므로, 인공지능제품의 기획 단계부터 고영향 인공지능에 해당하는지 여부를 명확하게 검토해야 합니다. 판단 가이드라인은 개별 분야별로 “고영향 확인 기준”을 구체적으로 정의하고 있으므로, 이를 적극 활용하여 자체 검토 뒤 그 판단 근거를 문서화하여 보관하는 것이 중요합니다. 또한, 인공지능사업자는 과기정통부 장관에게 고영향 인공지능 해당 여부의 확인을 요청할 수도 있으므로, 전략적으로 확인 제도를 활용하는 것도 고려할 수 있습니다.
 

3.

고영향 인공지능의 안정성·신뢰성 확보의무

고영향 인공지능을 제공하는 사업자는 위험관리방안의 수립·운영부터 인공지능 및 학습용 데이터에 대한 설명가능성 확보, 이용자 보호방안 운영에 이르기까지 포괄적인 의무를 지게 됩니다.

각 의무의 구체적인 내용에 대해서는 책무 고시와 가이드라인에서 설명하고 있습니다. 예컨대, 안정성·신뢰성 확보의무의 핵심이 되는 위험관리방안 수립·운영은 (1) 위험관리정책의 수립·이행(계획 수립→위험 식별→위험 분석·평가→위험 처리→정책 개선)과 (2) 위험관리 조직체계의 구성, 유관조직과의 협력 등으로 구체적으로 세분화됩니다. 또한 안정성·신뢰성 확보의무 관련 자가점검 체크리스트를 제공하므로 각 사업자는 이를 활용해 내부 컴플라이언스 체계를 구축할 필요가 있습니다.

한편 인공지능기본법은 중복규제를 방지하기 위해 다른 법령에 따라 안전성·신뢰성 확보의무에 준하는 조치를 이행하면 해당 책무를 이행한 것으로 인정하고 있고(법 제34조제3항), 시행령 제정안 [별표 1]를 통해 구체적 이행조치 인정기준과 절차를 제시하고 있습니다. 대표적인 예시는 아래와 같습니다.
 

• 공통: ‘개인정보보호법’ 제4장 개인정보의 안전한 관리 및 제5장 정보주체의 권리 보장에서 규정하는 조치·의무를 이행한 경우, 개인정보 처리 및 보호에 대하여는 인공지능기본법 제34조제1항 각호의 책무를 모두 이행한 것으로 간주

• 위험관리방안 수립∙운영(제1호): ‘디지털의료제품법’ 제8조제4항 또는 제12조제3항에 따라 품질관리체계를 갖추고, 제24조제2항에 따라 품질관리기준에 적합하다는 판정을 받은 경우

• 설명가능성 확보(제2호): ‘신용정보의 이용 및 보호에 관한 법률’ 제35조의2에 따른 설명의무를 준수하고, 같은 법 제36조의2에 따른 설명의무 이행을 위한 절차를 갖춘 경우

• 이용자보호방안(제3호): ‘금융소비자보호법’ 제10조에 따른 금융상품판매업자등의 책무를 이행한 경우
   

다만 시행령 초안과 달리, 제정안에서는 ‘자본시장과 금융투자업에 관한 법률’ 시행령 제2조제6호에 따른 ‘전자적 투자조언장치의 요건을 모두 갖춘 경우’를 인공지능기본법상 ‘사람의 관리·감독’ 조치 이행으로 간주하는 조항은 삭제되었으므로 유의가 필요합니다.
 

4.

고영향 인공지능 영향평가

인공지능기본법에 따르면 인공지능사업자는 고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 경우 영향평가를 하기 위하여 노력할 의무가 있습니다. 영향평가 가이드라인에서는 영향평가 시 고려해야 할 사항을 (1) 사전 준비 단계, (2) 본 평가 수행 단계, 그리고 (3) 사후 단계와 같이 각 평가단계별로 안내하고 있습니다.

이때 (2) 본 평가 수행을 위해서는 실제 서비스 운영 과정에서 발생할 수 있는 다양한 위험상황 관련 시나리오를 작성한 뒤, 그 시나리오의 내용상 영향을 받을 수 있는 기본권을 식별한 후, 그 기본권에 미치는 영향을 상세히 작성해야 합니다. 영향평가 가이드라인에서는 고려될 수 있는 기본권과 상응하는 시나리오 예시를 제시할 뿐 아니라 인공지능 영향평가서 작성 예시를 보여주고 있어, 이에 기반하여 충실한 영향평가를 수행할 필요가 있습니다.
 

5.

‘고성능’ 인공지능의 안전성 확보의무

인공지능기본법에서는 소위 고성능 인공지능에 대해서도 안전성 확보의무를 부과하고 있습니다. 고성능 인공지능의 영향력을 고려하여, 고영향 인공지능의 영역에 해당하지 않더라도 고영향 인공지능과 유사한 규제를 부과하겠다는 취지가 반영된 것입니다. 

이에 따라 고성능 인공지능을 제공하는 인공지능사업자는 인공지능 수명주기 전반에 걸친 위험 식별∙평가∙완화 및 위험관리체계를 구축·이행하여야 하며, 그 이행결과를 과기정통부에 제출해야 합니다. 

안전성 확보 고시와 안정성 가이드라인은 이러한 의무의 대상이 되는 고성능 인공지능의 구체적 판단기준을 안내하고 있는데, 고성능 인공지능시스템은 (1) 10의 26승 부동소수점 연산(FLOP) 이상인 시스템 중에서 (2) 인공지능기술 발전 수준을 고려할 때 현재 인공지능시스템에 활용되는 인공지능 기술 중 최첨단의 인공지능기술을 적용하여 구성∙운영되고 있고, (3) 인공지능시스템의 위험도가 사람의 생명, 신체의 안전 및 기본권에 광범위하고 중대한 영향을 미칠 우려가 있는 경우에 해당합니다. 

안전성 확보 고시와 안정성 가이드라인은 이러한 고성능 인공지능시스템의 판단기준 외에도, 구체적인 위험의 식별∙평가∙완화 조치, 위험관리체계 운영, 이행결과 제출의 절차 등을 안내하고 있으므로 참고가 필요합니다. 

인공지능기본법령 외에도, 각 정부 부처는 아래 예시와 같이 소관 업무, 법령과 관련하여 인공지능사업자를 대상으로 각종 가이드라인을 마련하고 있습니다. 
 

• 개인정보보호위원회: ‘안전한 인공지능(AI)·데이터 활용을 위한 AI 프라이버시 리스크 관리 모델’ 발표 (2024.12.), ‘생성형 인공지능 개발·활용을 위한 개인정보 처리 안내서’ 발표 (2025. 8.)

• 방송미디어통신위원회: ‘생성형 인공지능 서비스 이용자 보호 가이드라인’ 발표 (2025. 2.)

• 문화체육관광부: ‘생성형 인공지능 활용 저작물 저작권 등록 안내서’와 ‘생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서’ 발표 (2025. 6.), ‘AI 저작물 공정이용 가이드라인’ 초안 공개 (2025. 12.)