‘안전한 인공지능(AI)∙데이터 활용을 위한 AI 프라이버시 리스크 관리 모델’ 공개 - Kim & Chang

개인정보보호위원회(이하 “위원회”)는 2024. 12. 19. ‘안전한 인공지능(AI)·데이터 활용을 위한 AI 프라이버시 리스크 관리 모델’(이하 “본 모델”)을 공개하였습니다(링크).

본 모델은 AI 기술을 도입, 적용하면서 프라이버시 관련 내부 관리체계를 마련, 정립, 정비하고자 하는 기업·기관 등을 잠재적 주요 독자층으로 상정하여, AI 프라이버시 리스크 관리의 방향과 원칙을 제시하기 위해 마련되었습니다. 나아가 본 모델은 위원회의 ‘인공지능(AI) 개인정보보호 자율점검표(2021. 5. 31.)’를 대체할 예정입니다.

본 모델은 AI 개발자와 제공자가 AI 서비스 과정에서 개인정보를 안전하게 처리할 수 있도록, AI 프라이버시 리스크를 관리하는 절차를 안내하고 있습니다. 리스크 관리 절차는 ① AI 모델 및 시스템의 유형∙용례를 파악한 후, ② 각 유형∙용례에 대응하는 프라이버시 리스크를 식별∙측정한 다음, ③ 해당 리스크를 경감할 수 있는 방안을 마련하는 순서로 진행됩니다. 본 모델의 주요 내용은 다음과 같습니다.

1.	AI의 유형∙용례 파악 본 모델은 AI의 유형 및 용례를 두 단계로 구분합니다: ① AI 개발을 위해 학습데이터가 수집되고 이용되는 기획·개발 단계와 ② 이용자에게 AI 서비스를 실제로 제공하는 단계입니다. 서비스 제공 단계는 다시 서비스 유형에 따라 생성 AI와 판별 AI로 세분화됩니다.

구분		개념
기획·개발 단계		AI 서비스 목적을 정의하고 이를 위해 필요한 데이터 등을 결정한 다음, 학습 데이터 수집, 전처리 과정을 거쳐 AI 모델 학습을 진행
서비스 제공 단계	생성 AI	이용자의 입력값과 문맥 등을 활용하여 텍스트, 이미지, 오디오, 비디오 등을 생성하는 시스템 (예) 챗GPT, 이미지 생성형 AI
	판별 AI	이용자의 입력값을 특정 클래스로 분류하거나 점수를 매김하여 예측하는 시스템 (예) 채용 AI, 신용평가 AI, 사기탐지시스템(FDS), 개인맞춤형 광고/추천, 의료보조AI, 자율주행차 센서

2.	AI 유형∙용례에 대응하는 프라이버시 리스크의 식별∙측정 본 모델은 AI 유형 및 용례에 대응되는 대표적인 프라이버시 리스크를 아래와 같이 제시하고 있습니다. 아울러 AI 개발자와 제공자는 각 리스크의 발생 확률과 리스크가 실현되었을 때 조직∙개인∙사회에 미치는 영향의 중대성을 평가하여, 리스크의 수용 여부와 대처 우선순위를 판단하도록 안내하고 있습니다.

구분		개념
기획·개발 단계		적법하지 않은 학습데이터 수집·이용 AI 학습데이터의 부적절한 보관·관리 AI 가치망의 다양화에 따른 데이터 흐름 및 정보주체의 권리보장 책임 복잡화
서비스 제공 단계	생성 AI	학습데이터 암기 및 개인정보 유·노출 악의적 AI 합성콘텐츠로 인한 정보주체 권리 침해
	판별 AI	자동화된 결정으로 인한 정보주체 권리 약화 대중감시 및 민감정보 추론 위협

3.	프라이버시 리스크 경감조치 AI 개발자와 제공자는 식별·측정 결과에 따라 프라이버시 리스크를 경감하기 위한 관리적 및 기술적 방안을 검토하고 도입해야 합니다. 본 모델에 소개된 관리적 및 기술적 경감조치의 구체적인 내용은 다음과 같으며, 본 모델에 제시된 모든 경감조치가 AI 모델∙시스템에 필수 적용되어야 하는 것은 아니라는 점을 명시하고 있습니다.

관리적 경감조치

구분	구체적 내용
학습데이터 출처·이력 관리	학습데이터 수집 출처별로 개인정보 수집·이용의 적법성을 확보했는지 검토하고, 학습데이터 수집·전처리·이용 기준을 개인정보 처리방침, 기술문서, FAQ 등에 공개
학습데이터 안전한 보관·파기	학습데이터에 대한 접근통제, 접근권한 제한 등 안전조치를 시행하고, 처리 목적 달성 시 학습데이터를 복원 불가능한 방법으로 파기
AI 가치망 참여자간 역할 명확화	개인정보처리 위탁, 개인정보의 국외 이전 해당 여부를 검토하고, 여러 참여자간 적절한 역할 분배·실행을 보장하기 위해 계약, 라이센스, 사용지침 등의 수단을 검토
허용되는 이용 방침 (AUP)의 작성·공개	생성 시스템의 예견 가능한 오용을 열거하고 해당 목적의 사용을 금지하는 이용방침을 작성하여 공개
AI 프라이버시 레드팀 구성·운영	외부 전문가가 포함된 레드팀을 구성·운영하여, 개인정보 침해 유형을 시험·확인
정보주체 신고·조치 방안 마련	부적절한 답변에 대한 신고 기능을 갖추고, 정보주체의 의도에 반하여 AI 출력물에 생성된 얼굴·목소리 등의 삭제 요청에 대비하여 조치 방안 마련
자동화된 결정 관련 의무 준수	AI 시스템을 활용하여 이루어지는 의사결정이 자동화된 결정에 해당하는 경우, 정보주체의 거부권, 설명 요구권, 검토 요구권 보장 방안을 마련
개인정보 영향평가 수행 고려	학습데이터에 민감한 정보가 포함되어 있을 개연성이 높거나 정보주체 권리·의무에 중대한 영향을 미칠 수 있는 AI 서비스의 경우 특히 영향평가 실시를 고려하는 것이 바람직

기술적 경감조치

구분	구체적 내용
학습데이터 전처리	학습데이터 수집을 최소화하고, 가능하다면 수집 직후 학습데이터를 익명화·가명화하여 이용 및 보관 중복제거(de-duplication) 데이터셋을 이용하여 학습데이터 내 중복되는 동일 문장, 단어 등을 제거
합성데이터 사용 고려	합성데이터^[1]를 사용하여 AI 모델 학습
모델 미세조정을 통한 안전장치 추가	지도학습 기반 미세조정(SFT), 사람 피드백 기반 강화학습(RLHF) 등 미세조정 기법 적용
입력 및 출력 필터링 적용	개인 프로파일링 또는 사생활 침해 답변 생성을 유도하는 프롬프트 입력에 대해 답변 생성 거절 또는 미리 정해진 답변 제공 등 출력물에 개인정보가 생성되는 경우 감지·제거하는 필터 기술 적용
차분 프라이버시 기법 적용	특정 데이터베이스에 잡음(noise)을 추가하여 개별 데이터의 정보를 보호하면서도 유의미한 통계적 쿼리는 유지하는 차분 프라이버시 기법을 적용
출처 데이터 추적 및 합성콘텐츠 탐지 방안 마련	합성콘텐츠 오용으로 인한 피해를 예방하기 위해 합성콘텐츠의 메타데이터(속성 정보)를 기록하고, 합성콘텐츠를 탐지하는 방안 마련
생체정보 활용 시 가명∙익명처리 기술 적용	영상정보, 비디오, 음성 등에 다양한 가명·익명처리 기술을 적용

AI 프라이버시 리스크 관리 체계

본 모델은 개인정보보호책임자(CPO)의 역할을 강조하고, AI 프라이버시를 담당하는 조직을 구성하여 AI 프라이버시 리스크 관리 체계를 마련할 것을 권고합니다. 더불어 본 모델은 AI 개발자와 제공자가 활용할 수 있도록 AI 프라이버시 리스크 관리 방법을 체크리스트의 형태로 구성한 자율 평가 점검 항목을 안내하고 있습니다.

본 모델은 동 모델의 준수가 자율 사항으로서 AI 기업 등이 개별 여건에 따라 구체적인 AI 프라이버시 리스크 관리체계를 수립할 수 있다고 하면서도, 기업·기관 등이 본 모델에 적시된 안전성 확보를 위한 최선의 노력을 다하였을 때 개인정보 보호법 준수 사실을 인정하거나 행정제재 시 참작사유로 고려될 수 있다는 점 역시 언급하고 있습니다. 기업·기관에서는 AI 개발 및 제공 과정에서 본 모델을 참고하여 AI 프라이버시 리스크 관리 체계 구축을 고려하고, 본 모델의 적용 사례와 후속 동향을 주의 깊게 살펴볼 필요가 있겠습니다.

[1] 합성데이터(Synthetic data): 특정 목적을 위해 원본데이터의 형식과 구조 및 통계적 분포 특성, 패턴을 학습하여 생성한 모의(simulated) 또는 가상(artificial) 데이터

[영문] Announcement of the AI Privacy Risk Management Model for Safe Utilization of AI and Data

공유하기

관련 구성원

관련 구성원