본문 바로가기
메뉴
뉴스레터

암호 설정 문서에 대한 디지털 포렌식

2026.10.01

최근 내부조사, 감사, 소송 및 규제기관 대응을 위한 증거를 확보하는 과정에서, 작성자가 설정해 둔 암호로 인해 문서를 열지 못하는 경우가 적지 않습니다. 암호를 알고 있는 직원이 협조하지 않거나 퇴사한 경우, 증거가 존재함에도 고객이 이를 활용하지 못하는 상황이 발생하는 것입니다. 이번 뉴스레터에서는 문서에 설정된 암호를 해제하는 대표적인 방법을 정리하고, 김·장 법률사무소에서 실제로 수행한 사례 2건을 소개해 드립니다.
 

1.

문서 암호의 대표적인 해제 방법

가장 널리 알려진 암호 해제 방법은 무차별 대입 공격(Brute Force Attack)과 사전 공격(Dictionary Attack)입니다.

무차별 대입 공격은 이론적으로 가능한 모든 암호 조합을 순차적으로 대입해 보는 방식입니다. 문서 암호가 대소문자·숫자·특수문자를 모두 사용할 수 있는 형식이라면 자릿수가 하나 늘어날 때마다 경우의 수가 90여 배씩 증가합니다. 이로 인해 입력 형식에 제한이 없는 10자리 이상의 문서 암호는, CPU보다 수십 배에서 수천 배 많은 연산이 가능한 GPU(Graphics Processing Unit)를 활용하더라도 무차별 대입 공격을 수행하는 것이 현실적으로 어렵습니다.

사전 공격은 가능한 모든 암호 조합 대신 암호와 관련성이 높은 후보 단어들이 포함되는 조합을 우선 대입하는 방식으로, 후보 단어 목록의 구성 방식에 따라 알려진 암호 사전과 커스텀 사전(Custom Dictionary)으로 구분됩니다. 알려진 암호 사전은 연구 목적의 생성 목록이나 과거 유출된 패스워드 등을 활용하는 방식이고, 커스텀 사전은 문서와 관련된 인물·장소·날짜 등을 활용하여 사전을 직접 구성하는 방식입니다.

한편, 두 방법을 혼합하여 문서 암호의 일부 자리에 후보 단어를 대입하고 나머지 자리는 무차별 대입으로 채우는 방식을 사용하는 경우도 있습니다.
 

2.

문서 암호 해제 사례
 

(1)

A社: 감사 과정에서 발견된 암호가 설정된 파일

A社는 감사 대상자의 PC에서 의심스러운 파일명의 엑셀 파일을 발견하였으나, 문서 암호가 설정되어 있어 내용을 확인할 수 없는 상황이었습니다. 고객은 대상자에게 암호 해제를 요청하였으나 대상자는 암호가 기억나지 않는다며 소문자·숫자·특수문자를 포함하여 10자리 이상의 암호를 사용하였던 것으로 기억한다는 정도의 진술만을 하였습니다.

고객은 암호 해제 장비를 보유하고 있었으나, 10자리 이상의 암호에는 적용하기가 어려웠고, 적용이 가능하다 하더라도 전수조사를 진행하는 것은 현실적으로 어려웠습니다. 이에 고객은 대상자의 동의를 구한 후, 저희 사무소에 암호 해제를 의뢰하였습니다.

커스텀 사전 설계. 고객과 논의하여 대상자와 관련 있는 후보 단어를 활용하여 커스텀 사전을 구성하는 사전 공격을 진행해 보기로 하였습니다. 이때 커스텀 사전에는 각각의 후보 단어별로 해당 단어 하나만이 아니라, 로마자 표기 형태, 국문 후보 단어를 영문 자판으로 그대로 입력한 형태, 뒤집어 기재한 형태, 혼합하여 기재한 형태 등 후보 단어의 가능한 변형을 모두 포함하여 사전을 구성하였습니다.

후보 단어 외에 나머지 자리에는 숫자와 특수문자 등을 채워서 가능한 조합을 무차별 대입하였습니다. 그 결과 커스텀 사전에 포함된 후보 단어가 실제 암호에 포함되어 있음이 확인되었고, 12자리의 암호가 한 시간이 채 지나지 않아 해제되었습니다. 

이 사례는 무차별 대입 공격이 어려운 자릿수의 암호라도 대상자와 관련 있는 후보 단어를 예상할 수 있다면 사전 공격을 통해 현실적인 시간 내에 해제할 수 있음을 보여줍니다.
 

(2)

B社: 과거 수행 건의 암호가 설정된 문서

B社는 자신들이 과거 수행했던 업무를 검토하는 과정에서 당시 작성한 문서에 암호가 설정되어 있음을 확인하였습니다. 상당한 시간이 지난 탓에 당시 업무에 관여했던 모든 관련자가 암호를 기억하지 못하고 있었습니다.

암호의 자릿수나 후보 단어 등에 대한 단서가 전혀 없는 상황이었습니다. 고객에게 자릿수가 긴 경우에는 암호 해제가 되지 않을 수 있음을 안내하고 무차별 대입 공격을 진행하였습니다. 

다행히 자릿수가 길지 않은(6자리) 숫자로만 구성된 암호로 밝혀졌고, 고객이 의뢰한 당일에 암호를 확인할 수 있었습니다. 이처럼 단서가 없어도 암호의 자릿수나 구성이 단순한 경우에는 무차별 대입 공격만으로 해제할 수 있습니다.
 

3.

암호 해제 진행 시 유의점

암호 해제의 정당성: 암호가 설정된 문서는 작성자가 열람을 제한하고자 한 정보일 가능성이 높으므로, 해제 시에는 상응하는 정당한 근거가 필요합니다. 예컨대, 문서 작성자의 동의를 받았거나, 해당 문서에 접근할 명확한 법적 근거가 있는 경우에 암호 해제를 진행해야 합니다. 또한 암호 해제는 내부조사, 감사, 소송 및 규제기관 대응의 목적이 확인된 범위에서 필요한 파일에 한정하여 수행되어야 합니다.

문서 처리 절차 준수: 암호가 해제된 문서는 추후 소송이나 징계 절차에서 증거로 사용될 수 있으므로, 암호 제거 과정 자체의 신뢰성이 확보되어야 합니다. 암호 해제에 이르게 된 근거, 수행 주체와 시점, 사용된 방법, 그리고 해당 파일이 어떻게 확보·보관되었는지를 재현 가능하게 기록하여, 증거의 보존 과정(chain of custody)이 훼손되지 않도록 하는 것이 바람직합니다.

암호 해제 환경: 김·장 법률사무소는 암호 분석을 위해 고성능 GPU를 갖춘 전용 장비들을 운용하고 있습니다. CPU와 비교하여 GPU는 병렬처리에 적합하여 훨씬 빠른 속도로 암호 해제를 수행할 수 있습니다. 다만, 암호 자릿수가 길어 단순 무차별 대입 공격이 어려운 경우에는 후보 단어 목록을 체계적으로 구성하는 방법과 방식도 매우 중요합니다.


암호 해제 속도의 변동성: 1초당 대입 가능한 암호의 수는 암호 해제 시스템의 성능과 문서 종류에 따라 크게 달라집니다. 같은 엑셀 파일이라도 xls 형식과 xlsx 형식은 암호를 순차적으로 대입할 수 있는 속도에서 수천 배 이상의 차이가 발생할 수 있습니다. 소프트웨어가 업데이트되면서 문서의 암호화 사양도 강화되어, 최신 형식의 문서일수록 같은 장비로도 단위시간당 대입 횟수가 줄어들기 때문입니다. 따라서 대상 문서의 형식과 암호화 수준을 먼저 파악해야 암호 해제에 소요될 시간을 현실적으로 가늠할 수 있습니다.

적용의 한계: 앞서 소개한 사례는 개별 사건의 결과이며, 암호가 설정된 모든 문서가 반드시 해제 가능한 것은 아닙니다. 암호의 복잡도에 따라 합리적인 시간 내에 암호 확인이 어려운 경우가 있고, 일주일 이상의 긴 시간이 소요될 수도 있습니다. 따라서 암호의 복잡도와 문서 특성을 먼저 평가하여 사건별로 암호 해제 시도 여부를 판단할 필요가 있습니다.

앞서 소개한 사례와 같이 저희 사무소의 노하우를 활용하여 가능성이 높은 후보 단어군을 선별해 사전을 구성한다면, 사전 공격을 통해 자릿수가 긴 암호도 해제에 성공할 수 있습니다. 또한 한정된 문자셋으로 구성되었거나 자릿수가 길지 않은 암호는 무차별 대입 공격만으로도 암호를 해제할 수 있습니다. 암호가 설정된 문서는 중요한 정보를 담고 있는 경우가 많아, 이를 해제함으로써 실체적 사실관계를 밝혀내는 데 중요한 단서가 될 수 있습니다.
 

[영문] Digital Forensics for Password-Protected Documents

[관련 뉴스레터] Legal Tech Practical Issues Update 2026

 

관련 이슈

#암호 해제

공유하기

레이어 닫기

관련 구성원

레이어 닫기

관련 구성원

레이어 닫기