이디스커버리 소프트웨어에 의한 프로세싱 작업이 끝나면, 본격적으로 변호사 등 법률전문가가 관련 문서를 직접 검토해 데이터를 선별하는 리뷰작업으로 이어집니다. 인공지능 등 첨단 기술을 사용해 자료를 처리하고 선별했다고 해도, 최종적으로 어떤 데이터를 증거로 제출할지 결정하는 것은 법률전문가 등 사람이 해야 합니다.

리뷰는 직접적으로 사건과 관련이 되는 내용의 문서들을 선별하는 작업으로, 디스커버리 전체 과정에서 가장 많은 시간과 비용이 소요됩니다. 직접 증거가 되는 자료를 선별하기 위해 많게는 수십명의 리뷰어가 파일 하나하나의 내용을 확인하면서 소송과 관련된 자료인지 그렇지 않은지를 구분합니다. 리뷰어의 시간 당 인건비가 그대로 비용이 되기 때문에 많은 비용이 발생합니다. 프로젝트의 규모에 따라 리뷰에 투입되는 시간 및 팀의 규모도 달라지는데 큰 프로젝트의 경우 수십명의 리뷰어가 여러 달에 걸쳐 작업을 할 때도 있습니다. 그만큼 소송 진행 과정에서 시간과 비용이 많이 소요되며, 대략적으로 전체 이디스커버리 비용의 70%를 리뷰가 차지한다고 알려져 있습니다.

리뷰 대상이 되는 서류나 전자메일 등의 데이터를 하나 하나 열어서 확인한다면 효율성이 매우 낮을 수밖에 없고 제한된 시간 내에 막대한 양의 데이터 리뷰를 끝마치지 못할 수도 있습니다. 때문에 이러한 작업은 이디스커버리 전문 소프트웨어를 활용하는 것이 일반적입니다. 보다 효율적인 작업을 위해 프로세싱, 분석과정을 통해 추출한 데이터를 호스팅하고 이 데이터를 이디스커버리 플랫폼에 로드 하는 시스템이 널리 활용되고 있습니다. 변호사들은 플랫폼에 접속해 데이터를 선별하고 실행하는 과정에서 시간과 노력을 절감할 수 있습니다. 리뷰 작업이 빠르게 진행될수록 소송 대응방법 및 대책 마련에 시간을 쏟을 수 있고 집중할 수 있기 때문에 효율적인 리뷰는 무엇보다 중요합니다.

  ​ 

1차 리뷰와 2차 리뷰

일반적으로 리뷰작업은 1차와 2차로 나누어 진행됩니다. 

1차 리뷰(first pass review)는 문서들과 소송과의 관련성(Relevant/responsiveness)을 판단하는 단순한 작업입니다. 1차 리뷰는 방대한 양의 문서를 빠르게 봐야 하기 때문에 단시간에 많은 수의 법률전문 인력이 투입됩니다. 소수의 담당변호사들에 의해 수행될 경우 시간과 비용이 너무 커지기 때문에, 1차 리뷰에 숙련된 별도의 팀이나 계약 변호사들에 의해 진행되는 것이 일반적입니다.

1차 리뷰 아웃소싱

1차 리뷰는 방대한 양의 문서를 빠르게 검토하기 때문에 많은 수의 법률전문인력이 단기간 투입됩니다. 리뷰어들이 작업을 진행할 리뷰룸, 컴퓨터 장비 등도 필요합니다. 국제소송 대응이 흔하지 않은 기업이나 로펌에서 이런 자원들을 상시 관리 및 유지하는 것이 쉽지 않기 때문에 1차 리뷰는 아웃소싱으로 진행되는 경우가 흔합니다.  

리뷰 비용에 가장 많은 영향을 끼치는 부분은 검토 속도로, 리뷰어의 시간 당 인건비가 그대로 비용이 되는 구조입니다. 일반적으로 1명의 리뷰어는 1시간 당 30파일~130파일 정도를 리뷰할 수 있는데, 소송 안건 및 코딩(태깅) 방식의 복잡성에 따라 그 속도가 달라집니다. 

1차 리뷰 아웃소싱의 가장 큰 장점은 비용 효율성입니다. 능숙한 리뷰어들은 전문 소프트웨어를 사용해 빠르고 효율적으로 자료를 리뷰합니다. 숙련된 리뷰 매니저는 리뷰매니지먼트 툴을 활용해 리뷰어들의 리뷰 속도, 성과 및 정확도를 지속적으로 모니터링해 리뷰 품질을 관리합니다. 1차 리뷰 아웃소싱이 진행되는 동안 소송담당 변호사는 소송 대응을 위한 또 다른 작업에 몰입할 수 있습니다. 1차 리뷰 아웃소싱은 리뷰에 소요되는 시간 및 비용 등의 필수 자원을 효과적으로 운용하는 방법입니다.

1차 리뷰 아웃소싱의 또다른 장점은 언어대응입니다. 미국에서 소송을 진행하는 경우, 미국 로펌및 현지 변호사를 선임하게 됩니다. 이들이 소송 관련 문서를 검토하기 위해 한국어로 된 문서의 번역이 필요합니다. 소송과 관련된 모든 문서를 번역하는데는 많은 시간이 소요되며 비용 또한 천문학적으로 커지게 됩니다. 한국어 및 영어 이중언어가 가능한 전문 리뷰어들이 문서를 먼저 검토하면, 번역에 필요한 문서의 수를 줄일 수 있으며 이로 인해 소송준비 기간 및 비용 또한 단축할 수 있습니다. 

이외에도 Language Detection Tool과 같은 지원프로그램을 활용하면, 영어로 된 문서와 한국어로된 문서를 구분해 각 언어를 구사하는 리뷰어들이 리뷰를 진행할 수 있어 보다 효율적인 리뷰를 진행할 수 있습니다.

TAR (Technology Assisted Review)

TAR(Technology Assisted Review) 혹은 CAR(Computer Assisted Review)는 이디스커버리 도입 후리뷰 대상 문서의 수가 폭발적으로 늘어나며 주목받기 시작했습니다. 리뷰 해야 할 문서의 양이 워낙 방대하다보니 정해진 기일 안에 해당 문서를 다 보지 못하는 경우가 생겼고, 비용도 대폭 증가하는 문제들이 생겼습니다. 

이러한 문제를 해결하기 위해 등장한 소프트웨어는 TAR 사용을 공식적으로 승인한 첫 번째 연방 판결(Da Silva Moore 케이스, 287 F.R.D. 182 (S.D.N.Y. 2012)이후 본격적으로 이디스커버리에 적용되기 시작했습니다. TAR은 수학 알고리즘 및 통계 샘플링을 활용해 문서를 자동으로 코딩하는 소프트웨어입니다. 이 소프트웨어는 전문가가 코딩한 시드셋(샘플)을 바탕으로 전체 문서를 분석해 관련(Relevant)/비관련(Non Relevant) 문서, 특권(Privilege)/비특권(Non Privilege) 문서 및 기타 분류에 자료를 구분할 수 있습니다. 문서 내의 키워드, 문장 및 문맥과의 관계를 파악해 시드셋과 유사한 구조 혹은 콘텐츠를 포함하는 문서들을 식별합니다. 

이를 통해 관련(Relevant) 있는 문서, 특권(Privilege)에 해당하는 문서, 기타 분류를 충족하는 문서들을 효과적으로 구분해 검토 대상 문서의 수를 효과적으로 줄일 수 있습니다. 이를 통해 검토에 소요되는 시간 및 관련 법률전문가의 분석비용 절감이 가능합니다. 또한, 관련도가 높은 문서부터 리뷰해 보다 효율적으로 문서를 검토할 수 있습니다. 이 프로세스는 예측코딩(Predictive Coding)이라고 불리기도 합니다. 

2012년 EDRM팀은 TAR 프로세스를 정형화하기 위한 프레임워크를 개발했습니다. EDRM 프레임워크와 마찬가지로, TAR 프레임워크는 업무 수행의 가이드라인이 됩니다. 프론테오를 포함한 이디스커버리 벤더와 학계, 업계 전문가들이 협의해 만든 주요 단계는 아래와 같습니다.

 ​

​

이디스커버리 비용에 대한 우려

이디스커버리는 소송 진행에 필수적인 수단으로 자리잡았지만, 그에 따른 비용 부담은 항상 문제점으로 지적되어 왔습니다. 미국은 2015년 연방민사소송규칙 26을 개정하며 이디스커버리의 범위가 사건의 가치 및 요구에 비례해야 한다는 내용을 포함했습니다. 디스커버리에 투입되는 시간 및 비용이 합리적인 수준이어야 한다는 점을 명확히 한 것입니다.

리뷰는 이디스커버리 비용의 약 73%로 매우 높은 비중을 차지하기 때문에, 리뷰에 투입되는 시간 및 비용을 줄일 수 있다면 제도를 이행하는데 필요한 자원을 대폭 절감할 수 있습니다. 이를 위해 지속적으로 이를 위한 제도적, 기술적 보완이 이뤄지고 있습니다.