기업이 국제 소송에 휘말려 디스커버리 벤더를 선택할 때 어떻게 해야 할까요?
확실한 것은, 단순하게 최저 견적의 벤더를 고르는 것은 피해야 한다는 점입니다. 디스커버리 벤더는 그렇게 간단한 기준 만으로 선택해야 할 것이 아니기 때문입니다.
작업의 퀄리티를 확인하지 않고 가격으로만 벤더를 선택했을 때, 견적으로 정밀도를 확인할 수 없습니다. 그 결과 예상외의 비용이 추가되어, 반대로 총 금액이 올라갈 수도 있습니다. 단가가 낮다고 총 금액이 낮은 것은 아닙니다.
또한 국제 소송은 시간과의 싸움이기도 합니다. 특히 초기 대응에 늦어지면 소송의 결과가 불리해질 수도 있고, 지불할 필요가 없었던 금액을 지불해야 할 수도 있습니다. ‘초기 대응’이란, 주로 변호사 선정과 디스커버리 벤더 선정, 그리고 리티게이션 홀드(Litigation hold: 증거 대상이 되는 문서 및 데이터의 보호)를 가리킵니다. 이번 포스팅에서는 벤더 선정과 변호사 선정에 대하여 알려드리겠습니다.
벤더 선정은 변호사에게 일임하지 않고, 기업의 소송 담당자와 변호사가 함께 고려하는 것이 이상적입니다. 그리고 이를 위한 가장 효과적인 방법은 변호사와 계약을 맺을 때, 반드시 계약서에 ‘디스커버리 벤더 선정에 대해서는 기업 측의 본사가 결정한다’라는 문항을 넣어 두는 것입니다. 그렇게 하면 변호사가 자신의 이익 추구를 위해 기업의 의향과 상관없이 벤더를 결정하는 상황을 방지할 수 있습니다.
또한 벤더를 결정할 때는 최소한 다음과 같은 질문을 하는 것이 좋습니다.
1. Predictive Coding(예측부호화)을 사용할 수 있는지
프레딕티브 코딩은 컴퓨터에서 검토 작업을 수행하는 것입니다.
좀 더 자세하게 설명한다면, 일정한 샘플 데이터를 바탕으로, 소송/조사의 관련 파일을 자동으로 분류하는 ‘자동 파일 분류 기능(관련도 순)’입니다.
전통적으로 리뷰는 사람의 눈으로 직접 하나부터 열까지 일일이 수작업으로 이뤄졌습니다. 하지만 이 경우 장시간 작업으로 피로가 쌓여 작업 효율이 떨어지거나 정확성이 떨어집니다. 또한, 리뷰어에 따라 정확성과 작업 속도의 차이가 있습니다. A라는 리뷰어가 평균 80%의 정밀도로 체크할 수 있었던 것을, B 리뷰어는 60%의 정밀도로 체크할 수 있고, 같은 A라도 아침과 저녁의 정밀도가 다를 수 있습니다.
이 점에서 프레딕티브 코딩 머신 작업은 수작업에 의한 편차가 없습니다. 게다가 처리가 빠르고 정확합니다. 문서별로 중요도를 부여하는 등 데이터 분류에 대해서는 90% 이상의 정밀도를 보인다고 합니다. 작업에 따라서는 1대의 프레딕티브 코딩 머신으로 4,000명의 변호사와 대등한 속도와 정확성을 얻을 수 있습니다.
프레딕티브 코딩을 사용하면 확실하게 검색 비용을 낮출 수 있습니다. 그럼에도 불구하고 이 기술을 사용하려고 하지 않는 벤더는 기술을 가지고 있지 않거나, 혹은 리뷰로 고액의 작업을 실시하는 것에 의한 이익이 없어지기 때문에 굳이 사용하고 있지 않을 수 있습니다. 그러한 벤더는 선정하지 않는 것이 좋습니다.
2. 한국어 대응 가능 여부
다음으로 중요한 것은 한국어 대응의 여부입니다. 한국에 진출하고 있는 벤더는 물론 한국어 대응 가능이 가능한 것이 대전제이지만, 정확히 어느 수준으로 대응이 가능한지 그 범위에 대해서는 면밀한 확인이 필요합니다.
우선, 소프트웨어뿐 아니라 담당자도 한국어 대응이 가능한지도 중요합니다. 단순히 한국어 문서를 분석하고 리뷰 할 수 있는 시스템을 탑재하고 있다고 해서 그 벤더가 모든 한국어 처리 업무에 능숙하다는 것을 의미하는 것은 아니기 때문입니다.
여기서 말하는 ‘한국어 대응’이란, 한국어를 모국어로 사용할 수 있는 사람이 프로젝트 매니저로서 관여해, 전체적인 프로젝트를 이끄는 것을 의미합니다. 벤더 측의 담당자가 한국어를 이해하지 못하는 경우, 의뢰자인 기업과 영어로 커뮤니케이션한다고 해도, 현장에서 발생하는 이슈를 파악하기 어려울 수 있습니다. 예를 들어, 문자 깨짐이 발생했을 때, 벤더의 담당자가 깨진 문자를 구분할 수 없으면, 고객은 앞서 진행됐던 전체 과정까지 제대로 이루어지지 않았다고 생각할 수 있습니다.
또, 키워드 검색에서의 키워드 선정 등에 있어서도 언어에 따른 뉘앙스 차이가 나타납니다. 이러한 작은 차이의 누적이, 결과적으로 납기나 비용의 큰 차이로 연결될 수 있습니다.
데이터 수집부터 리뷰에 이르기까지 일관된 한국어 대응이 불가능한 경우, 리뷰 전에 모든 서류를 번역해야 하기 때문에 그만큼 리뷰가 지연되고 비용도 올라갑니다. 또한, 검토 전에 자료를 번역하면 증거 자료가 누락이 될 수도 있습니다.
또, 1번에서 소개한 ‘프레딕티브 코딩’에 대해서도 마찬가지입니다. 해외 벤더 중에는, ‘프레딕티브 코딩’은 가능하지만, 한국어 대응은 불가한 곳도 있습니다. 그렇기 때문에 계약하려는 벤더가, 한국어 프레딕티브 코딩 기술을 보유하고 있는지 확인하면 좋을 것입니다.
또, 벤더가 모든 범위에서 한국어에 대응한다고 해도, 정밀도는 벤더마다 다르기 때문에, 정밀도를 확인하기 위해서도, 데모를 진행하거나 Recall rate(재현율)와 Precision rate(정밀도)(아래 참조)를 확인하는 것이 좋습니다.
프리딕티브 코딩이란? (프레딕티브 코딩 = 예측부호화) -> 인공 지능 기술/텍스트 마이닝의 고도의 분석 기능 <구조> 1. 기업의 법무 담당자 또는 변호사가 소량의 문서를 조사하여 소송과 관계 유무를 판단한다. 2. 샘플 데이터를 인공지능이 학습하고 모든 검토 대상 파일을 법무 담당자 또는 변호사가 판단한 기준으로 구분한다. (점수 포함) 3. 소송과 관계가 있다고 판단한 문서에 높은 점수가 부여된다. 학습할 샘플 데이터에 따라 학습할 대상(전문지, 집합지)을 선택. |
3. Recall rate(재현율) 및 Precision rate(정밀도) 수치 공유
프레딕티브 코딩의 정확성을 나타내는 지표 중 하나는 Recall rate(재현율)와 Precision rate(정밀도)입니다.
- Recall rate(재현율)란?
프레딕티브 코딩에서 실제 관련성 있는 문장 중 코딩이 얼마나 정확한 데이터를 포함하고 있는지를 나타내는 지표.
-> Recall rate = 올바르게 판정된 파일 수 ÷ (올바르게 판정된 파일 수 + 간과한 파일 수)
- Precision rate(정밀도)이란?
프레딕티브 코딩에서 추출된 문장 중 실제 정확한 데이터와 얼마나 일치하는지를 나타내는 지표.
->Precision Rate = 올바르게 판정된 파일 수 ÷ (올바르게 판정된 파일 수 + 판정 오류 파일 수)
|
이런 수치는 매우 복잡하며 일반인이 숫자를 이해하기가 어려울 수 있지만 정확한 디스커버리 벤더라면 샘플에서 추출한 데이터를 가지고 있으며, 진행했던 레퍼런스 케이스를 공개할 수도 있습니다. 하지만, 이 수치를 모호하게 하거나 데이터가 없다는 벤더는 주의해야 합니다.
세 가지 질문은 변호사를 판단하는 기준이 됩니다.
국제 소송에 익숙하지 않은 한국 기업의 경우, 디스커버리 벤더와 직접 협상하는 것이 어려울 수 있습니다. 또, 기업의 임원과 변호사의 관계 때문에, 변호사가 벤더를 선정하는 것에 관여하기 어려운 경우도 있습니다.
그러나 좋은 벤더를 선정하기 위해서는 위의 세 가지 질문은 반드시 변호사에게 확인해야 합니다. 근거 없이 맡겨만 달라는 변호사는 피하는 것이 좋습니다. 구체적인 답변을 얻는 것이 중요하며, 변호사와 이야기해도 판단이 서지 않은 경우는, 직접 벤더와 만나보는 것이 좋습니다.
기업이 국제 소송에 휘말려 디스커버리 벤더를 선택할 때 어떻게 해야 할까요?
확실한 것은, 단순하게 최저 견적의 벤더를 고르는 것은 피해야 한다는 점입니다. 디스커버리 벤더는 그렇게 간단한 기준 만으로 선택해야 할 것이 아니기 때문입니다.
작업의 퀄리티를 확인하지 않고 가격으로만 벤더를 선택했을 때, 견적으로 정밀도를 확인할 수 없습니다. 그 결과 예상외의 비용이 추가되어, 반대로 총 금액이 올라갈 수도 있습니다. 단가가 낮다고 총 금액이 낮은 것은 아닙니다.
또한 국제 소송은 시간과의 싸움이기도 합니다. 특히 초기 대응에 늦어지면 소송의 결과가 불리해질 수도 있고, 지불할 필요가 없었던 금액을 지불해야 할 수도 있습니다. ‘초기 대응’이란, 주로 변호사 선정과 디스커버리 벤더 선정, 그리고 리티게이션 홀드(Litigation hold: 증거 대상이 되는 문서 및 데이터의 보호)를 가리킵니다. 이번 포스팅에서는 벤더 선정과 변호사 선정에 대하여 알려드리겠습니다.
벤더 선정은 변호사에게 일임하지 않고, 기업의 소송 담당자와 변호사가 함께 고려하는 것이 이상적입니다. 그리고 이를 위한 가장 효과적인 방법은 변호사와 계약을 맺을 때, 반드시 계약서에 ‘디스커버리 벤더 선정에 대해서는 기업 측의 본사가 결정한다’라는 문항을 넣어 두는 것입니다. 그렇게 하면 변호사가 자신의 이익 추구를 위해 기업의 의향과 상관없이 벤더를 결정하는 상황을 방지할 수 있습니다.
또한 벤더를 결정할 때는 최소한 다음과 같은 질문을 하는 것이 좋습니다.
1. Predictive Coding(예측부호화)을 사용할 수 있는지
프레딕티브 코딩은 컴퓨터에서 검토 작업을 수행하는 것입니다.
좀 더 자세하게 설명한다면, 일정한 샘플 데이터를 바탕으로, 소송/조사의 관련 파일을 자동으로 분류하는 ‘자동 파일 분류 기능(관련도 순)’입니다.
전통적으로 리뷰는 사람의 눈으로 직접 하나부터 열까지 일일이 수작업으로 이뤄졌습니다. 하지만 이 경우 장시간 작업으로 피로가 쌓여 작업 효율이 떨어지거나 정확성이 떨어집니다. 또한, 리뷰어에 따라 정확성과 작업 속도의 차이가 있습니다. A라는 리뷰어가 평균 80%의 정밀도로 체크할 수 있었던 것을, B 리뷰어는 60%의 정밀도로 체크할 수 있고, 같은 A라도 아침과 저녁의 정밀도가 다를 수 있습니다.
이 점에서 프레딕티브 코딩 머신 작업은 수작업에 의한 편차가 없습니다. 게다가 처리가 빠르고 정확합니다. 문서별로 중요도를 부여하는 등 데이터 분류에 대해서는 90% 이상의 정밀도를 보인다고 합니다. 작업에 따라서는 1대의 프레딕티브 코딩 머신으로 4,000명의 변호사와 대등한 속도와 정확성을 얻을 수 있습니다.
프레딕티브 코딩을 사용하면 확실하게 검색 비용을 낮출 수 있습니다. 그럼에도 불구하고 이 기술을 사용하려고 하지 않는 벤더는 기술을 가지고 있지 않거나, 혹은 리뷰로 고액의 작업을 실시하는 것에 의한 이익이 없어지기 때문에 굳이 사용하고 있지 않을 수 있습니다. 그러한 벤더는 선정하지 않는 것이 좋습니다.
2. 한국어 대응 가능 여부
다음으로 중요한 것은 한국어 대응의 여부입니다. 한국에 진출하고 있는 벤더는 물론 한국어 대응 가능이 가능한 것이 대전제이지만, 정확히 어느 수준으로 대응이 가능한지 그 범위에 대해서는 면밀한 확인이 필요합니다.
우선, 소프트웨어뿐 아니라 담당자도 한국어 대응이 가능한지도 중요합니다. 단순히 한국어 문서를 분석하고 리뷰 할 수 있는 시스템을 탑재하고 있다고 해서 그 벤더가 모든 한국어 처리 업무에 능숙하다는 것을 의미하는 것은 아니기 때문입니다.
여기서 말하는 ‘한국어 대응’이란, 한국어를 모국어로 사용할 수 있는 사람이 프로젝트 매니저로서 관여해, 전체적인 프로젝트를 이끄는 것을 의미합니다. 벤더 측의 담당자가 한국어를 이해하지 못하는 경우, 의뢰자인 기업과 영어로 커뮤니케이션한다고 해도, 현장에서 발생하는 이슈를 파악하기 어려울 수 있습니다. 예를 들어, 문자 깨짐이 발생했을 때, 벤더의 담당자가 깨진 문자를 구분할 수 없으면, 고객은 앞서 진행됐던 전체 과정까지 제대로 이루어지지 않았다고 생각할 수 있습니다.
또, 키워드 검색에서의 키워드 선정 등에 있어서도 언어에 따른 뉘앙스 차이가 나타납니다. 이러한 작은 차이의 누적이, 결과적으로 납기나 비용의 큰 차이로 연결될 수 있습니다.
데이터 수집부터 리뷰에 이르기까지 일관된 한국어 대응이 불가능한 경우, 리뷰 전에 모든 서류를 번역해야 하기 때문에 그만큼 리뷰가 지연되고 비용도 올라갑니다. 또한, 검토 전에 자료를 번역하면 증거 자료가 누락이 될 수도 있습니다.
또, 1번에서 소개한 ‘프레딕티브 코딩’에 대해서도 마찬가지입니다. 해외 벤더 중에는, ‘프레딕티브 코딩’은 가능하지만, 한국어 대응은 불가한 곳도 있습니다. 그렇기 때문에 계약하려는 벤더가, 한국어 프레딕티브 코딩 기술을 보유하고 있는지 확인하면 좋을 것입니다.
또, 벤더가 모든 범위에서 한국어에 대응한다고 해도, 정밀도는 벤더마다 다르기 때문에, 정밀도를 확인하기 위해서도, 데모를 진행하거나 Recall rate(재현율)와 Precision rate(정밀도)(아래 참조)를 확인하는 것이 좋습니다.
프리딕티브 코딩이란? (프레딕티브 코딩 = 예측부호화)
-> 인공 지능 기술/텍스트 마이닝의 고도의 분석 기능
<구조>
1. 기업의 법무 담당자 또는 변호사가 소량의 문서를 조사하여 소송과 관계 유무를 판단한다.
2. 샘플 데이터를 인공지능이 학습하고 모든 검토 대상 파일을 법무 담당자 또는 변호사가 판단한 기준으로 구분한다. (점수 포함)
3. 소송과 관계가 있다고 판단한 문서에 높은 점수가 부여된다.
학습할 샘플 데이터에 따라 학습할 대상(전문지, 집합지)을 선택.
3. Recall rate(재현율) 및 Precision rate(정밀도) 수치 공유
프레딕티브 코딩의 정확성을 나타내는 지표 중 하나는 Recall rate(재현율)와 Precision rate(정밀도)입니다.
프레딕티브 코딩에서 실제 관련성 있는 문장 중 코딩이 얼마나 정확한 데이터를 포함하고 있는지를 나타내는 지표.
-> Recall rate = 올바르게 판정된 파일 수 ÷ (올바르게 판정된 파일 수 + 간과한 파일 수)
프레딕티브 코딩에서 추출된 문장 중 실제 정확한 데이터와 얼마나 일치하는지를 나타내는 지표.
->Precision Rate = 올바르게 판정된 파일 수 ÷ (올바르게 판정된 파일 수 + 판정 오류 파일 수)
이런 수치는 매우 복잡하며 일반인이 숫자를 이해하기가 어려울 수 있지만 정확한 디스커버리 벤더라면 샘플에서 추출한 데이터를 가지고 있으며, 진행했던 레퍼런스 케이스를 공개할 수도 있습니다. 하지만, 이 수치를 모호하게 하거나 데이터가 없다는 벤더는 주의해야 합니다.
세 가지 질문은 변호사를 판단하는 기준이 됩니다.
국제 소송에 익숙하지 않은 한국 기업의 경우, 디스커버리 벤더와 직접 협상하는 것이 어려울 수 있습니다. 또, 기업의 임원과 변호사의 관계 때문에, 변호사가 벤더를 선정하는 것에 관여하기 어려운 경우도 있습니다.
그러나 좋은 벤더를 선정하기 위해서는 위의 세 가지 질문은 반드시 변호사에게 확인해야 합니다. 근거 없이 맡겨만 달라는 변호사는 피하는 것이 좋습니다. 구체적인 답변을 얻는 것이 중요하며, 변호사와 이야기해도 판단이 서지 않은 경우는, 직접 벤더와 만나보는 것이 좋습니다.