과거 로펌이나 기업 법무 부서에서는 소송에 관련된 모든 문서를 수동으로 검토하곤 했습니다. 그러나 오늘날 이 같은 업무 방식은 거의 불가능하고 비현실적입니다. 요즘 대부분의 자료는 전자적인 형태로 생산 및 관리되며 그 양도 방대합니다. 이에 최근 많은 소송 관계자들이 사건 해결을 위해 기술의 힘을 빌리고 별도의 리뷰팀을 꾸려 대응하는 추세입니다.
그러나 이 방식 역시 오류에 취약하고 비효율적입니다. 단순한 검색 매개 변수로는 방대한 양의 소송 데이터를 관리 및 분석 가능한 수준으로 줄이기 어려워 ‘리뷰팀’은 여전히 많은 양의 자료를 분석해야 합니다. 리뷰어는 사람이기 때문에 작업의 규모에 따라 속도 및 품질에 영향을 받습니다.
빅데이터는 정보의 폭증을 불러와 위와 같은 문제를 야기했지만, 아이러니하게도 문제를 효과적으로 해결하는 키가 되기도 합니다. 행동과학에 기반한 인공지능에 빅데이터가 결합되면 엄청난 시너지가 발생합니다. 인공지능은 많은 양의 데이터를 반복적으로 처리하고 학습하는 과정에서 더욱 고도화됩니다. 더 똑똑해진 인공지능은 사람을 도와 보다 빠르고 높은 품질의 리뷰를 가능케합니다.
오늘은 이러한 AI 기반 리뷰 솔루션의 장점과 실제 활용 사례, 그리고 대표적인 AI 기반 리뷰 솔루션인 프론테오의 ‘키빗 오토메이터’에 대해 알아보겠습니다.
데이터 폭증에 대응하는 효과적인 문서 리뷰 방안
정보의 홍수 속에서 소송과 관련성이 높은 양질의 데이터와 정보를 솎아내는 일은 매우 어렵습니다. 이에 프론테오는 소송 자료 분석에 소요되는 비용과 시간을 효과적으로 줄일 수 있는 AI 기반 리뷰 워크플로우 솔루션을 제안합니다.
프론테오는 AI 리뷰의 효율을 증명하기 위해 반독점 분야에서 영향력 높은 미국 로펌 ‘베이커호스테틀러(BakerHostetler)’의 파트너 잭 포르나시아리(Jack Fornaciari)와 함께 개념검증(PoC·Proof of Concept)을 진행했습니다.
포르나시아리는 빠듯한 디스커버리(Discovery∙증거개시) 마감 시한 내 수천 시간 분량의 문서 리뷰를 하는 경우가 많습니다. 그가 다루는 고객 데이터는 미묘한 뉘앙스가 함께 민감한 경우가 많아 리뷰 팀은 각각의 문서를 주의 깊게 살펴야 합니다. 포르나시아리 같은 변호사들은 AI 기반 리뷰 효율화 솔루션을 통해 리뷰의 투명성, 분석 품질, 효율성을 개선할 수 있습니다. AI 기반 리뷰는 이미 이디스커버리에서 폭넓게 보급된 TAR(Technology Assisted Review)의 발전된 형태입니다. 많은 리뷰 플랫폼이 TAR 기반 리뷰 서비스를 제공하지만 프론테오는 리뷰뿐 아니라 분석 품질 체크, 관리까지 기능을 확장해 리뷰 전 과정에서의 효율성과 효과를 극대화합니다.
<그림 1> 프론테오 AI 기반 리뷰 워크플로우 프로세스
프론테오는 포르나시아리가 과거 맡았던 소송 관련 문서로 시뮬레이션을 진행했습니다. 실제 사람이 기존 방식으로 업무를 진행했을 때와 <그림 1>과 같이 새로운 워크플로우가 적용됐을 때를 비교하면, AI 키빗이 사람의 리뷰 속도, 효율성, 품질 등을 월등히 뛰어넘어 리뷰 및 관리에 효과적 영향을 미치는 것을 확인할 수 있습니다.
다른 일반적인 AI 솔루션과 마찬가지로 키빗 오토메이터도 사람이 반복적으로 수행하는 업무의 공수를 줄이기 위해 설계됐습니다. 인공지능 키빗은 변호사 등 문서 리뷰 전문가의 판단 기준을 학습하고, 그들을 대신해 전체 대상 문서를 정해진 기준에 따라 판별∙분류하는 과정을 거치며 리뷰 속도를 개선합니다. 키빗은 학습한 기준을 바탕으로 관련 문서에 0점부터 1만점의 관련도 점수를 부여하고, 그 스코어에 따라 문서를 분류 및 재편합니다. 관련도 점수가 유의미하게 낮은 임계값 이하의 자료는 컷오프(cut-off)해 대상 문서의 양을 줄인 후, 중요도가 높은 문서부터 유사한 문서끼리 리뷰합니다. 또한 잠재적으로 발생할 수 있는 오류를 점검하는 QC(Quality Check) 프로세스를 탑재해 최적화된 워크플로우를 구현합니다.
AI 기반 리뷰 워크플로우 장점
● 빠른 리뷰 속도
문서 리뷰 속도는 비슷한 문서를 함께 검토할 때 빨라지는 경향이 있습니다. 키빗은 관련도 점수를 바탕으로 높은 점수를 가진 배치(batch)와 낮은 점수의 배치를 생성합니다. 변호사들은 유사한 문서끼리 함께 리뷰해 수월하게 작업할 수 있습니다.
관련도 높은 문서들의 배치인 경우 시간당 평균 약 60개 문서를, 반면 관련도 낮은 점수의 배치는 시간당 약 90개 문서를 리뷰할 수 있었습니다. 관련 없는 문서의 비중이 높아 리뷰 속도가 더 빠른 것입니다. <그림 2>는 동일 문서에서 선형 리뷰와 AI가 관련도에 따라 배치를 분류해 리뷰한 작업의 속도 변화를 보여줍니다.
<그림 2> 하이브리드 리뷰와 선형 리뷰 속도 비교
● 품질 관리 향상
AI 관련도 분석은 1차 리뷰의 효율성을 크게 개선했습니다. 이후 2차 리뷰에서도 키빗은 표적 품질 관리를 통해 리뷰의 정확도 및 효율성을 높였습니다. ‘QC 히트 맵’은 리뷰 관리자에게 리뷰어 코딩의 이상 징후를 시각적으로 보여주며, AI가 예측한 관련도 점수와 리뷰어의 검토 결과를 비교해 결과를 도출합니다.
QC 히트 맵의 결과는 리뷰어의 작업 능률과 품질 평가에 활용됩니다. QC 히트 맵과 그 피드백을 이용해 리뷰어를 트레이닝하고, 리뷰 관리 프로세스를 개선할 수 있습니다. QC 히트 맵은 문서에 할당된 AI 모델링 예측과 리뷰어의 분석 결과를 비교해 컬러 코드로 나타냅니다. QC 히트 맵의 컬러 다이어그램을 통해 리뷰 관리자는 AI와 리뷰어의 문서 분류 및 코딩 결과가 일치하지 않는 부분을 확인해 오류를 개선하고, 기술의 도움으로 품질 관리를 효율적이고 효과적으로 수행할 수 있습니다.
<그림 3> QC 히트 맵
속도 향상+시간 단축=비용 절감
프론테오는 여러 관련 지표를 통해 PoC를 진행한 결과, 리뷰 속도를 높이면 전체 프로젝트 비용이 크게 절감된다는 사실을 확인했습니다. 그러나 비용 절감만큼 중요한 점은 AI가 향상된 리뷰를 통해 설명된 시간 내 대용량 데이터를 보다 정확하게 리뷰할 수 있다는 것입니다.
AI 리뷰 프로세스를 적용한 결과 사람이 리뷰해야 하는 문서 수가 64% 가까이 줄어들었습니다. AI 리뷰는 시간 당 평균 91.6건 문서를 처리할 수 있는데 이는 기존 선형 리뷰 대비 시간을 48% 단축한 것이며, AI 기반 리뷰 워크플로우 솔루션이 선형 리뷰보다 2배 가까이 빠르다는 것을 보여줍니다. 이번 PoC를 통해 AI의 전략적 활용이 분석 품질을 해치지 않고 효율적인 리뷰가 가능함을 입증했습니다.
전략적 AI 활용으로 빠르고 효율적인 리뷰
포르나시아리는 “프론테오의 키빗 오토메이터 솔루션을 활용해 품질 저하 없이 리뷰 일정을 상당히 큰 폭으로 단축했다”며 “이 결과는 대량의 문서 리뷰에서 AI 기반 솔루션을 이용함으로써 얻는 효율성을 입증한다. 따라서 향후 실제 소송과정에서 적용하고 싶다”고 말했습니다.
이는 앞으로의 성과가 매우 기대되는 긍정적인 결과입니다. AI를 활용한 대규모 문서 리뷰의 실제 효과가 계량화된 수치로 입증됐고, 이는 곧 프론테오 고객이 실질적 혜택을 누릴 수 있음을 의미합니다.
특히 PoC에서 증명됐듯 키빗 오토메이터는 소량의 트레이닝 데이터만으로 대량의 문서를 빠른 시간 내 분석 품질을 해치지 않고 리뷰가 가능합니다. AI 기반 리뷰는 인간의 실수를 줄이고 속도와 정확성을 크게 높여줍니다. 원고, 피고측 변호인단, 판사 등 소송 관계자 모두는 빠르고 정확한 분석을 활용해 이디스커버리 리뷰 과정에서 효율성을 크게 개선할 수 있습니다.
이처럼 프론테오는 인간의 지식, 경험, AI 기술을 결합해 고객이 필요로 하는 최적의 솔루션 개발 및 공급에 앞장서고 있습니다.
▶ 관련기사보기: 프론테오 ‘키빗 오토메이터’, AI로 방대한 문서도 빠르고 효율적으로 리뷰
과거 로펌이나 기업 법무 부서에서는 소송에 관련된 모든 문서를 수동으로 검토하곤 했습니다. 그러나 오늘날 이 같은 업무 방식은 거의 불가능하고 비현실적입니다. 요즘 대부분의 자료는 전자적인 형태로 생산 및 관리되며 그 양도 방대합니다. 이에 최근 많은 소송 관계자들이 사건 해결을 위해 기술의 힘을 빌리고 별도의 리뷰팀을 꾸려 대응하는 추세입니다.
그러나 이 방식 역시 오류에 취약하고 비효율적입니다. 단순한 검색 매개 변수로는 방대한 양의 소송 데이터를 관리 및 분석 가능한 수준으로 줄이기 어려워 ‘리뷰팀’은 여전히 많은 양의 자료를 분석해야 합니다. 리뷰어는 사람이기 때문에 작업의 규모에 따라 속도 및 품질에 영향을 받습니다.
빅데이터는 정보의 폭증을 불러와 위와 같은 문제를 야기했지만, 아이러니하게도 문제를 효과적으로 해결하는 키가 되기도 합니다. 행동과학에 기반한 인공지능에 빅데이터가 결합되면 엄청난 시너지가 발생합니다. 인공지능은 많은 양의 데이터를 반복적으로 처리하고 학습하는 과정에서 더욱 고도화됩니다. 더 똑똑해진 인공지능은 사람을 도와 보다 빠르고 높은 품질의 리뷰를 가능케합니다.
오늘은 이러한 AI 기반 리뷰 솔루션의 장점과 실제 활용 사례, 그리고 대표적인 AI 기반 리뷰 솔루션인 프론테오의 ‘키빗 오토메이터’에 대해 알아보겠습니다.
데이터 폭증에 대응하는 효과적인 문서 리뷰 방안
정보의 홍수 속에서 소송과 관련성이 높은 양질의 데이터와 정보를 솎아내는 일은 매우 어렵습니다. 이에 프론테오는 소송 자료 분석에 소요되는 비용과 시간을 효과적으로 줄일 수 있는 AI 기반 리뷰 워크플로우 솔루션을 제안합니다.
프론테오는 AI 리뷰의 효율을 증명하기 위해 반독점 분야에서 영향력 높은 미국 로펌 ‘베이커호스테틀러(BakerHostetler)’의 파트너 잭 포르나시아리(Jack Fornaciari)와 함께 개념검증(PoC·Proof of Concept)을 진행했습니다.
포르나시아리는 빠듯한 디스커버리(Discovery∙증거개시) 마감 시한 내 수천 시간 분량의 문서 리뷰를 하는 경우가 많습니다. 그가 다루는 고객 데이터는 미묘한 뉘앙스가 함께 민감한 경우가 많아 리뷰 팀은 각각의 문서를 주의 깊게 살펴야 합니다. 포르나시아리 같은 변호사들은 AI 기반 리뷰 효율화 솔루션을 통해 리뷰의 투명성, 분석 품질, 효율성을 개선할 수 있습니다. AI 기반 리뷰는 이미 이디스커버리에서 폭넓게 보급된 TAR(Technology Assisted Review)의 발전된 형태입니다. 많은 리뷰 플랫폼이 TAR 기반 리뷰 서비스를 제공하지만 프론테오는 리뷰뿐 아니라 분석 품질 체크, 관리까지 기능을 확장해 리뷰 전 과정에서의 효율성과 효과를 극대화합니다.
<그림 1> 프론테오 AI 기반 리뷰 워크플로우 프로세스
프론테오는 포르나시아리가 과거 맡았던 소송 관련 문서로 시뮬레이션을 진행했습니다. 실제 사람이 기존 방식으로 업무를 진행했을 때와 <그림 1>과 같이 새로운 워크플로우가 적용됐을 때를 비교하면, AI 키빗이 사람의 리뷰 속도, 효율성, 품질 등을 월등히 뛰어넘어 리뷰 및 관리에 효과적 영향을 미치는 것을 확인할 수 있습니다.
다른 일반적인 AI 솔루션과 마찬가지로 키빗 오토메이터도 사람이 반복적으로 수행하는 업무의 공수를 줄이기 위해 설계됐습니다. 인공지능 키빗은 변호사 등 문서 리뷰 전문가의 판단 기준을 학습하고, 그들을 대신해 전체 대상 문서를 정해진 기준에 따라 판별∙분류하는 과정을 거치며 리뷰 속도를 개선합니다. 키빗은 학습한 기준을 바탕으로 관련 문서에 0점부터 1만점의 관련도 점수를 부여하고, 그 스코어에 따라 문서를 분류 및 재편합니다. 관련도 점수가 유의미하게 낮은 임계값 이하의 자료는 컷오프(cut-off)해 대상 문서의 양을 줄인 후, 중요도가 높은 문서부터 유사한 문서끼리 리뷰합니다. 또한 잠재적으로 발생할 수 있는 오류를 점검하는 QC(Quality Check) 프로세스를 탑재해 최적화된 워크플로우를 구현합니다.
AI 기반 리뷰 워크플로우 장점
● 빠른 리뷰 속도
문서 리뷰 속도는 비슷한 문서를 함께 검토할 때 빨라지는 경향이 있습니다. 키빗은 관련도 점수를 바탕으로 높은 점수를 가진 배치(batch)와 낮은 점수의 배치를 생성합니다. 변호사들은 유사한 문서끼리 함께 리뷰해 수월하게 작업할 수 있습니다.
관련도 높은 문서들의 배치인 경우 시간당 평균 약 60개 문서를, 반면 관련도 낮은 점수의 배치는 시간당 약 90개 문서를 리뷰할 수 있었습니다. 관련 없는 문서의 비중이 높아 리뷰 속도가 더 빠른 것입니다. <그림 2>는 동일 문서에서 선형 리뷰와 AI가 관련도에 따라 배치를 분류해 리뷰한 작업의 속도 변화를 보여줍니다.
<그림 2> 하이브리드 리뷰와 선형 리뷰 속도 비교
● 품질 관리 향상
AI 관련도 분석은 1차 리뷰의 효율성을 크게 개선했습니다. 이후 2차 리뷰에서도 키빗은 표적 품질 관리를 통해 리뷰의 정확도 및 효율성을 높였습니다. ‘QC 히트 맵’은 리뷰 관리자에게 리뷰어 코딩의 이상 징후를 시각적으로 보여주며, AI가 예측한 관련도 점수와 리뷰어의 검토 결과를 비교해 결과를 도출합니다.
QC 히트 맵의 결과는 리뷰어의 작업 능률과 품질 평가에 활용됩니다. QC 히트 맵과 그 피드백을 이용해 리뷰어를 트레이닝하고, 리뷰 관리 프로세스를 개선할 수 있습니다. QC 히트 맵은 문서에 할당된 AI 모델링 예측과 리뷰어의 분석 결과를 비교해 컬러 코드로 나타냅니다. QC 히트 맵의 컬러 다이어그램을 통해 리뷰 관리자는 AI와 리뷰어의 문서 분류 및 코딩 결과가 일치하지 않는 부분을 확인해 오류를 개선하고, 기술의 도움으로 품질 관리를 효율적이고 효과적으로 수행할 수 있습니다.
<그림 3> QC 히트 맵
속도 향상+시간 단축=비용 절감
프론테오는 여러 관련 지표를 통해 PoC를 진행한 결과, 리뷰 속도를 높이면 전체 프로젝트 비용이 크게 절감된다는 사실을 확인했습니다. 그러나 비용 절감만큼 중요한 점은 AI가 향상된 리뷰를 통해 설명된 시간 내 대용량 데이터를 보다 정확하게 리뷰할 수 있다는 것입니다.
AI 리뷰 프로세스를 적용한 결과 사람이 리뷰해야 하는 문서 수가 64% 가까이 줄어들었습니다. AI 리뷰는 시간 당 평균 91.6건 문서를 처리할 수 있는데 이는 기존 선형 리뷰 대비 시간을 48% 단축한 것이며, AI 기반 리뷰 워크플로우 솔루션이 선형 리뷰보다 2배 가까이 빠르다는 것을 보여줍니다. 이번 PoC를 통해 AI의 전략적 활용이 분석 품질을 해치지 않고 효율적인 리뷰가 가능함을 입증했습니다.
전략적 AI 활용으로 빠르고 효율적인 리뷰
포르나시아리는 “프론테오의 키빗 오토메이터 솔루션을 활용해 품질 저하 없이 리뷰 일정을 상당히 큰 폭으로 단축했다”며 “이 결과는 대량의 문서 리뷰에서 AI 기반 솔루션을 이용함으로써 얻는 효율성을 입증한다. 따라서 향후 실제 소송과정에서 적용하고 싶다”고 말했습니다.
이는 앞으로의 성과가 매우 기대되는 긍정적인 결과입니다. AI를 활용한 대규모 문서 리뷰의 실제 효과가 계량화된 수치로 입증됐고, 이는 곧 프론테오 고객이 실질적 혜택을 누릴 수 있음을 의미합니다.
특히 PoC에서 증명됐듯 키빗 오토메이터는 소량의 트레이닝 데이터만으로 대량의 문서를 빠른 시간 내 분석 품질을 해치지 않고 리뷰가 가능합니다. AI 기반 리뷰는 인간의 실수를 줄이고 속도와 정확성을 크게 높여줍니다. 원고, 피고측 변호인단, 판사 등 소송 관계자 모두는 빠르고 정확한 분석을 활용해 이디스커버리 리뷰 과정에서 효율성을 크게 개선할 수 있습니다.
이처럼 프론테오는 인간의 지식, 경험, AI 기술을 결합해 고객이 필요로 하는 최적의 솔루션 개발 및 공급에 앞장서고 있습니다.
▶ 관련기사보기: 프론테오 ‘키빗 오토메이터’, AI로 방대한 문서도 빠르고 효율적으로 리뷰