(로앤컴퍼니 제공)

로앤컴퍼니는 자체 개발한 인공지능(AI) 시스템 '빅케이스GPT'가 변호사시험 객관식 문제에서 53.3%의 정답률을 기록했다고 18일 밝혔다. 이는 GPT4 정답률(34%)보다 19.3%포인트(p) 높은 수준이다.

빅케이스GPT는 AI 기반 통합 법률정보 서비스인 빅케이스와 법률 종합 포털 로톡의 운영사인 로앤컴퍼니가 만든 자체 AI 시스템이다.

변호사시험 객관식 문항은 공법 40문항, 민사법 70문항, 형사법 40문항 등 총 150문항이다. 빅케이스GPT는 이 문항들 중 각 19개, 40개, 21개 등 총 80개의 정답을 맞혔다.

로앤컴퍼니는 빅케이스GPT에 GPT-4를 기반으로 RAG(증강검색생성기법) 모델과 자체 고안한 프롬프트 엔지니어링을 적용했다.

또 빅케이스가 확보하고 있는 국내 판례 329만건 중 정보 가치가 높은 판례를 중심으로 데이터베이스를 구축했다.

아울러 빅케이스가 보유한 법령 14만5000건, 결정례 7000건, 유권해석 7000건 등 총 16만건의 법률정보도 추가로 학습시켰다.

로앤컴퍼니 관계자는 "빅케이스GPT는 생성형 AI의 최대 한계점으로 꼽히고 있는 환각(정보 왜곡 현상)을 '제로'에 가깝게 통제해 데이터의 신뢰성을 대폭 강화한 것이 특징"이라고 말했다.

로앤컴퍼니는 반복적인 테스트를 통해 빅케이스GPT가 가짜 판례나 법령을 제시하지 않는 수준에 이른 것을 검증했고, 향후 지속적인 QA를 거쳐 이를 완벽하게 제거할 예정이다.

한편 로앤컴퍼니는 내년 상반기 중 '슈퍼로이어'(Super Lawyer, 가칭)라는 AI 기반의 변호사향 기업간거래(B2B) 서비스를 신규 출시할 계획이다.

'AI 법률 비서'처럼 법률 메모 생성·법률서면 요약·법률 질의응답 등의 기능을 제공해 변호사의 업무 효율 제고에 기여하는 것이 목표다.


eom@news1.kr