정답률 100%…최초 '변호사시험 만점' AI 나왔다

(서울=뉴스1) 이장호 기자 = 제15회 대한민국 변호사시험 선택형(객관식)에서 150개 문항을 모두 맞혀 375점 만점을 기록한 AI가 최초로 나왔다.

로앤컴퍼니(대표 김본환)는 법률 AI 서비스 '슈퍼로이어'가 제15회 변호사시험 선택형에서 만점을 기록했다고 24일 밝혔다.

이는 수석 응시생의 360점보다도 15점이 높은 점수다. 로앤컴퍼니는 "이번 결과는 단순히 점수가 높다는 의미를 넘어, 오류 없는 답변으로 할루시네이션(사실이 아닌 내용을 그럴듯한 문장으로 만들어 마치 사실처럼 제시하는 현상)을 극도로 억제했음을 입증한 결과"라고 강조했다.

특히 법률 분야에서 정답률 100%를 달성한 것은 정확성과 신뢰성이 생명인 법률 실무에서 의미가 크다는 것이 로앤컴퍼니 측 설명이다.

로앤컴퍼니 AI는 지난해 3월 제14회 변호사시험 선택형 150개 문항 중 111개를 맞혀 합격선(96개)을 최초로 넘었고, 같은 해 5월에는 123개 정답(82%)을 기록했다. 그리고 1년 만에 정답률 82%에서 18%P 끌어올리며 100%를 달성했다.

슈퍼로이어는 로앤컴퍼니가 보유한 530만 건의 판례 데이터, 국내 법률 전문 출판사 박영사의 법률 서적 등 차별화된 데이터베이스를 기반으로 학습했다. 최근에는 AI 기반 법률 데이터 분석 시스템을 고도화해 데이터간 인용·참조 및 위계·구조 관계 등을 정교화해 답변의 정확도를 크게 높였다.

더불어 법률 영역에 대한 깊은 이해를 바탕으로 한 하네스 엔지니어링을 통해 한층 더 정확도를 향상시켰고, 다수의 최신 상용 거대언어모델(LLM) 조합을 적용해 응답 품질을 높였다.

슈퍼로이어의 고도화된 응답 품질 향상 기술은 지난 5월 선보인 슈퍼로이어 ‘롱폼 프리미엄’과, 추론 기능을 갖춘 AI 에이전트 '슈퍼 에이전트' 등에 활용되고 있다.

김 대표는 "슈퍼로이어가 보여준 변호사시험 선택형 만점은 답변의 정확성, 신뢰성 측면에서 국내 최고 수준의 경쟁력을 갖췄다고 볼 수 있다"며 "한층 강화된 성능을 바탕으로 법률적 지식과 논리 추론 모두 탁월한 역량을 갖춘 기능으로 더욱 발전시켜 차원이 다른 혁신을 선보일 것"이라고 밝혔다.

ho86@news1.kr