UNIST "AI 학습 데이터에 설명문 붙여 딥러닝 블랙박스 해독"

(서울=뉴스1) 김민석 기자 = UNIST(울산과학기술원) 인공지능대학원 연구진이 학습 데이터를 인간이 이해할 수 있는 설명문으로 변환해 'AI 블랙박스'를 해독하는 새로운 방법을 제시했다.

최근 세계적으로 인공지능(AI) 모델이 학습 과정에서 어떤 근거로 판단을 내리는지 '설명 가능한 AI'(XAI) 연구가 이어지고 있다.

김태환 교수 UNIST 인공지능대학원 연구팀은 AI 학습 데이터를 자연어 문장으로 전환해 모델의 의사결정 근거를 추적하는 학습 방법론을 개발했다고 28일 밝혔다.

연구팀은 "AI가 스스로 학습 데이터를 설명하도록 해 복잡한 딥러닝의 의사결정 구조를 직접적으로 들여다볼 수 있다"고 설명했다.

딥러닝 기반 AI 모델은 높은 정확도를 보이지만, 내부 작동 원리가 불투명해 '블랙박스'로 불리고 있다.

김 교수팀은 방향을 바꿔 AI 학습의 출발점인 '데이터'에 주목했다. 이미지의 특징을 자연어로 풀어 설명한 후 이를 분석해 모델의 의사결정 과정을 역으로 추적하는 방식이다.

구체적으로는 챗GPT 등 대규모 언어모델(LLM)을 활용해 사진 속 사물이 지닌 특징을 여러 문장으로 기술하게 했다. LLM의 환각(hallucination) 문제를 줄이기 위해 위키백과 등 검증된 외부 지식을 참조하도록 설계했다.

이후 연구팀은 생성된 수십 개의 설명문 가운데 실제 학습 성능에 도움이 되는 유효 문장을 가려내기 위해 '텍스트 영향력 점수'(IFT·Influence Scores for Texts)를 도입했다.

텍스트 영향력 점수 지표는 특정 문장을 학습 데이터에서 제외했을 때 AI 모델의 예측 오차가 얼마나 변하는지를 계산해 기여도를 정량화해 문장이 이미지의 의미와 얼마나 일치하는지 등을 'CLIP 점수'를 통해 평가한다.

김 교수팀은 이 방식으로 도출한 설명문을 학습 데이터로 다시 사용해 성능 검증 실험을 진행했다. 그 결과 이 방식으로 학습한 모델은 기존 대비 더 안정적이고 높은 성능을 보였다.

김태환 교수는 "모델이 실제로 의사결정에 활용한 설명이 최종 학습 효과에도 직접적인 영향을 미친다는 점을 입증한 것"이라며 "AI 시스템을 투명하게 이해하고 신뢰성을 높이는 기반이 될 것"이라고 했다.

ideaed@news1.kr