'지브리풍 AI 그림' 더 정확하게…UNIST 확산모델 오류 해결

(울산=뉴스1) 김세은 기자 = 챗GPT 이미지 생성 기술로 쓰이는 '확산모델'의 취약점을 개선할 수 있는 새로운 학습 원리를 국내 연구진이 밝혀냈다.

챗GPT에 '지브리 풍 그림을 그려 달라'고 입력하면 실제로 이미지를 만드는 것은 챗GPT가 아닌 '달리(DALL·E)'라는 확산모델이다.

확산모델은 고품질 이미지를 만들지만, 손가락이 3개거나 얼굴이 뒤틀리는 등 오류가 발생하기도 한다. 또 스마트폰처럼 계산 자원이 제한된 기기에서는 실행하기 어렵다.

울산과학기술원(UNIST) 인공지능대학원 윤성환·유재준 교수연구팀은 확산모델을 학습시킬 때 손실함수가 '평평한 최소점'에 도달하도록 설계하면 모델의 강건성과 일반화 성능을 동시에 높일 수 있다는 사실을 확인했다고 22일 밝혔다.

연구팀에 따르면 확산모델은 짧은 생성 과정에서 오차가 누적되거나, 모델 압축 과정에서 발생하는 양자화 오류, 입력에 교란을 주는 적대적 공격 등에 취약한 '강건성'이 떨어진다.

연구팀은 이러한 문제가 '일반화 성능' 부족에서 비롯된다고 진단했다. 일반화 성능은 학습에 쓰지 않은 새로운 데이터나 환경에서도 안정적으로 작동하는 능력을 말한다.

연구팀은 문제의 해법을 손실 함수의 '최저점 골짜기 모양'에서 찾았다. 손실 함수는 AI가 예측한 결과와 정답의 차이를 수치로 나타낸 것으로, 값이 낮을수록 학습이 잘된 상태를 뜻한다.

최젓값 지점이 좁고 가파르면 작은 흔들림에도 성능이 쉽게 무너지고, 반대로 넓고 평평하면 새로운 상황에도 성능이 안정적으로 유지된다.

연구 결과 평탄한 최소점을 찾는 학습 알고리즘 중에서는 SAM(Sharpness-Aware Minimization)이 가장 효과적인 것으로 드러났다. SAM을 적용한 확산모델은 기존 모델보다 7배 강한 적대적 공격에도 성능을 유지했다.

연구팀은 "단순히 이미지 품질을 높이는 것을 넘어, 실제 환경에서도 신뢰할 수 있는 생성형 AI의 설계 원리를 제시했다는 점에서 의미가 있다"며 "챗GPT 같은 대규모 생성 모델을 소량 데이터로도 안정적으로 학습하게 하는 기반이 될 것"이라고 말했다.

이번 연구는 UNIST 이태환, 서경국 연구원이 제1저자로 참여했다. 연구 수행은 과학기술정보통신부 한국연구재단, 정보통신기획평가원, 보건복지부, 울산과학기술원의 지원을 받아 이뤄졌다.

연구 결과는 2025 ICCV(International Conference on Computer Vision)에 채택됐다. ICCV는 인공지능 분야 권위 학회 중 하나로, 올해 학회는 미국 하와이에서 지난 19일 개막해, 오는 23일까지 5일간 열린다.

syk000120@news1.kr