단국대 최종무 교수팀, AI 활용해 빅데이터 처리 지연 최대 50배 개선

(용인=뉴스1) 김평석 기자 = 단국대 연구팀이 인공지능(AI)으로 데이터 병목을 사전에 감지해 대용량 데이터의 쓰기 지연을 최대 50배 줄이는 기술을 개발했다.

기존 데이터베이스에서 최대 50초 발생하던 쓰기 지연을 1초 이내로 줄이고 검색 속도와 메모리 효율도 함께 높였다.

3일 단국대에 따르면 최종무 소프트웨어학과 교수 연구팀이 개발한 AI 기반 데이터 관리 기술 관련 연구 2편이 데이터베이스·데이터 관리 분야 세계적 국제학술대회인 'VLDB 2026'에 정규논문으로 게재됐다.

첫 번째 논문 'Rethinking Learned Index and LSM-tree Integration'은 AI가 데이터의 분포와 위치 특성을 학습해 필요한 데이터의 위치를 예측하는 '학습형 인덱스'를 Key-Value Store에 적용한 연구다.

기존의 고정된 자료구조에 의존하는 방식과 달리 모델 기반 인덱스를 활용해 검색에 필요한 연산과 메모리 부담을 줄이고 데이터 읽기와 쓰기 성능을 함께 높였다.

연구팀에 따르면 검색 성능은 O(log N)에서 O(1)으로, 메모리 사용량은 O(N)에서 O(1) 수준으로 개선했다. 또 학습형 인덱스의 핵심 파라미터인 '에러 바운드'를 적응적으로 제어하고 저장 단위인 SSTable 크기를 워크로드 특성에 맞춰 조절해 쓰기 성능도 끌어올렸다.

두 번째 논문 'How Much Can RocksDB Chew? Achieving Near-Zero Write Stalls with Sustainable RocksDB'는 대규모 데이터가 쌓일 때 내부 정리와 재배치 과정에서 발생하는 RocksDB의 쓰기 지연 문제를 다뤘다.

연구팀이 개발한 'S-RocksDB'는 강화학습을 활용해 데이터베이스 내부 상태를 학습하고 병목이 발생하기 전에 처리량을 선제적으로 조절하는 방식이다.

실험 결과 기존 RocksDB에서 1분 동안 최대 약 50초 발생하던 쓰기 지연을 1초 이내로 줄여 최대 50배가량 개선한 것으로 나타났다.

연구팀은 두 기술을 통해 대용량 데이터 환경에서 검색과 쓰기 과정에서 발생하는 병목을 동시에 줄일 수 있는 가능성을 제시했다.

최종무 교수는 "VLDB에 논문 두 편을 동시에 게재한 것은 그동안 단국대가 축적해 온 AI 기반 데이터 관리 기술의 경쟁력과 연구팀의 선도적 기술력을 인정받은 결과"라며 "여러 기업과 기술 세미나를 진행했고 기술이전도 준비하고 있다"고 말했다.

연구에는 유시환 모바일시스템공학과 교수와 인공지능융합학과 박사과정 Guangxun Zhao·신호진 연구원이 공동 참여했다.

이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원 'SW스타랩' 사업의 지원을 받아 수행됐다.

ad2000s@news1.kr