KAIST, AI 에이전트의 '숨은 전력 비용' 세계 첫 규명

(대전=뉴스1) 김종서 기자 = 한국과학기술원(KAIST)은 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 사용하는지를 세계 최초로 체계적으로 분석했다고 5일 밝혔다.

최근 챗지피티와 같은 대형 언어 모델(LLM) 기반 애플리케이션은 단순히 질문에 답하는 수준을 넘어 스스로 계획을 세우고 인터넷 검색이나 계산기, 코드 실행 등 다양한 외부 도구를 활용해 복잡한 문제를 해결하는 AI 에이전트로 빠르게 발전하고 있다.

AI 에이전트는 소프트웨어 개발, 연구, 업무 자동화 등 다양한 분야에서 활용이 확대되고 있지만 이를 실제 운영하기 위해 얼마나 많은 전력과 비용이 필요한지는 거의 알려지지 않았다.

특히 AI 에이전트는 단일 질의 기반 LMM 추론과 달리 자원 사용량과 전력 수요가 크게 증가할 수 있어 지속 가능성 평가를 위한 인프라 관점의 분석이 필요하다.

연구팀은 AI 에이전트를 단순한 프로그램이 아니라 데이터센터의 서버와 GPU가 지속적으로 처리해야 하는 새로운 형태의 작업인 워크로드로 정의하고, 실제 실행 과정에서 발생하는 계산량과 에너지 소비를 분석했다.

그 결과, AI 에이전트는 기존의 단계별 추론과 달리 반복적으로 여러 차례 대형 언어 모델 호출을 수행하는 것으로 나타났다.

이처럼 언어 모델을 반복적으로 호출하면서 응답 시간도 크게 증가했다. AI 에이전트의 답변 시간은 최대 153.7배 늘어났으며, 외부 도구가 작업을 수행하는 동안 GPU는 전체 실행 시간의 최대 54.5%를 아무 계산도 하지 못한 채 대기하는 것으로 분석됐다. AI가 더 복잡한 일을 수행할수록 고가의 GPU를 충분히 활용하지 못하는 새로운 비효율이 발생하는 것이다.

연구팀은 AI 에이전트가 사용하는 전력도 데이터센터 규모에서 분석했다. 현재 상용 AI 서비스 수준인 700억 개의 매개변수를 가진 대형 언어 모델을 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41와트시(Wh)의 전력을 소비했다. 이는 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 높은 수준이다.

또 하루 137억건의 AI 에이전트 요청이 발생하는 미래 환경을 가정해 분석한 결과, 데이터센터 전력 수요는 약 198.9기가와트(GW)에 이를 것으로 추정됐다. 이는 현재 세계 각국이 추진 중인 수 GW 규모의 AI 데이터센터를 크게 뛰어넘는 수준이며, 미국 전체 평균 전력 소비량의 약 절반에 해당하는 규모다.

이번 연구는 AI 시대의 경쟁력이 '더 똑똑한 AI'에서 '더 효율적인 AI'로 옮겨가고 있음을 보여준다. 앞으로는 AI 모델만 발전시키는 것이 아니라 AI 반도체, 데이터센터, 전력 인프라를 함께 최적화하는 '공동 설계'가 필수 전략이 될 것으로 기대된다. 이는 AI 서비스의 운영 비용을 낮추고, 지속가능한 AI 인프라를 구축하는 핵심 기술이 될 전망이다.

유 교수는 "향후 AI 에이전트가 보편화되는 시대에는 AI 데이터센터 인프라뿐만 아니라 AI 에이전트 모델과 전력 인프라까지 통합적으로 공동 설계해 최적화하는 접근이 더욱 중요해질 것"이라며 "AI 서비스 활용 비용을 획기적으로 줄이고 지속가능한 AI 인프라를 구축하기 위한 연구와 투자가 필수적"이라고 강조했다.

KAIST 전기및전자공학부 김지인 박사과정 학생이 제1저자로 수행한 이번 연구 결과는 컴퓨터 시스템 설계 분야 국제학회 '32회 IEEE HPCA'에서 발표됐다.

연구팀은 논문에서 활용한 AI 에이전트 구현 기술과 벤치마크를 오픈소스로 공개해 전 세계 연구자들이 후속 연구에 활용할 수 있도록 했다.

연구는 정보통신기획평가원(IITP)의 SW스타랩, AI 반도체를 활용한 K-클라우드기술개발사업, AI 반도체 기반 데이터센터 고도화 선도기술개발사업 및 삼성전자 미래기술육성센터의 지원을 받아 수행됐다.

jongseo12@news1.kr