(서울=뉴스1) 김민석 기자 = 삼쩜삼을 운영하는 자비스앤빌런즈가 서비스와 사내 업무에 쓰이는 인공지능(AI) 에이전트 관리체계를 하나로 묶었다. 에이전트별로 운영하던 비용·보안 관리 기능을 통합하고 답변 품질까지 측정하는 체계로 확장한다.
자비스앤빌런즈는 사내 AI 에이전트 개발·운영을 통합 관리하는 자체 플랫폼 '카터'를 구축했다고 27일 밝혔다. 현재 삼쩜삼Q와 삼쩜삼 앱 AI 에이전트 등 8개 에이전트를 카터에서 관리하고 있다.
카터는 AI 에이전트 개발·운영 비용을 관리·모니터링하고 보안과 개인정보 보호 기능을 공통으로 제공하는 플랫폼이다. 개발자가 에이전트마다 같은 기능을 새로 구축하지 않고 검증된 라이브러리와 인프라를 활용하도록 했다. 중복 개발을 줄이고 일관된 운영 환경을 확보하는 방식이다.
카터를 거치는 모든 AI 호출은 중앙에서 추적·관측된다. 개인정보 자동 비식별 처리와 프롬프트 인젝션 공격 차단 기능도 공통으로 제공한다. 프롬프트 인젝션은 입력이나 외부 문서에 숨겨진 악성 지시로 AI가 원래 목적과 다른 행동을 하도록 유도하는 공격이다.
불필요한 검색 절차를 줄이고 클라우드 간 자동 장애 전환 기능도 마련했다. 특정 클라우드에 장애가 발생하면 다른 클라우드로 전환해 서비스 중단 시간을 최소화하도록 했다.
통합 운영에 따른 비용 절감 효과도 제시했다. 답변 조합·생성에는 고성능 모델을 유지하되 의도 분류와 안전 판정 등 보조 호출은 경량 모델로 분리하는 ‘모델 티어링’을 적용했다.
회사에 따르면 전체 호출의 약 50%를 경량 모델로 처리해 대규모언어모델(LLM) 호출비용을 약 45% 낮췄다. 반복되는 프롬프트를 저장해 재사용하는 ‘프롬프트 캐싱’도 표준으로 적용해 캐시 재사용 구간의 호출비용을 약 43% 줄였다.
자비스앤빌런즈는 흩어진 지식 자산을 단일 창구에서 검색·질의하는 '지식 오케스트레이터'와 에이전트 답변 품질을 정량적으로 측정하는 평가 체계를 구축한다는 계획이다.
강병규 자비스앤빌런즈 최고기술책임자(CTO)는 "사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다"며 "비용 절감에 그치지 않고 답변 품질까지 측정하고 관리하는 체계를 갖춰 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장하겠다"고 말했다.
ideaed@news1.kr
