"AI가 똑똑해질수록 더 위험…사람이 'AI 보안·통제' 주도해야" [K-챌린저]

(서울=뉴스1) 이재상 기자

인공지능(AI)의 성능을 높이는 회사는 많습니다.똑똑해진 AI를 어떻게 안전하게 통제할지를 고민하는 회사는 많지 않죠.

유상윤(29) 에임인텔리전스 대표가 AI 보안 스타트업을 창업한 이유다. 에임인텔리전스는 AI를 직접 공격해 취약점을 찾아내고 이를 막는 안전장치까지 개발한다.

AI가 단순히 답변을 생성하는 수준을 넘어 스스로 판단하고 행동하는 'AI 에이전트'로 진화하면서 AI를 안전하게 통제하는 기술의 중요성도 빠르게 커지고 있다.

유 대표는 "결국 AI가 내 의도와 목표에 정렬돼 내가 통제할 수 있어야 한다"며 "아무리 AI가 발전해도 사람이 통제하지 못하면 오히려 사람에게 피해를 줄 수 있다"고 강조했다.

2024년 설립된 에임인텔리전스는 생성형 AI부터 AI 에이전트, 로봇 등 피지컬 AI까지 AI 시스템의 취약점을 찾아내고 공격을 방어하는 AI 안전·보안 전문 스타트업이다. 회사의 미션도 'Keep AI Under Control(우리 통제 아래의 인공지능)'이다.

유상윤 대표는 최근 뉴스1과의 인터뷰에서 "AI의 성능이 좋아지는 것과 안전해지는 것은 별개의 문제"라며 "AI가 발전할수록 사람이 이를 통제할 수 있는 기술의 중요성도 커질 것"이라고 말했다.

유 대표가 주목하는 것은 AI의 역할 변화다. 과거 생성형 AI의 위험이 잘못된 답변이나 유해 콘텐츠 생성에 집중됐다면 최근에는 AI가 직접 업무를 수행하는 'AI 에이전트'가 등장하면서 보안 위협의 성격도 달라지고 있다.

AI가 단순히 답변하는 것을 넘어 코드를 실행하고 기업 내부 데이터나 외부 시스템에 접근하기 시작했기 때문이다.

에임인텔리전스는 AI 에이전트의 권한 오남용과 데이터 유출, 비정상적인 도구 호출, 외부 시스템 공격 가능성 등을 찾아내고 이를 통제하는 기술을 개발하고 있다. 휴머노이드와 산업용 로봇, 자율 시스템의 판단·행동 과정에서 발생할 수 있는 공격과 오작동도 연구 대상이다.

유 대표는 "AI가 직접 행동하기 시작하면 문제가 생겼을 때 피해도 훨씬 커질 수 있다"며 "AI를 실제 산업에 적용하려면 성능뿐 아니라 어디까지 행동할 수 있도록 허용할 것인지 통제하는 기술이 필요하다"고 말했다.

에임인텔리전스의 핵심은 AI를 공격하면서 동시에 방어하는 기술이다.

'스팅어'(Stinger)는 자동으로 공격을 만들어 AI 시스템의 취약점과 기존 안전장치를 우회하는 경로를 찾아낸다. 이렇게 발견한 공격 패턴을 토대로 실제 AI 서비스에서 위험한 행동을 탐지·차단하는 것이 가드레일 플랫폼 '스타포트'(Starfort)다. 스스로 새로운 공격법을 찾아내는 '창'과 이를 막는 '방패'를 함께 만드는 셈이다.

유 대표는 "이미 알려진 공격만 방어하면 새로운 공격이 등장할 때마다 뒤쫓아갈 수밖에 없다"면서 "직접 공격 방법을 연구해야 앞으로 어떤 위험을 막아야 하는지도 알 수 있다"고 설명했다.

유 대표와 공동창업자 등 4명으로 출발했던 에임인텔리전스의 직원은 최근 40명까지 늘었다.

투자금도 빠르게 불어났다. 2024년 매쉬업벤처스의 시드 투자를 시작으로 프리A와 시리즈A를 거치며 지난 7월 기준 누적 투자금 130억 원 이상을 유치했다.

삼성벤처투자와 미래에셋캐피탈, LG전자, 현대차그룹 ZER01NE Ventures, 네이버 D2SF 등이 투자자로 참여했다. 특히 올 4월에는 100억 원 규모의 시리즈A 투자를 유치했다. 이제 시리즈B 투자 유치도 추진할 계획이다.

국내뿐 아니라 글로벌 AI 기업들과도 협업을 확대하고 있다. 에임인텔리전스는 연구 결과와 새로운 AI 공격 기법을 적극적으로 공개하면서 오픈AI(OpenAI)와 앤트로픽(Anthropic), 메타(Meta) 등 글로벌 AI 안전성 검증 작업을 진행해 왔다.

특히 메타의 AI 안전장치인 라마 가드(Llama Guard)를 한국어를 비롯한 다양한 언어·문화적 환경에서 검증·개선하는 작업에 참여했다. 이후 오픈AI와 앤트로픽의 AI 모델 및 가드레일을 테스트하고 안전성을 높이는 작업에도 참여했다.

글로벌 기업들이 에임인텔리전스에 주목하는 이유도 새로운 공격 기법을 직접 발굴해 AI 모델의 안전성을 검증할 수 있다는 점에 있다.

유 대표는 "글로벌 AI 기업 입장에서도 이미 알려진 공격뿐 아니라 새로운 방식으로 자신들의 모델을 테스트할 필요가 있다"며 "우리는 공격 기법 자체를 연구하고 이를 다시 방어 기술로 연결한다는 점에서 차별점이 있다"고 말했다.

에임인텔리전스가 다음 시장으로 주목하는 분야는 피지컬 AI다.

AI가 로봇이나 자율주행 시스템과 결합하면 AI의 잘못된 판단이 온라인상의 오류에 그치지 않고 현실 세계의 사고로 이어질 수 있어서다.

유 대표는 "앞으로 가정에 휴머노이드 로봇이 들어온다면 결국 '이 로봇에게 우리 아이를 맡겨도 되는가'라는 질문을 하게 될 것"이라며 "로봇이 어떤 상황에서도 해서는 안 되는 행동을 하지 않도록 통제하는 기술이 필요하다"고 말했다.

에임인텔리전스는 올해 하반기 휴머노이드와 산업용 로봇, 자율 시스템을 대상으로 공격부터 장기 의사결정 오류까지 검증하는 기술을 확대하고 유럽·중동·미국에서도 실증 및 도입 프로젝트를 늘릴 계획이다.

회사가 내건 목표는 '2030년 AI Safety의 대명사'가 되는 것이다.

유 대표는 "인터넷 산업이 커지는 과정에서 보안과 네트워크 인프라가 필수적인 산업이 된 것처럼 AI 역시 안전과 통제 기술이 기본 인프라가 될 것"이라며 "AI를 사용하는 곳이라면 자연스럽게 에임인텔리전스의 기술을 사용하는 회사를 만드는 것이 목표"라고 말했다.

alexei@news1.kr