오픈AI 최고과학자 "AI 개발 속도 늦춰야…안전기준 마련 필요"

(서울=뉴스1) 장용석 기자 = 챗GPT 개발사 오픈AI의 최고과학자가 인공지능(AI) 기술의 급속한 발전에 따른 위험을 경고하며 업계의 자발적인 개발 속도 조절을 촉구하고 나섰다.

오픈AI 최고과학자 야쿠프 파호츠키는 6일(현지시간) 오픈AI 홈페이지에 공개한 '외계의 지성'(An Alien Mind)이란 글에서 "기계 지능이 계속 빠르게 발전할 경우 초래될 결과에 아무도 대비돼 있지 않다"며 이같이 밝혔다.

그는 현대 AI에 대해 "설계된다(designed)기보다 길러진다(grown)"고 표현하면서 인간이 그 작동 원리를 완전히 이해하기 어렵다고 지적했다.

AI가 인간이 미리 작성한 정밀한 설계도에 따라 만들어지는 게 아니라, 막대한 연산을 이용한 반복적인 최적화와 훈련 과정에서 복잡한 내부 구조가 형성되기 때문에 관련 연구 역시 신경과학과 마찬가지로 전체 작동 방식을 완전히 설명하기 어려운 실험과학에 가깝다는 게 파호츠키의 설명이다.

그는 AI의 추론 과정을 살펴보는 '생각의 연쇄'(CoT) 모니터링 역시 AI 모델이 고도화할수록 신뢰성이 떨어질 수 있다고 우려했다.

파호츠키는 특히 "현재 어떤 연구소도 최대 속도로 확장을 계속할 만큼 (AI의) 정렬(alignment)과 모니터링 문제를 충분히 해결하지 못했다"며 "공통의 안전 기준이 마련될 때까지 자발적인 속도 조절이 일반화하길 바란다"고 밝혔다. 'AI 정렬'이란 AI가 인간의 의도, 가치, 목표에 부합하도록 행동하게 만드는 연구 분야를 뜻한다.

이와 관련 파호츠키는 AI 개발에 대한 국제 협력을 각국 정부의 최우선 과제로 삼아야 한다고 강조했다.

오픈AI 최고경영자(CEO) 샘 올트먼도 파호츠키의 이 글을 소셜미디어 X에 공유하며 "중요한 글(An important post)"이라고 평가했다.

오픈AI는 지난 7월 사이버보안 평가 과정에서 내부 망에서 훈련 중이던 AI 모델들이 통제 환경을 벗어나 자체 연구 인프라와 AI 오픈플랫폼 허깅페이스 시스템 일부에 침입하는 사고를 겪었다. 이후 오픈AI는 최신 모델의 강화학습(RL) 훈련 일부를 중단하고 연구 환경의 보안과 모니터링을 강화하는 조치를 취했다고 밝혔다.

이런 가운데 오픈AI는 이날 발표한 '연구 가속화: 오픈AI 내부에서 본 모습'(Research acceleration: The view inside OpenAI) 보고서에선 '자동화 AI 연구 인턴' 목표를 이미 달성하는 등 AI를 활용한 연구 자동화가 빠르게 진행되고 있다고 소개했다.

'AI 연구 인턴'이란 인간 연구원의 지시에 따라 숙련된 연구원이 며칠 걸릴 수 있는 명확하게 정의된 연구 과제를 수행할 수 있는 AI 시스템을 의미한다.

오픈AI에 따르면 지난달 중순 기준으로 자체 연구 조직의 인간 연구자 근무시간 8시간당 AI 에이전트들의 총 실행시간은 그 3.1배인 평균 24.8시간으로 집계됐다. 이는 여러 AI 에이전트가 동시에 수행한 작업시간을 합산한 것으로서 6월 이전엔 인간 연구자들의 근무시간보다 적었다는 게 회사 측 설명이다.

오픈AI는 2028년 3월까지 '자동화 AI 연구원'(automated AI researcher)을 개발하겠다는 계획도 제시했다.

오픈AI는 보고서에서 AI에 대한 자동화 연구가 AI의 정렬과 안전 문제 해결도 앞당길 수 있을 것이라고 전망했다.

다만 오픈AI는 "이 같은 이유로 빠른 반복적 자가 개선(RSI)을 반드시 추구해야 한다는 건 아니다"며 AI 개발·배포 속도는 인간의 통제와 민주적 선택 아래 있어야 한다고 강조했다.

ys4174@news1.kr