크래프톤, AI와 일하는 과정 평가한다…프롬프트까지 분석

(서울=뉴스1) 유수연 기자 = 크래프톤(259960)이 인공지능(AI)을 활용한 인재 평가에서 최종 결과물을 넘어 지원자가 AI와 협업하는 과정까지 들여다본다.

n일 크래프톤에 따르면 자체 개발한 '코파 프로브'(Cofa-Probe)는 지원자와 AI와 문제를 정의하고 결과를 검증하는 과정을 평가하는 AI 네이티브 채용·평가 솔루션이다.

코파 프로브는 AI 엔지니어의 실제 업무와 유사한 환경을 구현해 지원자가 여러 업무 에이전트와 상호작용하며 문제를 해결하도록 한다.

기존 평가가 완성된 결과물을 중심으로 역량을 판단했다면 코파 프로브는 문제 정의, AI에 대한 역할 배분과 지시, 근거 탐색, 판단 수정, 오류 복구와 결과 검증까지 평가 대상으로 삼는다.

과제 수행 과정에서 생성되는 소스코드뿐 아니라 AI와 나눈 대화와 프롬프트, 도구 설정, 검증 실행 기록 등도 자동으로 수집한다.

과제가 끝나면 지원자가 자신의 결과물과 의사결정 과정을 설명하는 사후 질의응답(Q&A)을 진행한다. 역량별 평가 기준에 따라 자동 평가하고 면접 참고 리포트도 생성한다.

평가 항목은 기술 관리(Technique), 의도 관리(Intent), 인지 관리(Cognition) 등 세 가지다.

지원자가 만든 코드의 실행성과 구조·보안을 비롯해 AI에 목표와 제약을 명확하게 전달했는지, AI의 작업 결과를 검증했는지 등을 살펴본다. 자신의 결과물이 왜 그렇게 작동하고 어디에서 실패할 수 있는지 설명하는 능력도 평가한다.

크래프톤은 AI 평가의 일관성을 확보하기 위한 장치도 마련했다.

대규모언어모델(LLM) 기반 평가는 같은 제출물도 실행할 때마다 결과가 달라지거나 표현 방식이 다른 제출물의 실질적인 역량 차이를 놓칠 수 있다.

코파 프로브에는 AI 평가 에이전트를 반복적으로 시험·개선하는 '메타 하네스'(meta-harness)를 적용했다.

동일한 제출물을 여러 차례 평가해 점수와 등급이 일정 범위에서 반복되는지 확인하고, 접근 방식과 완성도가 다른 제출물을 비교해 AI가 실제 역량 차이를 구분하는지도 점검한다.

평가 기준, 증거 목록, 점수 환산처럼 일관성이 필요한 부분은 코드로 통제하고 제출물의 맥락을 읽어야 하는 정성적인 판단은 LLM 기반 평가 에이전트가 담당한다.

크래프톤은 지난달 30일 CJ올리브영과 개최한 채용 연계형 AI 해커톤 '코파톤: AI 네이티브 배틀그라운드'에서 코파 프로브를 실제 참가자 평가에 적용했다.

참가자들은 크래프톤 FDE(Forward Deployed Engineer)와 CJ올리브영 AI 엔지니어 트랙으로 나뉘어 실제 업무에서 발생하는 비효율을 AI로 해결하는 과제를 수행했다. 오픈AI는 기술 협력사로 참여했다.

크래프톤은 과제 수행부터 제출까지 참가자들의 AI 협업 과정을 수집해 평가 리포트로 만들었다.

블라인드 평가 리포트를 토대로 트랙별 공개 토론도 진행했다. 단일 점수뿐 아니라 판단 근거를 함께 검토해 수상자 선정에 활용했다.

크래프톤은 이번 해커톤에서 확보한 운영 경험과 현장 피드백을 바탕으로 코파 프로브의 평가 기준과 에이전트 환경을 고도화할 계획이다.

박재민 크래프톤 AI 프런티어 본부장은 "AI 시대의 경쟁력은 AI와 함께 문제를 정의하고 근거를 확인하며 결과를 끝까지 검증하는 데서 나온다"며 "코파 프로브를 고도화해 AI 네이티브 인재 평가의 새로운 기준을 만들어갈 것"이라고 말했다.

shushu@news1.kr