오픈AI "자체 개발 '할라페뇨' AI칩, 엔비디아보다 성능 우수"

(서울=뉴스1) 김지완 기자 = 오픈AI가 자사의 인공지능(AI) 프로세서 '할라페뇨'(Jalapeno) 칩이 엔비디아의 제품군보다 훨씬 우수한 성능을 보였다고 밝혔다.

블룸버그통신에 따르면 리처드 호 오픈AI 하드웨어 담당 총괄은 24일(현지시간) '한 인터뷰에서 할라페뇨가 전력 단위당 처리 가능한 AI 작업량과 응답 속도에서 엔비디아의 GB300을 능가했다고 밝혔다.

그는 이튿날(25일)에도 블룸버그TV의 '블룸버그 테크쇼'에 출연해 할라페뇨가 "정말 훌륭한 칩"이라며 "비용을 상당히 낮춰줄 것"이라고 말했다.

할라페뇨는 오픈AI가 맞춤형 칩을 제조하는 브로드컴과 협력해 개발했다. 지난해 협력을 시작한 두 회사는 올해 6월 할라페뇨를 공개하면서 기록적인 속도로 개발됐다는 점을 강조했다.

오픈AI는 할라페뇨를 올해 말부터 사용할 계획이다. 이를 통해 자체 칩 개발에 나서는 다른 기업들에 뒤처지지 않는 것이 목적이다.

호 총괄은 다른 칩이 AI 작업 실행에 강력하다는 장점과 응답이 빠르다는 장점 둘 중 하나만 갖고 있지만 할라페뇨는 두 가지를 모두 갖고 있다고 말했다.

그는 실험실 환경에서 할라페뇨가 높은 처리량이라는 측면에서 뛰어난 성능을 보여 더 많은 고객에게 더 저렴한 비용으로 서비스를 제공할 수 있다고 설명했다.

또 낮은 지연 시간이라는 측면에서도 뛰어난 성능을 발휘해 응답 시간이 "정말, 정말 빠를 것"이라고 강조했다.

그는 할라페뇨를 어떤 AI 모델 지원에 적용할지 결정할 예정이라며 이를 통해 고객들은 비용 절감이나 성능 향상 중 원하는 옵션을 선택해 혜택을 누릴 수 있다고 말했다.

비용 측면에서 호 총괄은 할라페뇨가 700와트라는 낮은 전압에서도 뛰어난 성능을 발휘해 전력 비용이 많이 드는 데이터센터 운영 비용을 절감할 수 있디고 부연했다.

이와 관련해 IT 전문매체인 '세미애널리시스'는 할라페뇨에 고대역폭메모리인 HBM4가 탑재돼 패키지당 메모리 대역폭이 초당 15.4테라바이트에 달하며, 이는 그보다 아래 세대인 HBM3E를 사용하는 모든 가속기를 능가한다고 전했다. HBM4 공급업체로는 삼성전자(005930)가 유력한 것으로 추정된다.

이 매체는 할라페뇨의 HBM4가 초당 10기가바이트의 핀 속도를 낼 수 있다며 이는 엔비디아의 차세대 칩인 베라 루빈 HBM4 속도(초당 9.6기가바이트)보다 소폭 높다고 분석했다.

다만 할라페뇨는 최근 출하가 시작된 베라 루빈과는 비교 테스트를 거치지 않았다.

할라페뇨는 AI 모델 훈련을 위해 설계된 것이 아니며, 이미 훈련을 마친 AI 모델이 이용자 요청에 응답하며 작업을 처리하는 '추론' 단계에 특화된 것이다.

호 총괄은 소규모 모델에만 적용 중인 세레브라스의 칩이 할라페뇨에 대체되지 않을 것이라며 "우리에게는 컴퓨팅 자원이 매우 많이 필요하기 때문에 그렇게 다양한 공급업체와 계약을 맺은 것이고, 그런 상황은 당분간 지속될 것"이라고 말했다.

엔비디아에 대해서도 "훌륭한 파트너이며, 앞으로도 엔비디아 제품이 많이 필요할 것"이라고 말했다.

호 총괄은 또 자체 AI 모델을 활용해 칩을 더 빨리 개발할 수 있었다며 현재 최종 설계 단계인 칩 테이프아웃을 "몇 달 내로" 마칠 수 있을 것이라고 전망했다.

gwkim@news1.kr