(서울=뉴스1) 김민석 기자 = 구글(알파벳)이 앤트로픽에 맞춤 인공지능(AI) 칩 TPU(텐서처리장치) 최대 100만 개를 공급하는 대형 계약을 맺으면서 엔비디아 주도 AI 칩 시장의 대안으로 주목받고 있다.
오픈AI도 올해 6월 구글 클라우드 서비스 도입으로 TPU를 테스트한 이후 브로드컴과 손잡고 별도의 맞춤형 칩 개발에 나선 상태다. 이에 TPU와 GPU 차이점은 무엇인지 관심이 쏠린다.
29일 IT 업계에 따르면 TPU는 구글이 2013년 급격히 증가한 딥러닝 연산량을 해결하기 위해 15개월 만에 설계·검증한 AI·머신러닝 특화 ASIC다. 전력 공급 구조를 최적화해 엔비디아 GPU보다 전력 효율이 높다는 평가를 받는다. 2015년 초 구글 클라우드 데이터센터에 처음 배치됐다.
칩 위탁 생산은 2015년부터 2024년(6세대 트릴리움)·2025년(7세대 아이언우드)까지 대부분 TSMC가 맡았다.
TPU 핵심은 '시스톨릭 어레이'(Systolic Array) 아키텍처다. 심장이 혈액을 박동으로 전달하듯 데이터를 물결처럼 흘려보내는 구조다.
GPU를 포함해 일반적인 컴퓨팅 칩은 연산 때마다 메모리에서 데이터를 가져오고 다시 저장하는 과정을 반복한다. 이같은 워크로드는 '폰 노이만 병목 현상' 등으로 연산 자체보다 더 많은 에너지를 소비하게 된다.
반면 TPU는 한 번 입력한 데이터를 여러 연산에 재사용하고 중간 결과를 메모리에 저장하지 않고 인접 유닛에 즉시 전달한다. '256×256 MAC(곱셈 누적) unit'(6만 5536개 ALU라고도 기술)이 물결처럼 흐르면서 각 단계에서 필요한 계산을 수행하는 방식이다.
이에 TPU는 인접한 유닛끼리만 ALU 배선 구조를 짤 수 있어 전력 효율을 높일 수 있다.
TPU와 GPU의 가장 큰 차이는 '전문성'이다. TPU는 설계 단계부터 행렬 연산만을 위한 칩으로 TensorFlow와 JAX 프레임워크에 최적화됐다. XLA 컴파일러와 Pathways 시스템으로 하드웨어 효율을 높였다. 이를 통해 AI 모델 학습과 추론에 고효율을 보인다.
GPU는 '범용성'이 강점이다. AI·게임·영상 편집·과학 계산 등 다양한 분야에서 프로그래밍 언어와 프레임워크를 지원한다.
TPU는 초기엔 구글 내부용에 머물다 2018년부터 구글 클라우드 고객사에 개방됐다. 구글은 지난달 제3자 클라우드 제공업체 데이터센터에도 TPU를 제공하기 시작했다.
업계는 TPU의 경쟁 우위로 '가격 대비 성능'과 '효율성'을 꼽고 있다. 엔비디아 H100 경우 개당 판매가가 2만~3만 5000달러(제조 원가 약 3350달러~5000달러 추정)달하지만, TPU는 GPU 대비 35%에서 최대 80% 비용을 절감할 수 있는 것으로 전해진다.
다만 엔비디아의 쿠다(CUDA) 생태계 대비 소프트웨어 지원은 제한적이다. 쿠다는 17년간 구축된 범용 플랫폼으로 수천 개 라이브러리와 도구를 제공하고 있다. 엔비디아 쿠다 플랫폼과 하드웨어 생태계는 사실상 업계의 표준으로 자리매김한 상태다.
현재 엔비디아는 전체 AI 데이터센터 AI 칩(GPU) 시장의 80%~90%를 장악하고 있고 TPU 점유율은 3~4%에 그친다.
전문가들은 ASIC(구글 아이언우드·아마존 트레이니엄 등)가 엔비디아의 독점 지배력을 단기간에 위협하긴 어려울 것으로 보고 있다.
업계 관계자는 "TPU가 특정 AI 추론 작업에서 GPU·CPU보다 최대 30배 빠른 성능이라고 구글은 발표했지만 TPU 최적화 작업으로 한정했을 때 얘기"라며 "범용 작업에선 GPU가 여전히 우위다. 다만 앤트로픽의 대규모 TPU 도입 발표에 AI 칩 시장 구도에도 변화가 일 것으로 보인다"고 말했다.
ideaed@news1.kr
