Google, TorchTPU 오픈소스로 공개해 PyTorch 앱을 자체 칩에서 구동

Google은 Meta의 PyTorch 팀과 함께 개발했습니다. 파트너로는 AI 모델을 사용자에게 서빙하는 인기 엔진 SGLang과 vLLM의 개발사, 그리고 오픈 모델을 TPU에 바로 올릴 수 있게 된 Hugging Face가 참여합니다. SiliconANGLE에 따르면 Google은 공개와 함께, 이전 작업을 대신 해 주고 문제가 생기면 고쳐 주는 TPU 에이전트 모음도 선보였습니다.

이번 공개는 Amazon이 같은 역할을 하는 TorchNeuron을 자사 Trainium 칩용으로 내놓은 지 하루 뒤였습니다. 두 회사가 겨냥한 것은 같은 관행입니다. AI 앱을 Nvidia 하드웨어 기준으로 먼저 만들다 보니 고객이 Nvidia에 묶인다는 점입니다.

AI 컴퓨팅 비용을 지불하는 팀에는, 대형 클라우드 두 곳이 이제 PyTorch 코드를 그대로 받아 준다는 점이 가격을 따져 고를 여지가 커진다는 뜻입니다.