아마존 세이지메이커 AI에서 소형 LLM 추론 성능 벤치마크 공개

아마존 세이지메이커 AI 환경에서 Qwen3-Coder-30B와 NVIDIA Nemotron-3-Nano-30B 등 30B 혼합 전문가 모델을 대상으로 추론 성능 벤치마크가 진행되었다.

이번 벤치마크에서는 G5, G6, G6e, G7 GPU 인스턴스 전반에 걸쳐 처리량, 지연 시간, 토큰당 비용을 비교하여 엔비디아 블랙웰 GPU가 탑재된 G7 인스턴스의 가격 대비 성능 향상 효과를 확인했다.