VKAE: VIDRAFT's Inference Engine Hits 23 GPU Speedup and ~10K Tokens/sec on a Single Nvidia B200
DEV Community
VKAE: VIDRAFT's Inference Engine Hits 23 GPU Speedup and ~10K Tokens/sec on a Single Nvidia B200
한국 AI 스타트업 VIDRAFT의 VKAE가 Nvidia B200 GPU 1장으로 GPU 활용률 23배 향상, Qwen3.5-35B 모델에서 초당 약 1만 토큰 처리 성능을 달성했습니다. OpenAI 호환 API 지원.
0 comments
No comments yet.