그래픽카드 세대별 로컬 LLM 속도와, 우리 프로덕션이 매일 처리하는 토큰량

체감이 아니라 실제 로그로 확인해봤습니다 지난 글(새 창)에서 그래픽카드를 5090으로 바꾼 얘기를 했습니다. 이번엔 조금 더 정량적으로 들어가서, 하드웨어가 바뀔 때마다 속도가...