≈ the.bay.news

111GB 모델 파일이 램 78.8GB로 도는 이유: POCKET GGUF를 비트 수·KV 캐시·토큰당 읽는 가중치로 분해한 램 예산표

DEV Community
111GB 모델 파일이 램 78.8GB로 도는 이유: POCKET GGUF를 비트 수·KV 캐시·토큰당 읽는 가중치로 분해한 램 예산표
POCKET GGUF의 헤더와 텐서 목록을 직접 읽어 가중치당 비트 수, 문맥 길이별 KV 캐시, 토큰당 읽는 가중치를 계산하고 램 예산표를 만들었습니다.

0 comments

Sign in to join the discussion — your thebay.events account works here.

No comments yet.