8GB 맥북에어에서 26B 모델이 돌아간다
그것도 메모리 2GB만 쓰고
TurboFieldfare라는 오픈소스인데, 접근 방식이 좀 미쳤다. 지금부터 이 오픈소스에 대해서 알아보자
/
github.com
GitHub - drumih/turbo-fieldfare: Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
[댓글 @senazzang0308]
보통 LLM은 모델 전체를 램에 올려놓고 쓴다. Gemma 4 26B는 14.3GB니까 8GB 맥에선 시작도 못 한다
근데 이 프로젝트는 생각을 뒤집었다.
"토큰 하나 만드는 데 26B가 다 필요한가?"라는 물음에서 시작해
실제로 활성화되는 건 토큰당 3.88B뿐이다. (MoE 구조)
그래서 램에는 공유 코어 1.35GB + KV 캐시만 상주
나머지 전문가(expert) 가중치는 SSD에 두고
토큰마다 필요한 8개만 그때그때 읽어옴
책상에 책 전부 쌓아두는 대신, 필요한 책만 서가에서 꺼내오는 방식
[댓글 @senazzang0308]
근데 그냥 읽어오면 느리다. 여기서 디테일이 갈린다.
SSD 읽는 동안 GPU는 놀지 않고 상주 가중치 연산을 돌린다. I/O랑 계산을 겹쳐버리는 것
자주 쓰는 expert는 레이어당 16칸 캐시에 보관한다.
mmap 대신 pread를 쓴 이유도 실측 때문:
mmap 10ms → pread 2.8ms
실측 성능
- 8GB M2 에어: 5.1~6.3 tok/s
- 24GB M5 Pro: 31~35 tok/s
Swift 6.2 + Metal 4 직접 구현. MLX나 llama.cpp 래퍼가 아니다.
실험 기록 102개를 전부 공개해놨는데, 실패한 아이디어까지 다 적어놨다. 이게 진짜 볼 만한 포인트
