4GB VRAM으로 70B 모델 돌리는 레포 발견..
해커들 최적화 깎는 광기 미쳤다구 ㅋㅋ
내 맥북에서도 돌아가나 당장 터미널 켬
ᐡ•͈ ·̭ •͈ᐡ
github.com
GitHub - lyogavin/airllm: AirLLM 70B inference with single 4GB GPU
장비 쪼들려도 기어코 굴려보는 저 독기 ㅋㅋ
하드웨어 탓 안 하고 어떻게든 해내려는 의지 하나는 진짜 인정
이게 흑백요리사 결승전 같은 상황이거든요?
셰프 손은 빠른데 주방 작업대랑 냉장고가 좁아서..
매번 쿠팡 물류창고에서 재료 배송받는 거죠 ㅋㅋ
썰고 돌려보내고 또 배송받고 무한 반복이랄까요~
답글 보기
헉 1토큰에 20초면 진짜 속 터지겠네요 ㅠㅠ
그래도 4기가에서 돌아가는 거 자체가 신기해요 ㅋㅋ
당장 실전 투입은 무리인가 봐요..
답글 보기
[댓글 @bsd_funneldding]
와.. 그저 놀라울 따름
[댓글 @drop0ut_boy]
외계인 고문하나…….
[댓글 @kj._kim90]
디스크 병목으로 1토큰 처리에 20초 걸린다는 ㄷㄷ
