오픈소스 · Python
synchopate/llama-modchip
🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.
- 별
- 892
- 포크
- 67
- 언어
- Python
- 관련도 점수
- 85
처음 보는 사람을 위한 설명
GPU 없이 일반 컴퓨터 CPU만으로도 아주 큰 인공지능 모델을 실행할 수 있게 해주는 도구입니다. 코딩 보조 에이전트를 로컬에서 가볍게 구동하고 싶을 때 참고할 수 있습니다.
왜 볼 만한가
Pure CPU에서 284B 규모의 DeepSeek-V4-Flash와 30B MoE 모델을 64GB RAM으로 실행하는 추론 엔진이다. llama-cpp와 GGUF 양자화, 추측 디코딩을 활용해 GPU 없이도 256K 컨텍스트에서 코딩 에이전트 추론이 가능하다. Claude Code와 연동해 13ms 수준의 상태 복원이 가능해 로컬 AI 개발 환경 구축에 실질적 가치가 있다.
AI가 저장소 설명을 읽고 쓴 글입니다.
조회 0