오픈소스 · C++
nace-ai/kapitsa
Blazing fast Apple Silicon inference engine optimized for Qwen & Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai
- 별
- 732
- 포크
- 102
- 언어
- C++
- 관련도 점수
- 82
처음 보는 사람을 위한 설명
맥에서 Qwen과 Nemotron 같은 AI 모델을 빠르게 실행하는 추론 엔진입니다. 클라우드 API 대신 내 맥북에서 직접 AI 서비스를 돌릴 수 있습니다.
왜 볼 만한가
Apple Silicon용 초고속 로컬 LLM 추론 엔진으로 Qwen과 Nemotron 모델에 최적화되어 있습니다. OpenAI와 Anthropic API 호환 인터페이스를 제공해 기존 클라우드 API 코드를 로컬로 쉽게 교체할 수 있습니다. C++와 Metal 기반으로 맥에서 사설 AI 에이전트나 코딩 에이전트를 구축할 때 지연 시간을 크게 줄여줍니다.
AI가 저장소 설명을 읽고 쓴 글입니다.
조회 0