# llama.cpp

Macのローカル推論、llama.cppより最大6.4倍速いと言い張る新参が現れた — Metalを直に叩くBaseRT

BaseRTはApple Silicon専用の高速ローカルLLM推論ランタイム。Metalネイティブ実装でllama.cpp比prefill最大6.4倍を主張。何が速いのか、ライセンス、使い所と注意点を解説する。