Macのローカル推論、llama.cppより最大6.4倍速いと言い張る新参が現れた — Metalを直に叩くBaseRT
BaseRTはApple Silicon専用の高速ローカルLLM推論ランタイム。Metalネイティブ実装でllama.cpp比prefill最大6.4倍を主張。何が速いのか、ライセンス、使い所と注意点を解説する。
BaseRTローカルLLMApple SiliconMacアプリオンデバイスAIllama.cpp
2件の記事
BaseRTはApple Silicon専用の高速ローカルLLM推論ランタイム。Metalネイティブ実装でllama.cpp比prefill最大6.4倍を主張。何が速いのか、ライセンス、使い所と注意点を解説する。
Mac専用AIランタイムOsaurusをレビュー。Ollamaより20%高速、7MBのSwift製、MCP対応。ローカルLLMとクラウドAPIを1つのアプリで統合する設計思想と制約を解説。