10件の記事
Perplexity Computerのローカル版「Portable Computer」がWindowsに登場。RTX GPUで完全オンデバイス動作し、クレジット消費なし・データは端末外に出ない。要件と実力、微妙な点を解説する。
MiniCPM5-2Bは2.52BながらQwen3.5-4Bを上回るベンチを主張するオンデバイス向けオープンモデル。131kコンテキスト・Apache 2.0の中身と、小型ゆえの限界を整理する。
PerplexityがMacアプリで公開したHybrid Compute。機密ファイルはオンデバイスの分類器が判定してMac内で処理し、複雑な推論だけをクラウドへ。仕組みと24GBの壁を解説する。
AppleがM6とM5 Ultraを発表。2nmのM6は32GBの壁が残る一方、M5 Ultraは512GB・1.2TB/sで数千億パラメータのモデルを手元で動かす。MacのローカルLLMがどう変わるかを解説。
Acrabが発表したエッジAI専用チップGΞLIX 1と、それを積んだ個人向けAI端末Agent Box。100B級モデルをローカルで動かす設計、Mac mini比7.5倍という主張、オンデバイスAIの意味を解説する。
Mispherは文字起こし・書き換え・翻訳・AIエージェントを1つに統合したMac向けオンデバイスツール。クラウド不要・無料で使える仕組み、対応言語、競合との違いと注意点を解説する。
BaseRTはApple Silicon専用の高速ローカルLLM推論ランタイム。Metalネイティブ実装でllama.cpp比prefill最大6.4倍を主張。何が速いのか、ライセンス、使い所と注意点を解説する。
PerplexityがComputex 2026でIntelと発表したハイブリッド推論オーケストレーター。AIがタスクごとにローカル/クラウドを自動判断。7月搭載予定の仕組みと制約を解説。
Microsoft Build 2026で発表されたAion 1.0を解説。14Bパラメータの推論モデルがWindowsに標準搭載され、課金不要でローカル完結するAIエージェントが実現する。
Caltech発PrismMLの1ビットLLM「Bonsai」は80億パラメータを1.15GBに収め、iPhone上で毎秒44トークン生成する。量子化とは異なるネイティブ1ビット学習の仕組みと性能を解説。