# オンデバイスAI

80億パラメータが1GBに入る。量子化ではない、最初から1ビットで作ったLLMの話

Caltech発PrismMLの1ビットLLM「Bonsai」は80億パラメータを1.15GBに収め、iPhone上で毎秒44トークン生成する。量子化とは異なるネイティブ1ビット学習の仕組みと性能を解説。