あなたの画面を24時間記録して、AIエージェントの「記憶」にする — OSSのScreenpipe

先週やった作業の手順を、もう思い出せない。あのツールのどの画面で、どのボタンを押したか。似た作業がまた来たのに、ゼロから調べ直している——地味だが、じわじわ時間を溶かすやつだ。

AIエージェントに任せようにも、そもそもエージェントは「あなたがどう仕事をしているか」を知らない。手順を毎回言葉で説明するくらいなら、自分でやったほうが早い。この「エージェントに自分の作業を教える」というボトルネックを、記録から解こうとしているのが Screenpipe だ。YC S26に採択され、GitHubのスターは約2万に達している。

仕組み — 画面と音声を「作業台帳」にする

Screenpipeがやることは、乱暴に言えば「あなたの画面と音声を24時間、ローカルに記録し続ける」ことだ。ただの録画で終わらないのがミソで、記録は次のように流れていく。

画面＋音声 → ローカルのSQLite → MCP / API → エージェント。

つまり、記録した内容が検索可能なデータベースになり、そこにMCP（Model Context Protocol）やAPI経由でAIエージェントがアクセスできる。画面に映ったテキスト（アクセシビリティ情報を優先し、取れない場合はOCRで補完）や、音声の文字起こしを、自然言語で横断検索できる。アプリ名・ウィンドウタイトル・ブラウザのURL・日付範囲で絞り込みも効く。

さらに一歩進んで、あなたが同じ作業を繰り返すのを観察し、その手順を書き起こす。要はSOP（標準作業手順書）を勝手に作ってくれるわけだ。これをエージェントに渡せば、「先週と同じ要領でやっといて」が通じるようになる。

導入は npx screenpipe record で始められる。すでに開発者たちは、この作業台帳をCodexやClaudeに流し込んで、エージェントの継続的な記憶（continual memory）として使っている。OpenClawやHermesといったエージェント、100以上のアプリと接続できるとされる。

プライバシー — 全部ローカルであること

「画面を24時間記録」と聞いて、まず身構えるのはプライバシーだろう。当然の反応だと思う。

Screenpipeの回答は「完全ローカル・オープンソース」だ。記録はあなたのマシン上のSQLiteに閉じ、クラウドへ吸い上げる前提ではない。コードも公開されているので、何を記録し何を送っているかを自分で確認できる。ブラックボックスの録画ツールに常時見られるのと、コードが読めるOSSをローカルで回すのとでは、安心感がまるで違う。

とはいえ、リスクがゼロになるわけではない。24時間ぶんの画面には、パスワード入力画面も、他人とのDMも、見られてはまずい情報も当然映り込む。それが検索可能なDBとしてローカルに溜まり続ける以上、そのマシン自体の管理やエージェントに渡す範囲の切り分けは、使う側の責任として残る。ここは軽く見ないほうがいい。

何が実現できるか

このデータベースがあると、地に足のついた自動化が見えてくる。

たとえば、月末の請求処理のように「毎回同じ画面を同じ順で触る」作業。Screenpipeに手順を覚えさせ、SOP化してエージェントに渡せば、次回からは半自動で進められる。あるいは「先月、あの数字をどこで確認したっけ」を、記憶ではなく検索で引く。会議中に口頭で決まった約束を、音声の文字起こしから後追いで拾う——議事録を取り損ねても、記録が残っている。

正直に言えば、これは万人向けのツールではない。常時記録という前提を受け入れられ、MCPやエージェントを触る素地がある開発者・パワーユーザーが主な対象だ。逆にそこがハマる人には、「エージェントに自分の仕事を教える」という長年の面倒を、記録という力技で片付ける発想がかなり効く。プライバシーへの構えと自動化の欲がせめぎ合う、面白い立ち位置のツールだと思う。

コードと導入手順はScreenpipeの公式リポジトリで確認できる。