AIにPCを操作させる機能、設定ゼロで使えるようになった — Qwen Code v0.17

Computer Use — AIがマウスやキーボードを操作してPCのアプリケーションを動かす機能。AnthropicがClaude Opus 4.7で先行実装し、MicrosoftもCopilot Studio CUAとして提供を始めた。

ただ、これまでのComputer Useには共通の問題があった。セットアップが面倒すぎるのだ。

拡張機能のインストール、MCPサーバーの設定、権限の付与、ツールの再起動。この手順をすべて完走できるユーザーが少なすぎた。Qwen Code v0.17は、この問題を「設定ゼロ」で解決した。

確認ダイアログ1つで始まる

Qwen Code v0.17.0（6月4日リリース）では、Computer Useが組み込み機能として搭載された。

初回起動時にYes/Noの確認ダイアログが1つ出る。Yesを押すとバイナリのダウンロード、macOSのアクセシビリティ権限ガイド、MCPサーバーの起動まですべて自動で完了する。拡張機能の手動インストールも、設定ファイルの編集も不要だ。

裏側では、オープンソースのopen-computer-use MCPサーバーが9つのデスクトップ操作ツールを提供している。

• click — マウスクリック
• type_text — テキスト入力
• scroll — スクロール
• drag — ドラッグ操作
• press_key — キーボードショートカット
• set_value — フォーム値の設定
• list_apps — 起動中アプリの一覧
• get_app_state — アプリの状態取得
• perform_secondary_action — 右クリック等

macOS、Linux、Windowsに対応。アクセシビリティAPIを経由するため、画面キャプチャベースの手法よりも安定して動作する。

モデルを選べるのが強み

Anthropicの Computer UseはClaude専用だ。Copilot Studio CUAもMicrosoftのモデルに紐づいている。

Qwen Codeは違う。バックエンドのモデルを自由に選べる。Qwen 3.7でもGPT-5.4でもClaude Opus 4.8でも、OpenAI互換のAPIを持つモデルなら何でも使える。コストの安い中国モデルでデスクトップ操作を試し、精度が必要な場面だけClaude に切り替える、といった使い分けが可能だ。

正直、Computer Use自体の精度はまだ発展途上で、複雑なGUI操作は失敗することも多い。だがこの機能が「設定ゼロ・無料・モデル非依存」で手に入るようになったことで、試すハードルは劇的に下がった。

どう使うか

現時点で実用的なのは、定型的なGUI操作の自動化だ。たとえばブラウザを開いて特定のページに移動し、フォームに値を入力して送信する。Excelのマクロでは自動化できない「別アプリをまたぐ操作」をAIに任せられる。

開発者にとっては、E2Eテストの自動化にも使える。Playwrightのようなテストフレームワークを書かなくても、「このボタンを押してこの画面が出ることを確認して」と自然言語で指示できる。まだ完璧とは言えないが、プロトタイプ段階のアプリのスモークテストには十分使えるレベルだ。

v0.17ではFeishu（飛書、ByteDanceのSlack的ツール）統合や、コンテキスト圧縮エンジンの書き直しも入っている。60以上のPRがマージされた大型アップデートだ。