画面操作エージェントを本番投入すると、1クリックごとにAPIを往復させる旧来のComputer Useでは、レイテンシとコストが業務規模に耐えません。2026年8月、Anthropicは座標推定に頼らずページ構造を読み、複数アクションを1ターンでまとめて実行できるBrowser Use Toolを一般提供しました。エージェント基盤の実行系をどう設計し直すべきかを整理します。
Browser Use Toolとは何か——Computer Useと何が違うのか
Browser Use Toolはページのアクセシビリティツリーから要素参照を取得し、座標推定に頼らず操作できます。
browser_toolset_20260801は、旧来のスクリーンショット+座標クリック型のComputer Useとは異なるツールセットです。read_pageがアクセシビリティツリーを返し、ref_3のような要素参照でリンクやボタンを直接指定できます。自然言語で要素を探すfindも使えます。既定で有効な27種のメンバーツールに加え、javascript_exec・file_upload・read_console・read_networkの4種は既定で無効です。対応モデルはClaude Opus 5・Sonnet 5・Opus 4.8などで、提供経路はClaude APIとVertex AIに限られ、Bedrock・Foundryは非対応です。
複数アクションはどう1ターンで実行されるのか
1回のレスポンスに複数のtool_useブロックが載り、逐次実行かつ失敗で後続が自動停止します。
Claudeはtoolset_name: "browser"を付けたtool_useブロックを1ターンにまとめて返します。実行系はこれを並列ではなく発行順に逐次実行し、途中で1件でも失敗したら残りは実行せず、is_error: trueと固定文言"Not executed: an earlier action in this turn failed."を返す設計が求められます。この一括実行で往復回数が減り、公開事例では保険金請求フローの処理時間が32分から13分に、タスクあたりコストが約30%短縮しています。バッチの一部失敗は珍しくないため、冪等性設計を前提にリトライ時の重複実行を防ぐ必要があります。
要素参照とタブ状態はどう設計すればよいか
要素参照はDOM変化で失効するため、再取得ロジックと複数タブの状態同期が設計上の要点です。
要素参照は発行元のタブに紐づき、ページ遷移やDOM変化で無効化されます。失効した参照へのアクセスは実行系がエラーを返し、Claude側にread_pageの再実行を促す設計が前提です。キャンバスや動画、クロスオリジンiframeなど参照が取得できない要素には座標指定を併用します。タブ操作の結果はbrowser_stateブロックのみを返し、上限はタブ100件・状態変化200件です。URLはクエリパラメータの認証情報を除去してから返す必要があり、複数タブを横断するタスクではタブごとの参照テーブルを実行系の状態ストアに持たせる設計が安全です。
セキュリティ境界はどう設計すべきか
javascript_execとfile_uploadは既定で無効化されており、有効化には隔離環境の整備が前提です。
セキュリティ設計の起点は、ブラウザを資格情報を持たない専用コンテナで動かし、ネットワーク層でドメインを許可リスト化することです。javascript_execはページと同じ権限でコードを実行するため、戻り値はプロンプトインジェクションの経路になり得る未信頼入力として扱います。file_uploadはアップロード可能なパスを専用ディレクトリに限定し、シンボリックリンクや..を解決してから許可すべきです。javascript:・file:・data:スキームは拒否し、購入や規約同意など不可逆な操作には人間の承認を挟みます。この隔離設計はComputer Use APIのサンドボックス・IAM設計と共通する考え方です。
参考
- Browser use tool – Claude Platform Docs
- Build production agents with computer use, the Skills API, and the Files API – Claude by Anthropic
まとめ
Browser Use Toolは、座標推定から要素参照へ、逐次1アクションからバッチ実行へと、画面操作エージェントの実行モデルそのものを変える機能です。往復回数の削減はコストとレイテンシに直結する一方、失敗時のhalt-on-failure処理・参照の再取得・タブ状態の同期・javascript_execやfile_uploadの権限境界を、実行系の設計として作り込む必要があります。既存のComputer Use基盤を持つ企業ほど移行設計の見直し範囲は大きくなります。
エージェント実行基盤のアーキテクチャ設計は、Kuu株式会社のRDEサービスでご相談ください。