Windowsとアプリを操作するAIエージェント Microsoftが発表

Windows自体やアプリケーションを自動操作するAIエージェント「computer use」が発表された。どのような処理が可能になり、どのように役立つものなのだろうか。

[畑陽一郎，キーマンズネット]

　Microsoftは2025年4月15日、Windowsの操作を自動化するためのAIエージェント機能「computer use」を発表した。アプリケーションのUIでメニューを選択したり、ボタンを押したり、文字を入力したりできる。

Windowsとアプリを操作するAIエージェント

　computer useは「Microsoft Copilot Studio」の一機能として提供される。Webサイトやデスクトップアプリケーション（アプリ）をツールとして扱う目的で利用でき、GUIを備えたあらゆるシステムとインタラクトできることが特徴だ。

computer useの外観（出典：Microsoftの発表資料）

　computer useは効率化に役立つという。システムに直接接続するAPIがなくてもタスクを処理できるからだ。つまり、ユーザーがアプリを利用できるなら、computer useも同様に使用できる。

　WindowsやアプリのGUIの操作を自動化するツールはこれまでも使われてきた。computer useの特徴は、アプリやWebサイトのUIが変更された場合でも自動的に適応することだ。推論機能が組み込まれており、リアルタイムでUIの変更に適応し、問題を解決するため、作業に中断が起こらない。Copilot Studioには強固なセキュリティ対策が施されており、ガバナンスフレームワーク基盤があるため、ユーザー企業や業界基準に適応しやすいという。

　computer useは開発者にも役立つ。デスクトップアプリと「Microsoft Edge」「Google Chrome」「Mozilla Firefox」のWebブラウザアプリのUIでタスクを自動化するエージェントを構築できるからだ。computer useはMicrosoftがホストするインフラで実行されるため、ユーザー企業は自社サーバを管理する必要がない。企業のデータはMicrosoftのクラウドサービスの境界内に保存されるが、AIモデルのトレーニングには使われない。そのため、企業はAIの社内利用を加速し、メンテナンスを削減して、インフラコストを低減できるという。

エージェントと自動化シナリオでどのような価値が生まれるのか

　Microsoftはcomputer useのユースケースとして次のようなものを紹介した。

・自動化されたデータ入力
　企業は多様なソースから大量のデータをある中央集約的なシステムに入力しなければならない場合がある。computer useはこのプロセスを自動化して、手作業を減らし、エラーを最小限に抑えることができる。

・市場調査
　マーケティングチームはツールを利用してオンラインソースから市場データを収集して分析するプロセスを常に走らせている。このプロセスをcomputer useで自動化できる。ユーザーの介入なく、洞察を得られることが特徴だ。

・請求書処理
　経理部門でもcomputer useを利用できる。請求書からデータを抽出して会計システムに入力するプロセスを自動化できるからだ。請求書処理全体を効率化でき、手作業が加わることで起こるエラーを削減できる。

computer useを使って請求書処理を実行しているところ（出典：Microsoftの発表資料）

RPAとは何が違うのか

　computer useのエージェントは、RPAを変革するものだとMicrosoftは指摘する。古い世代のRPAには、UIの変更があった場合に操作を誤ったり、UIの変更に保守コストがかかったり、複雑で動的なプロセスや非構造データを扱う際に柔軟性に乏しいといった課題があった。

　computer useはUIの変更に適応し、複雑な動的インタフェースであっても処理を続けることができる。このため、RPAの専門家以外であっても自動化が可能になるという。RPAの変革者としてのcomputer useの特徴は次のようにまとめられる。

・リアルタイムの変更に対応
　ボタンや画面が変更されても、作業は中断されずに継続する。

・使いやすさ
　自然言語で要件を記述できるため、コーディングは不要だ。それではプロンプトを改善したい場合はどうすればよいのだろうか。computer useには2つの機能ある。プロンプトをどのように解釈し、どのようなステップでタスクを遂行するかという推論の過程を表示できる。次に実際に何をどのように操作するのかを表示できる。この2つの処理内容のリアルタイムのフィードバックを確認することで、プロンプトを微調整しやすくなる。

・インテリジェンスを搭載
　computer useはWindowsやアプリの画面上の内容を認識して、複雑な環境や変化する状況でもリアルタイムで適切な判断をくだすことができる。

・高い可視性
　computer useの処理を管理する場合、前述の推論ステップはもちろん、computer useの動作を記録したスクリーンショットや活動の履歴を自由に確認できる。

computer useはイノベーションなのか

　企業がAIとオペレーションの目標を達成するためのエンドツーエンドのエージェントプラットフォームとしてMicrosoft Copilot Studioが役立つ。

　プロセスの効率化や生産性向上のためのツールとしてcomputer useを利用でき、イノベーションを推進しやすくする。

　なお、computer useは現在早期アクセスリサーチプレビューとして公開されている。computer useの城西情報は2025年5月に開催される「Microsoft Build」で発表予定だ。