AIのパフォーマンスというと、トークンの消費量や、正常に動いているかどうかといった点に目が向きがちだ。それらも重要だが、加えて「誰が使っているのか」「どう使っているのか」「それが効果を生み出しているのか」というユーザーに直結するデータの分析が必要だと谷口氏は語る。

　システムが正常か、エラーは出ていないか、コストはどうか。こうした「システム側の指標」に、誰が何のために使い、役に立っているか、という「ユーザー側の指標」を重ね合わせる。この2つがそろって初めて、AI投資の実像が見えるという。

システム性能の計測だけでなくユーザー体験の評価が必要（出典：講演時の投影資料）

　PendoのAIエージェント分析では、まず全体像として、どれくらいの会話が実行され、継続率やうまく回答できていない問題率がどの程度かを把握できる。どのAIモデルやサブエージェントが多く使われているかも把握でき、業務ごとに最適なAIを見極める判断材料になる。

AIエージェントの品質と利用傾向の分析レポート（出典：講演時の投影資料）

　さらに、入力と回答のデータが一定量たまると、自社の従業員がどのような用途でAIを使っているかをユースケースの一覧として可視化できる。気になる用途があれば、実際の会話にドリルダウンし、従業員が何を入力し、どんな回答を得たかまで確認できる。

AIエージェントのユースケースをサマリー表示し、個々の会話内容までドリルダウン（出典：講演時の投影資料）

　回答がうまくいかない場合の原因究明も可能だ。問題率のレポートでは、正しいアウトプットが出せない原因が、ユーザーの入力内容に問題があるためか、それともAIモデル側の問題かを掘り下げられる。

　そして、谷口氏が投資対効果の観点から必要性を挙げたのが、システムをまたいだ動線の分析だ。ある業務のスタートとゴールを定め、どの場面でAIが使われ、その前後でユーザーの操作がどう変わったかを追う。

　谷口氏は、「AIエージェントを使っているユーザーの方が、所要時間もステップ数も短い。そうしたことをデータで可視化できれば、今使っているAIは価値を生み出していると、経営層に説明できる」と述べる。感覚ではなく数値で語れることが、次の投資判断を支える。

　利用実態の可視化は、すでに導入したAI機能の効果検証にも使える。「まだ日本では実績事例が非常に少ない」としながらも、谷口氏はAIチャットbotに適用した一例を紹介した。

　あるヘルプデスクでは、膨大な問い合わせに対応するためAIによる検索・回答機能を実装していた。だが、それによって有人対応のチケットが実際に減っているのかが、うまく見えていなかった。

　そこでPendoのエージェント分析を適用し、AIが回答しているにもかかわらずユーザーがチケット送信に至った検索トピックは何かを可視化した。あわせて、チケット化と強く相関する曖昧な入力パターンを特定した。こうした分析から、成果はすでに見え始めている。解決につながらなかった検索のギャップをモデルに再学習させ、より良い回答へと改善を進めているという。どこで自己解決が失敗しているかを突き止め、手を打てるようになった格好だ。

「見るだけの分析」から「行動するAI」へ

　Pendoはこの領域の機能開発を続けている。現在の分析は、ユーザーの入力と、それに対する回答を主な対象としている。今後はその間の過程、すなわちエージェントがどの情報源を探し、どう動いて回答にたどり着いたかという手順のトレースへと踏み込む。

　「ユーザーが何を入力してどんな回答を得たか、だけではありません。その間にエージェントが何をして、どこで問題が起きているのか。そこまで深掘りして分析できるようにしていきます」（谷口氏）

　関連する取り組みも動いている。一つは、社内で使うソフトウェアライセンスの活用状況を可視化する「コマンドセンター」だ。どのAIをどの部門がどれだけ使えているかを一覧でき、会社として認めていないツールの利用、いわゆるシャドーITの検知にも使える。

　もう一つが、Pendoが検知したユーザーの課題をAIに渡し、改善策の実行までをAIどうしで完結させるツールキットの構想だ。いずれも、分析にとどまらず行動へとつなげる方向を指し示す。

　AIをどれだけ導入したかではなく、それが現場でどう使われ、どんな価値を生んでいるか。その利用実態を可視化できるかどうかが、AI投資の成否を分ける。本講演は、そうした問いを企業に投げかけるものだった。