AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」
社内のガイドラインや過去の履歴データをAIに読み込ませたものの、前後の文脈を無視して誤った回答を出してしまう――。業務特化型のAIエージェント構築で多くの企業が解決に苦慮するこの課題に、JA共済連はデータの「渡し方」と「考えさせる手順」を工夫して精度を実用レベルに引き上げた。
「過去の類似事例や社内ルールをAIに学習させれば、ベテランに頼らなくても判断業務が効率化できるはず」――。
そう期待して生成AIを導入したものの、実際には単語の表面的な類似性に引きずられて的外れな回答を出すばかりで、実務で使えるレベルの正しい答えが返ってこない。全国共済農業協同組合連合会(JA共済連)も、同様の悩みを抱えていた組織の一つだ。
JA共済連は共済事業と並び、事故や病気の予防や地域の活性化を目的とした「地域貢献活動」を推進している。全国各地の農業協同組合(JA)が企画する多様な地域活動に対して、支援のための基金を拠出する。この取り組みで農業・地域活動支援部が担う重要な業務が「基金の支出判断」だ。
各JAからの申請は、まず都道府県本部が一次受け付けをして、判断が難しい案件は全国本部に回される。担当者はガイドラインや過去の照会履歴を照らし合わせて可否を審査するが、基金の支出対象となる「地域貢献」に当たるのか、対象外である「事業」に当たるのかの線引きが難しいケースも多い。
「活動の目的や背景を踏まえて総合的に判断するため、ガイドラインの記載内容はどうしても抽象的になります。迷うことがあればグループ内で認識合わせをしますが、資料を集めたり、何度か打ち合わせをしたりしていると、回答までに3~4日かかってしまうこともありました」と、JA共済連の町田瑞季氏(全国本部 農業・地域活動支援部 企画管理グループ 主査)は振り返る。
せっかく導入したAIが使えない、どうする?
そこでJA共済連は、経験の浅い職員でも過去の類似事例を探せるようにDX推進役を担うDI部やSIerと協議を重ね、直近3年間・約600件の照会履歴とガイドラインを連携させたAIエージェントを試験導入した。
ところが、開発中に問題が発生した。過去の照会履歴を「Microsoft Excel」のままAIに読み込ませたところ、AIが「案件の文脈」を理解できず、キーワードの一致だけで過去の類似案件の結論を回答してしまった。
例えば「冷蔵庫の購入」という言葉が含まれているだけで、AIは過去の許可事例と同じだと早合点してしまい、今回の申請目的を無視して誤判定してしまう。別の事例の結論と結び付けて都合よく解釈してしまうため、実務で使える審査結果が返ってこない状態だった。
そこで見直したのがデータの「渡し方」だ。開発を支援したSIerと相談して、Excelのデータをそのまま投入するのではなく1件ごとに独立したマークダウン形式のテキストデータに分解・整形した上で、ベクトル化してAIに読み込ませる仕組みを構築した。
マークダウン形式に整えて1件ごとの境界を明確にしたことで、事例ごとの結論が混ざる誤作動を抑え込み、キーワードの表面的な一致に左右されない検索基盤を構築した。
過去データを分割して読み込ませたことで事例同士の混同は解消されたものの、審査する案件の「活動の背景や本来の目的」をAIにくみ取らせるのは難しく、回答に一定のブレが残った。
そこで、AIの回答プロセスを見直した。いきなり拠出の可否という結論を出させるのではなく、まず「今回の判断において確認すべき争点は何か」をAIに洗い出させるステップを設けた。支出目的に対する確認ポイントを明確にさせた上で過去の照会履歴と照らし合わせることで、判断基準に沿った根拠を導き出せるようになった。
運用面では、担当者がAIと対話しながら背景情報を補足する使い方を定着させた。初回の回答で活動の意図が十分にくみ取れていない場合は、担当者が「この活動はこういう目的で実施する」といった追加情報を伝えて、対話を重ねて回答の精度を高める。こうしたデータ設計と運用の工夫を積み重ねた結果、約7~8割が人の判断と合致する実用的なレベルに到達した。
もっとも、JA共済連はこの仕組みを「人の代替」とは考えていない。DX推進を主導する高橋亮氏(全国本部 DI部 DI戦略グループ 課長)は「AIで最終回答まで出力させようとは考えていません」と強調する。エージェントが提示する回答案と根拠は下調べの参考情報として利用して、最終的な判断は必ず担当者が下している。
業務負荷を2割程度削減、若手職員の「業務の勉強ツール」にも
こうした取り組みによって、照会対応にかかる業務負荷は2割程度削減できた実感があるという。Excelの検索は過去の案件で使われた言葉と完全に一致しなければヒットせず、経験の浅い職員には検索キーワードを推測すること自体が難しかったが、文脈を捉えた検索が可能になったことで調査の負担が軽減された。
業務効率化以上に現場が手応えを感じているのが、若手職員の育成面での副次効果だ。AIエージェントは単に拠出の可否を提示するだけでなく、判断の根拠となった過去の類似事例やガイドラインの該当箇所を併せて提示する。
「回答の根拠が示されるため、支出判断の補助としてだけでなく業務の勉強ツールにもなります。ガイドラインのどこを確認し、どのようなロジックで判断するのかという2つの側面から、若手職員の育成に大きく貢献すると考えています」と、木村琢磨氏(全国本部 農業・地域活動支援部 企画管理グループ 課長)は語る。
ベテランの頭の中にあった判断の勘所が言語化されることで、結果的に属人化の解消にもつながった。
GeminiもCopilotも検証 特定ツールに固執しない姿勢
AIエージェントの基盤選定において、JA共済連は特定のプラットフォームに固執しない柔軟なアプローチを採っている。2025年7月の検証開始時は、調査支援や情報整理に強みがある点に着目して「Gemini Enterprise」を採用した。
その後、生成AIの進化に合わせてベストプラクティスを探るため、現在はMicrosoftの「Copilot Studio」で同様の処理プロセスを再現できるか比較・検証を進めている。
どちらの基盤にするかを決め打ちするのではなく、出力形式の指定などを調整しながら試行錯誤を重ねた結果、実用面での回答精度に大きな差はないという感触を得た。
現在、JA共済連は別の業務課題に対するAIエージェントの適用可能性を検討している。支出判断AIエージェントについても、将来的には各県本部など数百人規模への展開も視野に入れつつ、実際に展開すべきか否かも含めて慎重に見極めているという。
現在は全国本部の数名で利用しているため柔軟な運用が可能だが、規模を広げるとなれば回答品質の担保や進化し続けるAIモデルの評価・組み込みといった管理体制の構築が課題となる。
高橋氏は今後の展望についてこう語る。
「まずはできることから小さく始めて、しっかりと検証した上で展開したいと思います。人材が減っていく中で、組織内に蓄積された暗黙知を組織の知に変える取り組みを進めなければ、いずれ手が回らなくなってしまいます。将来的な人材不足に備えるためにも、AIの力を生かした業務プロセスの変革を進めたいと考えています」
Copyright © ITmedia, Inc. All Rights Reserved.
事例で学ぶ! 業務改善のヒント
この記事の著者
関連記事
こんなメディアも見られています
キーマンズネットに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「PHP騒動」大反省会 今振り返る脆弱性騒動の原因と、今後取るべき対策
-
2
Googleドライブの最新ファイルをGeminiが常時参照 「スキル」に新機能追加
-
3
GAS×Geminiが一般提供開始 IT管理者が確認すべき権限設定は?
-
4
悲惨なひとり情シス、幸せなひとり情シス 分かれ道はどこにある?
-
5
「Microsoft 365」大規模障害、原因はサーバの正常性チェックか
-
6
AIがAIを襲う時代に重要な「AIを守る」と「AIで守る」 情シスが知りたい防御の鉄則は
-
7
Google Workspaceの最新7機能をチェック Geminiへの指示共有や最大14日間のフロー待機など
-
8
Gemini Notebookで規定探しの手間をゼロにする、「問い合わせ効率化」超入門
-
9
JR九州の非IT部門がGeminiでPythonアプリを内製開発 2~3カ月で完成させた方法
-
10
クレディセゾンはなぜChatGPTでROI954%・年169時間削減を達成できたのか
キーマンズネット SNS
インフォメーション
注目情報をチェック
キーマンズネットをフォロー