AIの精度が低くて使えない――JA共済連がたどり着いた「AIエージェントの育て方」

社内のガイドラインや過去の履歴データをAIに読み込ませたものの、前後の文脈を無視して誤った回答を出してしまう――。業務特化型のAIエージェント構築で多くの企業が解決に苦慮するこの課題に、JA共済連はデータの「渡し方」と「考えさせる手順」を工夫して精度を実用レベルに引き上げた。

 「過去の類似事例や社内ルールをAIに学習させれば、ベテランに頼らなくても判断業務が効率化できるはず」――。

 そう期待して生成AIを導入したものの、実際には単語の表面的な類似性に引きずられて的外れな回答を出すばかりで、実務で使えるレベルの正しい答えが返ってこない。全国共済農業協同組合連合会(JA共済連)も、同様の悩みを抱えていた組織の一つだ。

 JA共済連は共済事業と並び、事故や病気の予防や地域の活性化を目的とした「地域貢献活動」を推進している。全国各地の農業協同組合(JA)が企画する多様な地域活動に対して、支援のための基金を拠出する。この取り組みで農業・地域活動支援部が担う重要な業務が「基金の支出判断」だ。

 各JAからの申請は、まず都道府県本部が一次受け付けをして、判断が難しい案件は全国本部に回される。担当者はガイドラインや過去の照会履歴を照らし合わせて可否を審査するが、基金の支出対象となる「地域貢献」に当たるのか、対象外である「事業」に当たるのかの線引きが難しいケースも多い。

 「活動の目的や背景を踏まえて総合的に判断するため、ガイドラインの記載内容はどうしても抽象的になります。迷うことがあればグループ内で認識合わせをしますが、資料を集めたり、何度か打ち合わせをしたりしていると、回答までに3~4日かかってしまうこともありました」と、JA共済連の町田瑞季氏(全国本部 農業・地域活動支援部 企画管理グループ 主査)は振り返る。

せっかく導入したAIが使えない、どうする?

 そこでJA共済連は、経験の浅い職員でも過去の類似事例を探せるようにDX推進役を担うDI部やSIerと協議を重ね、直近3年間・約600件の照会履歴とガイドラインを連携させたAIエージェントを試験導入した。

 ところが、開発中に問題が発生した。過去の照会履歴を「Microsoft Excel」のままAIに読み込ませたところ、AIが「案件の文脈」を理解できず、キーワードの一致だけで過去の類似案件の結論を回答してしまった。

 例えば「冷蔵庫の購入」という言葉が含まれているだけで、AIは過去の許可事例と同じだと早合点してしまい、今回の申請目的を無視して誤判定してしまう。別の事例の結論と結び付けて都合よく解釈してしまうため、実務で使える審査結果が返ってこない状態だった。

印刷する
SNSでシェア

事例で学ぶ! 業務改善のヒント

この連載の記事をもっと見る

この記事の著者

関連記事

こんなメディアも見られています

キーマンズネットに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

無料会員登録
最新情報をいち早くチェック!

IT初心者から上級者まで、企業内の情報システムにかかわるキーパーソンを対象に、皆さまの役に立つ情報を無料で提供します

いますぐ無料会員登録

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

キーマンズネット SNS

X @Keymansをフォロー

インフォメーション

キーマンズネットをフォロー

キーマンズネットについて