【失敗事例から学ぶ】AIによるデータ分析がうまくいかない本当の理由

Auto MLツールなどの登場で、あらゆる人がAIによる予測分析を実施できるようになった。しかし、それらの予測分析が効果に結び付かないと悩む企業は多い。一体なぜなのか。専門家がアンチパターンをもとに語った。

[土肥正弘，ドキュメント工房]

　機械学習などのAI技術による予測分析が効果に結び付かないと悩む企業は多い。その原因と解決策を、AIデータ分析プラットフォーム「DAVinCI LABS」（ダヴィンチラボ）を提供するailys日本法人代表である藤井正辰氏がアンチパターンを交えて語った。

AIによる予測分析が失敗する3つの要因

　ailysの調査によると、データ分析市場におけるCAGR（年平均成長率）は2030年までに20％超で推移し、2030年に同市場は日本を含むAPAC地域において4.5兆円の規模になるという。

　藤井氏によれば、機械学習などのAI（人工知能）技術による予測分析モデルを自動生成できるAuto MLツールによってデータ分析の民主化が進み、市場の成長が促されるようだ。

　しかし現在、Auto MLツールによるデータ分析を実施しているのは大手企業が中心だ。藤井氏はAIによる予測分析が広まらない要因を次のように整理する。

（1）データ分析のテーマを立案できる人間がいない

（2）Auto MLツールが出すアウトプットが限定的で、ビジネスに落とし込めない

（3）現場や経営層がAIによる予測分析のビジネスへインパクトを理解できない

　この中で（1）は人材育成・確保に関わる問題なので説明は割愛して、以下で（2）（3）について説明する。

未来予測よりも現在の意思決定をいかに最適化できるかがポイント

　「Auto MLツールが出すアウトプットが限定的で、ビジネスに落とし込めない」という課題はどのように解決したらよいのだろうか。藤井氏は、2つのアンチパターンと成功事例を用いて考察した。

【失敗事例】AIによる予測分析が結果に結び付かない

　あるサービス事業者は、ユーザーがサービスを使わない「休眠状態」になる頻度が高いという課題を抱えていた。同社はこの課題を解決するために、6カ月の間にユーザーが休眠状態になる確率をAIで予測して、確率の高い人に適切なアプローチをするという施策を打った。しかし、ユーザーが休眠状態になる原因が分からないために、休眠防止のためのアプローチを取れず、根本的な解決に至らなかった。

　またある企業では、営業活動の成約率を上げることが課題だった。そこで顧客の成約率を予測するAIモデルを構築して、営業活動の優先順位や、営業担当者の最適配置に活用した。しかし、肝心の成約率の底上げや顧客の説得という根本的課題には役に立たなかった。

　これらの事例のように、Auto MLによる予測モデルの自動生成だけでは、根本的な課題を解決できないことがある。未来予測だけでなく戦略的なシミュレーションなどを組み合わせながら、意思決定を最適化することが重要だ。

【成功事例】未来予測だけではない手法を加えた課題解決例

　ある保険会社では、自動車保険の加入者を他の保険に誘導することを目指していた。そのため、顧客の属性情報や加入している保険の契約条件、プロモーションへの反応といったデータを解析し、他の保険への加入率を求める予測モデルを構築した。確率がしきい値を超えた人をリスト化し、優先的にプロモーションをかけられるようになったという。

　しかしこの予測モデルはターゲットの性別や年齢、居住地域といった多様性を考慮したものではなく、単一的なアプローチに帰結するリスクがあった。そこで、予測モデルで作成したターゲットリストに対し、居住地や年齢、流入したチャネルなどの要素を含むルール分析の結果を掛け合わせた。

　「ある地方に在住の50代から60代の男性が火災保険に加入した、自動車保険加入時にあるチャネルから流入した場合は火災保険プロモーションによく反応したといったルールを組み込みました。ユーザーの居住地や年齢、流入したチャネルなどの詳細情報を考慮することで、より興味をもってもらえそうなプロモーションを提供できるようになりました。これによって、保険の加入率を高めることに成功しました」（藤井氏）

　ある化学メーカーは、化成品の製造プロセスの中で規格外の大きさの製品ができてしまうという課題を抱えていた。

　「原料に液体を加え、乾燥させて、粒のような形でベルトコンベヤーから出す工程があるのですが、規格外の粒の量を下げることが課題でした」（藤井氏）

　そこで原料の配合量や液体の流量、温度、設備外部の気温や降水量などの条件と、規格範囲内の製品ができた比率を教師データとして、「ある条件下でどれくらいの規格内製品ができるのか」を推定する予測モデルを作った。

　さらに、液量や乾燥温度などを変えるといったシミュレーションを実施し、ビジネスインサイトを蓄積したという。

　「シミュレーションの結果、液量や乾燥温度は、規格内製品ができる量と関連性がないことが分かりました。この結果は、現場の感覚とは異なるものでしたが、現場の生産設備で検証したところ、シミュレーション通りの結果になりました。この化学メーカーは、予測モデルとシミュレーションを掛け合わせることで、従来よりも効率的な製造プロセスを構築できました」（藤井氏）

　同氏は、これらの事例をふまえて、データ分析は多様な手法に基づいたインサイトが重要だと主張する。

　「私たちは、Auto MLツールによる予測モデルの自動作成だけでなく、過去の傾向分析やシミュレーションなどを掛け合わせた『AIデシジョニング』という手法を提唱しています。基盤となるAI技術はビジネスのルール解析、教師なし学習、強化学習などさまざまです」

　なお、同氏の考えは Gartnerが注目すべきトレンドとして挙げた「コンポジットAI」に通じるものだという。コンポジットAIとは、ディープラーニングのようなAI技術やルールベースの推論、最適化手法などを組み合わせて、より広範囲なビジネス問題の解決を目指すものだ。

統計を理解しない経営者を説得する方法

　データ分析におけるもう一つの課題は、「現場や経営層がAI分析によるビジネスへのインパクトを理解できない」ということだ。一般的なAuto MLツールは、RMSE（二乗平均平方根誤差）、MSE（平均二乗誤差）、プレシジョン／リコールなどの統計的な指標でモデルの精度を測り、最適な予測モデルを構築する。

　それら統計指標を改善して、予測精度の高いモデルを構築できたとしても、統計に理解のない経営層にインパクトが伝わりづらい。前述したように、高精度な予測モデルを構築できたとしても、それが事業改善につながらないこともある。藤井氏は、この問題に対して統計指標を経営指標に変換するのが有効だと主張する。

　「優れた予測モデルを作成したことを上層部に報告するのではなく、予測モデルによって事業KPIがどれだけ改善できるかを説明する必要があります。統計指標とあわせて、推定損失や欠品、在庫などの情報を一緒に提供するのです。そのためには機械学習とシミュレーションを掛け合わせた取り組みが求められます。当社では、このような手法をKPIドリブンのモデリングと呼んでいます」（藤井氏）

　KPIドリブンのモデリングでは、まずユーザーが重視する指標をもとに予測モデルを設計し、次に複数のKPI指標を考慮しながら予測モデルを最適化する。複数のKPI指標のなかでどれを重視するかの優先順位や比重を考えながら、予測モデルを補正する。

　日本、米国、アジアの小売業者、流通業者に重視するKPIをヒアリングしたところ、「欠品を減らすこと」が最優先事項として挙がったという。在庫は割引などの対応で調整できる一方、欠品は機会損失によるマイナスのインパクトが大きいためだ。最終的には（1）経済損失を最小化する（2）欠品量を最小化する（3）在庫を一定量に押さえる（4）（予測の）絶対誤差率を最小化する、という優先順位を考慮して予測モデルを構築することが望ましいと分かった。

　KPIドリブンのモデリングでは、よりビジネス要件に沿ったモデルを選ぶことも可能になる。ある金融サービス会社は、ローンビジネスに関するAIモデルを16ほど作り、それぞれのビジネスインパクトの大きさを計算した。その結果、最大のビジネスインパクトを出したモデルは、統計指標で5番目の成績だったという。

　AIによるデータ分析が結果に結び付かないと悩んでいたら、KPIドリブンのAIモデリングは一考に値するだろう。

本記事は「NexTech World 2022」における講演内容を編集部で再構成した。