AIの精度を保証する「機械学習品質マネジメントガイドライン」とは？

人の生死や資産に直結する領域にまで手を伸ばそうとしているAIだが、その判断や予測の精度を左右する機械学習の品質については気掛かりなところ。そこで登場したのが、世界でもほとんど例のない、汎用的な品質管理ガイドラインだ。

[土肥正弘，ドキュメント工房]

「機械学習品質マネジメントガイドライン」の目的は？

　AI（人工知能）の適用は、自動運転をはじめとする機械制御や故障予測、マーケティング分析や投融資判断、個人の信用査定などビジネスにクリティカルな領域へと拡大を続けている。その中でAIシステムに今後ますます厳しく問われるのが安全性や正確性だ。「AIが入っているから大丈夫」というごまかしは、今は通用しない。

　どうすればAIシステムの品質を保証できるのだろうか。誰もが納得する答えはまだないようだが、品質を議論するための素地は着々と固められてきている。その取り組みの一つが、今回紹介する「機械学習品質マネジメントガイドライン」だ。

　2020年6月30日に公開された同ガイドライン（第1版）は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）から研究を受託した国立研究開発法人産業技術総合研究所（産総研・AIST）と大学共同利用機関法人情報・システム研究機構国立情報学研究所（NII）が、外部有識者らとともにとりまとめたもの。機械学習利用システムの企画段階から運用までのライフサイクル全体にわたる品質活動プロセスを通して、品質目標の設定や計画、確認、品質保証、管理をするための参考として利用できる。

　このガイドラインの意義について、作成に携わった産総研・サイバーフィジカルセキュリティ研究センターの大岩 寛氏（研究チーム長）は「（AIシステムの）ユーザー、開発者、ベンダーなど関係者間で『コミュニケーションのポイント』を押さえてもらいたい」と話す。

ガイドラインが示す「機械学習品質」とは？

　大岩氏の言うコミュニケーションのポイントとは何だろうか。同ガイドラインの内容に沿って挙げてみよう。

　ガイドラインでは、機械学習システムの品質を「利用時品質」「外部品質」「内部品質」の3点に整理している。

　「利用時品質」は、エンドユーザーに提供される製品やサービス全体の品質のことだ。この品質をどこまで保証できるかが、品質管理のキモになる。

　「外部品質」は、利用時品質を確保するための各種の構成要素に要求される品質のことだ。構成要素に機械学習システムが含まれる際に、その外部品質をどのように確保するのかが、本ガイドラインの主眼となる。

　「内部品質」は、構成要素それぞれに固有の特性としての品質のことだ。

　図1のように、利用時品質は構成要素全体の外部品質によって実現され、外部品質は複数の構成要素による内部品質によって実現されるイメージとなる。

図1　利用時品質・外部品質・内部品質の階層的な品質モデル（同ガイドラインより）

外部品質特性として実現目標にするのは3特性

　ガイドラインの注目ポイントは、機械学習要素の外部品質特性の軸として「リスク回避性」「AIパフォーマンス」「公平性」の3つを抽出し、それぞれに品質レベルを設定しているところだ。