ユーザーが「どこで」離脱するのかを知りたい

カプコン　中村一樹氏

　「今、現実ではソーシャルディスタンスが大事ですが、ゲームの世界では、ユーザーから距離を取られては困るのです」と、カプコンでデータエンジニアの責任者を務める中村一樹氏（CS第二開発統括 システム基盤部　ネットワーク基盤室）は語る。同社は「Amazon SageMaker」を使って、同社が提供する運営ゲームの離脱者予測システムを開発した。

　同社はデータ活用をゲームの文化の創造に生かす方針で、AIによる分析などに積極的に取り組んでいる。今回の取り組みではユーザーの離脱データを得ることで離脱のポイントを改善し、ゲームを継続してもらうことを目標とした。

　ゲームの楽しみには、ゲームプレイそのものに加えてユーザーコミュニティの盛り上がりがある。離脱者が増えればコミュニティのにぎわいがなくなり、さらに楽しみがなくなって離脱が加速してしまう。課金するしないに関わらず「いかにユーザーを減らさないか」は重要だ。

　ユーザーが離脱する理由には「飽きてしまった。自分が思っていたものと違った」「複雑でよく分からない」「全てのコンテンツを触ってもらっていない」「面白さ、魅力が伝わっていない」など、さまざまなものがある。「これらのうち、飽きてしまった、自分に合わないと思っている人は無理に続けてもらっても誰も得をしません。ですがそれ以外の理由は、アドバイスやサポートなどのアプローチでなんとかなるかもしれないと考えました」（中村氏）。

　しかし、全ユーザーに同じサポートを提供する必要はない。特に、現状を楽しんでいるユーザーに細かくアドバイスをしても「いらぬお節介」で逆効果になりかねない。離脱したユーザー／離脱しそうなユーザーだけに対してアプローチするため、ユーザーの離脱予測をする必要があった。

離脱ユーザーの定義は「週のログイン3日以下」

　今回の離脱予測システムは、Amazon Machine Learning Solutions Labと、AWS Professional Servicesで共同開発した。中村氏は「さまざまな技術サポートや知見を提供してもらって助かった」と語る。

　対象のタイトルは、「モンスター　ハンター　ライダーズ」とした。2021年2月に1周年を迎え、新バージョンへの大型アップデートも行われた人気ゲームだ。

　スマートフォンゲームには「解約」というステップがなく、ユーザーの離脱を正確に知ることは難しい。ただし離脱したユーザーと、離脱しそうなユーザーに共通するのが「ゲームへのアクセス回数の減少」だ。中村氏は今回、1週間（7日間）のうち、アクセスが3日以下のユーザーを予測対象とした。

　また、モデル構築の前に予測精度を決める必要があった。サービスによって求められる予測精度は大きく異なる。人命に関わるようなサービスでは予測精度は限りなく100％に近づける必要があるが、50％程度の精度でいいサービスもある。今回は最低目標80％、希望目標を90％とした。「具体的な根拠はないが、やみくもなアプローチにならないためには、80％は必要だろうと判断した」（中村氏）という。

離脱予測システムの作成手順（出典：カプコンのAWS Summit講演資料）

　作業手順は「モデル構築」と「推論がしやすいインフラの構築」「ユーザーのプレイログ抽出」とした。分析に必要なユーザーの行動データは、アクセスログやゲーム内アイテムの取得履歴、アイテム使用履歴、アイテム所持状況、どのようなゲーム内クエストをクリアしたかの履歴などだ。それらのデータを加工して、ユーザーIDごとのアクセス回数やアイテム取得数などの形式のデータを生成し、学習しやすい形にした。

　元データの準備が完了したら、それを離脱ユーザーの定義に従ってデータ加工し、フラグを立てる。不要なデータは削除し、加工したデータに対してモデルの学習を実施した。

　データが整えば、それをもとに分析モデルを構築する。今回は「2値分類」という手法を採用した。離脱フラグを「1＝続けている」と「0＝やめそう」の2種類に分けて、加工したユーザーの過去データと、そのユーザーが離脱したと判定する「離脱フラグ」を比較しながら、新たに加えたデータの離脱フラグを分類する。

モデル構築の概要（出典：カプコンのAWS Summit講演資料）

　モデルの学習にはAmazon SageMakerを使用した。モデル学習後に、作成したデータの一部と予測した内容で「答え合わせ」をして、80％以上であればデータが完成とし、80％に達していなければデータ作成からやり直しとなる。

　具体的なインフラの構成は次のようになる。データマートから取り出したデータを「Amazon S3」に格納し、データ統合サービス「AWS Glue」で加工してクエリサービス「Amazon Athena」で利用できる状態で準備する。一方、分析モデルはプログラムをコンテナ化して、マネージド型コンテナレジストリ「Amazon Elastic Container Registry」に保存する。両者がそろったところでAmazon SageMakerで学習していく。学習結果は、再びAmazon S3に保存する。

離脱予測システムのインフラ構成図（出典：カプコンのAWS Summit講演資料）

たった3行のコードで予測を実行

　このモデルを使って2020年6月2～8日のデータを利用し、同月9～15日（7日間）の離脱ユーザーを予測した。

　アルゴリズムは、表データの分析に特化した「AutoGluon-Tabular」を使用した。AutoGluonは、特徴量の最適化やモデルの選定など、分析に必要な作業を全て自動化するAutoMLツールキットである。「手間のかかる作業を全て自動化してくれるので、機械学習の深い知識がなくても、素早く試すことができました」（中村氏）

　学習、推論、データの精度確認の全作業は「たった3行のコードで一気に実施できました」（中村氏）という。「あとはAutoGluonがなんとかしてくれる」という状況で、人間は必要なデータの準備と加工に専念できた。

　このプロセスで実施した推論の結果、予測精度は94％を達成した。中村氏はこの結果について「予測精度としては十分に高い」と評価する。

「アプデ前後」の離脱予測にも適用

　モデルの精度は高かったが、ここで問題が発覚した。運営ゲームは毎月のバージョンアップやイベントの実施、コンテンツの追加など環境の変化が大きい。これに耐えなければ、予測には使えない。

　そこで、過去に実施したバージョン1.0から2.0への変更の前後で、モデルの精度に変化があるのかを確認した。その結果、推論精度は83％まで下がった。次にバージョン2.0のデータで改めて学習してみると、精度は92％に向上した。

　「バージョンごとに学習し直せば、精度は維持できることが分かりました」（中村氏）

　ただ、この方法だと、バージョンの切り替わりのタイミングで、予測ができない空白期間が生じる。手動運用によるカバーでは使い勝手が悪いため、一貫して利用できるシステムが必要だ。そこで「バージョンをまたいだ7日間のデータ」によって学習したモデルで推論をさせると、推論精度は90％を維持できていた。バージョンが切り替わっても、過去7日間のデータを使った学習を繰り返せば離脱予測の精度を維持できることが確認できた。

　「今回作った離脱予測システムが『十分使える』と確認できました。次は、やめそうなユーザーに対してどのようなアプローチをするかです。それを決める手がかりとして、モデルが離脱ユーザーの特徴として重視している項目を知ることが参考になります」（中村氏）

　これは「特徴量重要度」「SHAP値」などと呼ばれる。ユーザーのふるまいのうち、どこが離脱の要因になるかが分かれば、それを改善する施策が打てる。中村氏のチームでは、こうした観点でさらに分析を進めている。

　中村氏は、「このシステムは、離脱予測以外にも、高ランクプレイヤーになることを予測するモデルなど、さまざまなユーザーの分類に利用できます。その結果、ゲームコンテンツの改善にも役立てると思っています」と語り、「モンハン」の今後にも自信を見せた。