数あるデータ分析基盤の中でGoogle Cloudと「BigQuery」を選んだ理由は、次の3つだ。

• 運用負荷の軽減：ストレージ最適化、パフォーマンス維持のチューニングが自動実行される
• コスト削減：comicoで実施していた日次でのバッチ処理は、BigQueryの従量課金モデルと相性が良かった
• パフォーマンス：BigQueryは数PB（ペタバイト）の処理であっても数秒から数分で結果を返すことができバッチ処理の高速化ができた

　「他にも、Google Cloudが統合するAIへの期待もあった。『BigQuery ML』や『Google Gemini』『Vertex AI』『Google Agentspace』などの多くのAIサービスがBigQueryに統合されている」（江頭氏）

　移行後は、データの集約先がクラウドストレージになり、BigQueryで処理し「Looker Studio」で可視化するようになった。

移行後のデータ分析基盤の構成（「Google Cloud Next Tokyo」で撮影）

　一方、データ抽出とスケジューラーにはGoogle Cloudのネイティブサービスを使用せず、既存のものを使い続けた。comicoのワークロードでは日次で数千件のバッチが稼働していたため、既存のOSSツールを選定した方がコストメリットにつながると考えたためだ。試算すると、年間で数百万円規模のコスト削減が見込めるという。

　結果的に、障害対応はゼロになり、コストは50％削減。日次のバッチ処理にかかる時間を80％削減できた。前日の売上データを朝に確認できるようになり、年単位の売上データの集計も1日かからずに終えられるようになったという。

移行プロジェクトの流れと技術的なポイント

　データ分析環境の移行は5ステップで実行した。1つ目は、現状を把握するための評価だ。データ量やデータの保存形式を確認し、HadoopとBigQueryの互換性を調査した。その上で安全かつ効率的なデータ転送の方法を検討したという。

　2つ目は設計だ。BigQueryの性能を最大限に発揮するための再設計をした。ファイル形式の変換や、仕様の違いを吸収するために関数の挙動を調整するなどの作業をした。

　3つ目はデータ転送だ。ネットワーク帯域の制限を考慮し、クラウドストレージに直接転送するのではなく、踏み台サーバを経由してクラウドストレージへ転送した。データの破損が起こらないように、データのパイプラインでリトライ処理を自動実行できるようにした。

　4つ目は検証だ。レコード件数やデータの一致状況を地道に検証していったという。最後に実際の業務で使っている代表的なクエリを実施し、Hadoop側での集計とBigQuery側での集計が一致するかを確認した。同一の値が返ってこない場合は、データパイプラインの見直しや個別の修正を続けた。

　5つ目は最適化だ。Looker Studioのダッシュボードで必要なスキーマを再定義し、ダッシュボードの表示速度を改善した。時間がかかるスキーマについては、BigQuery側であらかじめ集計しておくようにした。

データ分析基盤移行の要点（「Google Cloud Next Tokyo」で撮影）

　NHN ComicoとNHN テコラスは今後、生成AIを活用することで、これまで手作業だったデータのクレンジング作業の効率化や自然言語によるデータ分析などを目指す。