AI用データパイプライン構築術：エッジ、コア、クラウドでI/Oを高速化するには

要約

　自動車業界や小売業界を筆頭に、いまやあらゆる企業が、AIを活用しようと躍起になっている。しかし、いざ運用準備に取り掛かると、複数のデータリポジトリ間でのデータ移動やコピーが難しかったり、大規模かつ動的なデータセット全体での高いパフォーマンスと保護を実現できなかったりと、データ管理に起因する問題に直面する企業は少なくない。

　その原因の1つに、IoTセンサーやPOSデバイスからのデータ収集とエッジ分析、前処理、トレーニング、導入、アーカイブという一連のデータパイプラインが整備できていないことがある。中でもボトルネックになるのがコア部分に当たる、データ準備／トレーニング／導入のフェーズで、それぞれに固有のI/O要件に対処する必要がある。

　例えばエッジではデータ管理の階層化、トレーニングではストリーミングの迅速化、導入では推論モデルをDevOps型のリポジトリに格納する際のレイテンシなどが課題となるが、いずれでも重要な役割を果たすのがストレージの性能だ。オンプレミスもしくはクラウドでのAI／ディープラーニングパイプラインを構築するヒントを、本資料で探っていこう。