AI開発者「知らぬ間にデータが盗まれました」 このファイルにはご用心：750th Lap

ここ数年でAI技術は著しく発展している。新たなアルゴリズムや手法が次々と登場し、エンジニアや研究者はその動向を追い続けている。その裏で、データを盗み取ろうとする厄介な脅威が発見された。

[キーマンズネット]

　AIモデルの開発現場では技術の追及のみならず、セキュリティリスクも配慮しなければならないのは言うまでもない。多くの企業やエンジニアが競争するように開発を進めているからこそ、セキュリティリスクは極力排除したものだ。

　AIモデルの開発に携わる企業やエンジニアにとって大きな脅威が確認され、今、問題になっている。このファイルを見つけたら、注意が必要だ。

　セキュリティ対策企業のJFrogは「Hugging Face」に怪しいリソースが含まれていることを明らかにした。同社は2024年2月27日に同社のブログでその件に触れ、AIモデル開発に携わる人々に警戒するよう呼びかけた。

　Hugging Faceとは自然言語処理や機械学習の開発で広く利用されているオープンプラットフォームだ。分かりやすく言えば、AI開発における「GitHub」のようなものだ。そこではさまざまなツールやデータモデルなどが提供されていて、AIモデル開発に欠かせない存在だ。

　Hugging Faceで公開されているAIモデルのファイル形式には幾つかある。その一つである「pickle」形式のAIモデルに「バックドア」の役目を果たす悪意のあるコードが含まれていたことが確認された。ロードすると任意のコードが自動的に実行され、マシンのシステムが遠隔操作で制御可能になり、第三者がシステム内部の情報を窃取することが可能になるという。AIモデルの開発を手掛ける企業がこの被害に遭えば、大きな損害を生みかねない。

　JFrogによれば「pickle」意外にも「dill」や「joblib」「Numpy」「TorchScript」「H5 / HDF5」「ONNX」「POJO」「MOJO」といったファイル形式を実行することで、悪意あるコードが実行される場合があるという。

　対策として、Hugging Faceは安全性の高い「SafeTensors」というファイル形式を独自で開発した他、公開されているリソースをスキャンして悪意あるコードが埋め込まれていないかどうかもチェックしているという。問題があればユーザーおよびモデレーターに警告している。

　ただし、あくまでも警告であって、対象のリソースの提供を止めるわけではない。そこでJFrogのセキュリティリサーチチームは、Hugging Faceにアップロードされた全てのAIモデルを検索し、スキャンできる環境を開発した。既に約100件のAIモデルが「怪しい」と判断されたという。人気のあるPyTorchモデルやTensorflow Kerasモデルは悪意のあるコードが含まれる可能性が高いようだ。同社のセキュリティ製品「JFrog Advanced Security」の導入および、同社のセキュリティリサーチチームが発信する最新情報をチェックすることを推奨している。

　AIモデルの開発を手掛ける企業やエンジニアにとって、大きなリスクとなることは間違いないだろう。今後のためにも十分な対策を取る必要がありそうだ。

上司X：　Hugging Faceで提供されているAIモデルにバックドアのコードを含んだものがあるから注意してね、という話だよ。

ブラックピット：　AIモデルの開発には欠かせないというアレですね。

上司X：　オープンプラットフォームとして「AIの民主化」を実現するHugging Faceは、2023年ぐらいから注目されるようになってきた。いろんなAPIライブラリやらデータセットやら、サックリ使えるAIモデルもあって、その筋の人にはとても便利だそうだ。

ブラックピット：　らしいですね。僕は使ったことありませんが。

上司X：　俺もだ。俺たちはともかくとしてだ、GoogleやNVIDIAなんかが提携する、ってことは、まあそういうことだ。

ブラックピット：　「そういうこと」って何ですか。要はAI技術に大きな影響力の2社が提携するほど重要なプラットフォームになっている、ということですね。

上司X：　察してくれてうれしいよ。ともかく、そうしたイイ感じのプラットフォームだから、今回みたいなセキュリティの問題が明るみに出るとちょっと不安になるよね。

ブラックピット：　悪意ある攻撃者は、AI開発に関わるアレコレだけでなく、きっとそういう企業のいろんな情報にも興味を持っているでしょうからね。開発も重要でしょうけど、防衛も欠かせなくなりますね。

上司X：　そういうことだろうな。便利な環境なだけに、使わないって選択もないだろうしな。まずは自衛しながらさらなるHugging Face活用を模索していくしかないだろうな。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。