セキュリティ対策企業のJFrogは「Hugging Face」に怪しいリソースが含まれていることを明らかにした。同社は2024年2月27日に同社のブログでその件に触れ、AIモデル開発に携わる人々に警戒するよう呼びかけた。

　Hugging Faceとは自然言語処理や機械学習の開発で広く利用されているオープンプラットフォームだ。分かりやすく言えば、AI開発における「GitHub」のようなものだ。そこではさまざまなツールやデータモデルなどが提供されていて、AIモデル開発に欠かせない存在だ。

　Hugging Faceで公開されているAIモデルのファイル形式には幾つかある。その一つである「pickle」形式のAIモデルに「バックドア」の役目を果たす悪意のあるコードが含まれていたことが確認された。ロードすると任意のコードが自動的に実行され、マシンのシステムが遠隔操作で制御可能になり、第三者がシステム内部の情報を窃取することが可能になるという。AIモデルの開発を手掛ける企業がこの被害に遭えば、大きな損害を生みかねない。

　JFrogによれば「pickle」意外にも「dill」や「joblib」「Numpy」「TorchScript」「H5 / HDF5」「ONNX」「POJO」「MOJO」といったファイル形式を実行することで、悪意あるコードが実行される場合があるという。

　対策として、Hugging Faceは安全性の高い「SafeTensors」というファイル形式を独自で開発した他、公開されているリソースをスキャンして悪意あるコードが埋め込まれていないかどうかもチェックしているという。問題があればユーザーおよびモデレーターに警告している。

　ただし、あくまでも警告であって、対象のリソースの提供を止めるわけではない。そこでJFrogのセキュリティリサーチチームは、Hugging Faceにアップロードされた全てのAIモデルを検索し、スキャンできる環境を開発した。既に約100件のAIモデルが「怪しい」と判断されたという。人気のあるPyTorchモデルやTensorflow Kerasモデルは悪意のあるコードが含まれる可能性が高いようだ。同社のセキュリティ製品「JFrog Advanced Security」の導入および、同社のセキュリティリサーチチームが発信する最新情報をチェックすることを推奨している。

　AIモデルの開発を手掛ける企業やエンジニアにとって、大きなリスクとなることは間違いないだろう。今後のためにも十分な対策を取る必要がありそうだ。

上司X：　Hugging Faceで提供されているAIモデルにバックドアのコードを含んだものがあるから注意してね、という話だよ。

ブラックピット：　AIモデルの開発には欠かせないというアレですね。

上司X：　オープンプラットフォームとして「AIの民主化」を実現するHugging Faceは、2023年ぐらいから注目されるようになってきた。いろんなAPIライブラリやらデータセットやら、サックリ使えるAIモデルもあって、その筋の人にはとても便利だそうだ。

ブラックピット：　らしいですね。僕は使ったことありませんが。

上司X：　俺もだ。俺たちはともかくとしてだ、GoogleやNVIDIAなんかが提携する、ってことは、まあそういうことだ。

ブラックピット：　「そういうこと」って何ですか。要はAI技術に大きな影響力の2社が提携するほど重要なプラットフォームになっている、ということですね。

上司X：　察してくれてうれしいよ。ともかく、そうしたイイ感じのプラットフォームだから、今回みたいなセキュリティの問題が明るみに出るとちょっと不安になるよね。

ブラックピット：　悪意ある攻撃者は、AI開発に関わるアレコレだけでなく、きっとそういう企業のいろんな情報にも興味を持っているでしょうからね。開発も重要でしょうけど、防衛も欠かせなくなりますね。

上司X：　そういうことだろうな。便利な環境なだけに、使わないって選択もないだろうしな。まずは自衛しながらさらなるHugging Face活用を模索していくしかないだろうな。