LLMの運用では、トークンの消費量が利用料金や推論速度に影響する。同じ文字列をより少ないトークン数で表現できれば、学習や生成に必要な計算コストを抑えやすい。そこでNTTは、tsuzumi 2のトークナイザを独自に設計している。

　海外製LLMのトークナイザでは、日本語として不自然な分割になることがある。これに対してNTTは、長年取り組んできた形態素解析の知見を生かし、日本語の文法や辞書的な要素を組み込んだ。

　「1トークン当たりの文字数が多いほど、少ないトークン数で多くのテキストを生成できます。つまり、コストに跳ね返るトークンの消費量を効果的に抑えられるということです」（西田氏）

画像をご覧いただくには会員登録が必要です

会員登録・ログイン

図2：トークナイザの分割例と各LLMの比較。日本語の文法を考慮した分割により、tsuzumiはより少ないトークンでテキストを生成できる（出典：西田氏の講演資料）

　社内文書の検索や要約、問い合わせ対応、議事録作成など、日本語で処理する業務は多い。トークン効率は、こうした用途におけるコストや応答速度にも関わる。

「指示に従えるLLM」にするための学習設計

　モデルの性能を左右する事前学習の段階でも、NTTはデータ管理を重視している。tsuzumi 2では10T（テラ）トークン規模のコーパスを学習させたという。その結果、事後学習後の指示遂行能力を測るベンチマーク「M-ifeval」において、日本語の指示に対して高いスコアを獲得した。

　NTTはニュースリリースの文章改善タスクを使い、tsuzumi 2と他社モデルの比較検証もした。プロンプトでは「改善点については階層的なリスト形式で説明してください」と指定したが、比較対象のモデルは表形式で出力したという。一方、tsuzumi 2は指示通りにリスト形式で出力し、原文が伝えたい内容を維持しながら、日本語としてより分かりやすい文章へ修正した。

画像をご覧いただくには会員登録が必要です

会員登録・ログイン

図3：ニュースリリース文章の改善タスクの応答比較。tsuzumi 2は複雑な指示に従い、リスト形式で整理しながら、原文の意図を維持しつつ文章を修正した（出典：西田氏の講演資料）

　企業がLLMを業務に組み込む場合、自然な文章を生成できるだけでは足りない。指定した形式を守る、不要な情報を加えない、原文の意図を維持する。こうした指示遂行能力が、実務での使いやすさを左右する。

LLM開発を支えたAWSのGPU環境

　LLMの研究開発には膨大な計算資源が必要になる。NTTはtsuzumiの開発初期からアマゾン ウェブ サービス ジャパン（以下、AWS Japan）の支援プログラムを活用し、コスト面や技術面のサポートを受けてきた。

　2023年のLLM開発支援プログラムでは、大規模AIモデルの学習に使われるNVIDIAの高性能GPUである「H100 GPU」を搭載したクラスタを調達した。ただし、最新のGPUを導入しても、すぐに安定して大規模学習を始められるわけではない。NTTでは、H100 GPUクラスタを利用しようとした際、期待したネットワーク性能を発揮できなかった。

　AWS Japanのスペシャリストチームが学習ライブラリの動作検証などを実施した結果、原因はデバイスドライバに起因する問題だと分かった。

　「ユーザー側では気付きにくい、あるいは対応が難しいような問題も、AWSのサポートを受けて解決し、伴走する形で進められました」と西田氏は振り返る。

　2025年には、「AWS生成AI実用化推進プログラム」のモデルカスタマイズコースを利用し、事後学習の環境を強化した。教師データを使ってモデルを調整する教師ありファインチューニング（SFT）や、アラインメントモデルの学習では、改善サイクルを何度も回す必要がある。長期間にわたり安定して計算を継続できる環境として、NTTは大規模AIモデルの学習に特化した「Amazon SageMaker HyperPod」を導入した。

　「そもそもジョブが異常終了する回数を減らす工夫が必要ですが、もし落ちてしまったとしても、HyperPodには迅速に復旧するための仕組みが備わっています。LLMの開発はどうしても高コストになってしまうため、こうした環境を活用して安定した学習を実現することが大変重要です」

画像をご覧いただくには会員登録が必要です

会員登録・ログイン

図4：AWSを活用した事後学習の環境構築。Amazon SageMaker HyperPodにより安定した学習を実現した（出典：西田氏の講演資料）

NTTが見据える「人と協調するAI」

　NTTがLLMの開発を通じて目指すのは、あらゆる環境で人と自然に共生可能な汎用（はんよう）AIの思考エンジンを作り、人々のウェルビーイングを実現することだという。AIエージェントやフィジカルAIの進化によって、コンピュータ上の共同作業者にとどまらず、人と協調して動くソフトウェアやロボットへの応用も視野に入る。

　技術性能の向上に加え、社会で継続的に活用されるAIをどう実現するかも重要になる。この点について、西田氏は「まずは社会に自然に受け入れられるAIを作らなければなりません。さらに、人と共に日々成長していくこともポイントであり、それをいかに実現するかが私たちの重要な研究テーマです」と説明する。

　社会に受け入れられるAIの実現に向けて、NTTはLLMにテキスト処理だけでなく、画像や動画、音声、触覚などを統合し、外部環境に働きかけ、その反応を次の行動に生かすフィードバックループ（Agentic Loop）の構築を進めている。PDFなどの文書を画像のまま検索、理解して応答するモデル「VDocRAG」も、その研究成果の一つだ。

画像をご覧いただくには会員登録が必要です

会員登録・ログイン

図5：社会に自然に受け入れられるためのAgentic Loop。LLMを中心にさまざまな知覚と行動を統合する（出典：西田氏の講演資料）

　人との自然な共生を実現するには、LLMが相手の意図や感情をどこまでくみ取れるかも課題になる。NTTは、会話履歴から相手の気持ちをLLMがどれだけ正確に推測できるかを評価するベンチマーク「ToMATO」を開発した。このベンチマークを用いた検証では、LLMの理解力はまだ人の水準に達していないことが分かった。そのため、今後は計算機科学だけでなく認知科学のアプローチも取り入れ、より自然な対話を行えるよう研究を進めていくという。

AIを継続的に成長させるには何が必要か

　もう一つの重要テーマが、「人と共に日々成長するAI」だ。刻々と変化する環境にAIを適応させるには、AIが参照する外部知識を常に最新に保ち、出力結果を評価して次の処理に生かす仕組み「ループエンジニアリング」が必要になる。一方で、変化のたびにLLM本体のモデルパラメータを更新していたのでは、膨大な時間と計算コストがかかる。

　NTTはその解決策として、異なるモデル間で再利用可能な報酬モデルのチューニング手法「Portable Reward Tuning」を考案した。この手法を使うことで、モデルのバージョンアップ時にも過去のチューニング成果を効率的に再利用できるようになるという。

画像をご覧いただくには会員登録が必要です

会員登録・ログイン

図6：Portable Reward Tuning。基盤モデルをバージョンアップした際も、過去に学習した報酬モデルを追加学習なしで再利用できる（出典：西田氏の講演資料）

　LLMのアーキテクチャそのものの改善にも取り組んでいる。例えば、文章中の単語の順序を認識する仕組みに独自の数学的アプローチ「ウェーブレット位置符号化」を導入し、短いテキストで低コストに学習させたモデルでも、実際の利用時には長いテキストを処理、生成できるようにする研究を進めている。

　NTTは、認知科学の知見からモデルアーキテクチャの改善、開発基盤の整備に至るまで、多角的なアプローチでLLMの研究開発を進めている。その根底にあるのは、独自の国産モデルによってソブリン性を確保しつつ、企業が実際に使いやすいAIを提供しようとする方針だ。

　「日本の産業を支えるソブリンAIとして、今後もAWSのサービスも活用しながらtsuzumiの研究開発を進めていきます。社会に受け入れられ、人と共に成長するAIの実現を目指して挑戦を続けます」