なぜNTTは「小型LLM」にこだわるのか 国産AI「tsuzumi 2」に込めた狙い
図2：トークナイザの分割例と各LLMの比較。日本語の文法を考慮した分割により、tsuzumiはより少ないトークンでテキストを生成できる（出典：西田氏の講演資料）
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。