ジョージ・ワシントン大学の研究者は、AIチャットボットが不適切な応答へ転じるまでの良質なトークン数を推定する数式を示しました。6つの小規模モデルによる初期検証では、16事例中15事例を即時または遅延に分類しています。会話の文脈とモデル内部の働きが応答の転換にどう関わるかを説明し、端末上で動くAIを対象にした安全監視の提案も示しています。
- ジョージ・ワシントン大学が転換点nの数式を提示
- 6つのオープンウェイトモデルで仕組みを初期検証
- 16事例中15事例で即時／遅延の応答を分類
- 300トークンで検証、並行モニターを提案
良質トークン数で示す応答の転換点
ジョージ・ワシントン大学の物理学者Neil Johnson氏とFrank Yingjie Huo氏は、AIチャットボットが最初の不適切な出力へ転じるまでに、どれだけの良質なトークンを生成するかを推定する数式を示しました。トークンは、AIモデルが文章を生成する際の細かな単位です。研究はPatterns誌に掲載され、2月に公開されたプレプリントを基にしています。
数式が扱う転換点nは、最初の不適切なトークンの前に出力される良質なトークンの数です。会話の文脈がすでに不適切な側へ傾いていればnは0となり、モデルはすぐに転じます。一方で文脈が適切な側へ傾いている場合は、妥当な応答を続けた後に不適切な出力へ移ると説明されています。
会話文脈とアテンションヘッドの働き
著者らは、この転換をアテンションヘッドの働きから説明しています。アテンションヘッドとは、次に語を生成する際に、会話中のどの語を重視するかを決めるモデル内部の部分です。会話が長くなるにつれて蓄積された文脈が、注意を複数の回答候補のいずれかへ引き寄せ、ある時点で傾きが転じるという仕組みです。
著者らは、入力の工夫で安全上の制約を回避しようとするジェイルブレイクの多くも、このような傾きに関わるパターンを利用すると位置づけています。システムプロンプトは、利用者の入力より前にモデルへ与える指示文であり、会話の出発点を整える役割を持ちます。
小規模モデルの検証とオフライン監視の提案
プレプリントでの検証では、数式は明確に区別できる16事例のうち15事例で、モデルが直ちに転じるか、一定の応答後に転じるかを正しく予測しました。検証には、ファイルを公開してダウンロード・実行できる6つのオープンウェイトモデルを使用し、規模は1億2400万〜4億1000万パラメータでした。パラメータは、モデル内部で調整される数値です。
ただし、この検証は300トークン、数段落程度の会話範囲で行われ、予測が出力1回分ずれる場合もありました。この結果は、より大規模なモデルや長い会話での精度を直接示すものではありません。
著者らは、スマートフォンやPC上でネット接続なしに動くオンデバイスAIでは、クラウド側の出力確認を利用できない場合があると指摘しています。そのため、安全しきい値を下回った転換点の推定値n*を検出した際に警告する、低コストの並行モニターを提案しています。
