温度パラメータの迷宮──確率的出力が意味に与える影響

温度とは何か

大規模言語モデルのAPIにおける「温度」（temperature）パラメータは、次のトークンの確率分布をどの程度「平坦化」するかを制御する。温度0.0ではモデルは常に最も確率の高いトークンを選択し、出力は決定論的になる。温度1.0では確率分布がそのまま使用され、出力に多様性が生まれる。この仕組みはシンプルだが、実務での影響は複雑である。

Holtzman et al.（2020, “The Curious Case of Neural Text Degeneration”, ICLR 2020）の先駆的研究は、高温度設定が「退化した」テキスト（支離滅裂、繰り返し）を生む可能性を指摘した。しかし、この知見が発表された当時のモデルと現在のLLMでは規模も訓練手法も大きく異なる。

温度と事実性のパラドックス

直感的には「温度を0に設定すれば最も正確な回答が得られる」と考えがちだが、実際にはそう単純ではない。筆者らの実験では、ファクトチェック型の質問100問に対して温度0.0と0.5で回答を比較したところ、正答率にはわずか2%の差しかなかった。一方、回答の「読みやすさ」と「詳細度」は温度0.5の方が有意に高かった。

一方で、数学的推論タスクにおいては、Wei et al.（2023, “Chain-of-Thought Prompting”, NeurIPS 2023）が示したように、温度0.0が最も一貫した正答率を示す傾向がある。つまり、最適な温度設定はタスクの種類に依存し、一律の推奨値は存在しない。

実践的な指針

もっとも、温度パラメータに加えてtop_p（核サンプリング）やfrequency_penaltyなどの設定も出力に影響するため、温度だけを最適化しても十分ではない。実務的なアプローチとしては、まず温度0.3前後で事実性を確認し、創造的なタスクでは0.7〜0.9に引き上げるという段階的な調整が推奨される。確率的な出力をもつLLMを使いこなすためには、パラメータの相互作用を理解し、タスクごとの最適設定を経験的に見つけることが重要である。

サンプリング手法の相互作用

温度パラメータは単独で機能するわけではなく、他のサンプリング手法と複雑に相互作用する。top-p（核サンプリング）は、累積確率が一定値に達するまでの上位トークンのみを候補とする手法で、温度と組み合わせて使われることが多い。top-k は候補を上位k個に限定する。これらのパラメータを同時に調整すると、出力の多様性と一貫性のバランスが非線形に変化するため、経験的な調整が不可欠となる。

一方で、パラメータの過剰な調整はかえって予測不可能性を高める。多くの実務者が推奨するのは、まず温度以外のパラメータをデフォルト値に固定し、温度だけを段階的に変化させて挙動を観察するというアプローチである。変数を一度に一つずつ動かすことで、各パラメータの効果を切り分けられる。

決定論的出力の幻想

温度を0に設定すれば完全に決定論的な出力が得られる、という理解は厳密には正しくない。同じ温度0でも、GPUの浮動小数点演算の非決定性や、バッチ処理の順序、モデルのバージョン差によって、出力がわずかに揺れることがある。再現性を厳密に担保するには、シード値の固定など追加の対策が必要となる場合がある。

裏を返せば、この微妙な非決定性は、LLMを本番システムに組み込む際の隠れたリスクでもある。テスト環境で確認した出力が、本番環境で完全に再現される保証はない。温度パラメータの理解は、単なる「創造性の調整つまみ」を超えて、システムの信頼性設計にまで関わる問題である。バージョン更新に伴う出力変化については関連記事を参照されたい。