NEUROGICA
← テックブログ一覧TECH BLOG
テックブログ

LLMは時系列予測ができるのか

開発部 長嶋隼矢

「時系列予測なんて、いまのAIでできるのでは」

そう思う人もいるかもしれない。実際、LLMに時系列を予測させる研究は2023年から2024年にかけて、AI分野のトップカンファレンス（NeurIPS・ICML・ICLR・AAAI）に相次いで採択された。2024年のICMLでは「LLMは時系列分析の中心的な役割を担い得る」と論じるポジションペーパー [13] まで登場している。

私は時系列予測を専門にしている。結論から言うと、次の3点になる。

  • LLMは時系列予測が「できる」。 ゼロショットでそれなりに当たる。この主張は正しかった [1]
  • ただし、予測器としての強みは薄い。 LLM部分を丸ごと引き剥がしても精度が落ちないことが、NeurIPS 2024の研究で示されている [8]
  • LLMの役割は予測器そのものではない。 予測の本命は時系列専用の基盤モデルと、その先にある視覚・世界モデル系だと考えている

補足しておくと、この問いは2024年に決着したわけではない。火をつけたのは2023年のLLMTime [1] で、NeurIPS 2024ではその前提そのものを疑う反証 [8] が出た。だが問いが閉じたのではなく、争点が移っただけだ。2025年のVisionTS [12] は、言語を一切経由せず、画像で事前学習したモデルに時系列を予測させて成果を出している。「大規模事前学習は時系列に効くのか」ではなく「どのモダリティの事前学習が効くのか」。2026年のいま開いているのは、こちらの問いだと考える。

以下、論文が示した事実と私の意見を、なるべく分けて書く。

「LLMで時系列予測」には3つの系譜がある

ひとくちにLLM×時系列と言っても、論文は大きく3つに分かれる。ここを混同した解説が少なくないので、まず整理したい。

1つ目は、凍結したLLMにそのまま予測させる系譜。代表はNeurIPS 2023のLLMTime [1] で、GPT-3やLLaMA-2に数値列を文字列として与えて続きを生成させるだけで、一部のベンチマークでは学習済みの専用モデルに匹敵するゼロショット予測ができると報告した。天気や電力消費の予測を自然文の質問に変換して解かせるPromptCast [2]（IEEE TKDE 2024）もこの仲間だ。

2つ目は、事前学習済みLLMの重みを固定したまま時系列に転用する系譜。NeurIPS 2023のOne Fits All [3] は、GPT-2の自己注意層とフィードフォワード層の重みを固定し、埋め込み層・正規化層・出力層だけを時系列用に学習し直して、予測・分類・異常検知・補完まで幅広いタスクで良好な結果を主張した。著者らはこれをFrozen Pretrained Transformer（FPT）と呼んでいる。ICLR 2024のTime-LLM [4] も重みを固定したLLMを使い、時系列をパッチに切って、それをテキストの埋め込み表現に変換してから読ませる。どちらも、LLM本体は書き換えずに入口と出口だけを付け替える発想だ。

3つ目は、LLMの「作り方」だけを借りる系譜。GoogleのTimesFM [5]（ICML 2024）、AmazonのChronos [6]（TMLR 2024）、SalesforceのMoirai [7]（ICML 2024）といった時系列基盤モデルだ。誤解されがちだが、これらはLLMではない。言語の重みも語彙も一切使わず、大量の時系列データでゼロから事前学習した専用モデルであり、借りているのは「大規模事前学習＋Transformer系アーキテクチャ」というレシピだけである。「LLMで時系列予測はできるのか」を論じるとき、この3つ目を混ぜてはいけない。

トークナイザの話が面白い

LLMTimeの論文で面白いのは、予測性能そのものよりトークン化の分析だ [1]。GPT-3系のBPEトークナイザは、数値を桁の構造とは無関係な塊に切ってしまう。同じような数列でも、どこで区切られるかは、トークナイザが持つ語彙（登録済みトークンの一覧）の都合で変わる。位取りとトークンの区切りが一致しないまま「次のトークン当てゲーム」をさせられているわけで、著者らは数字の間にスペースを挟んで強制的に1桁ずつ切らせる前処理でこれを回避した。一方、LLaMAのトークナイザはもともと数字を1桁ずつ分割するため、この問題が起きにくい。

つまり「LLMが数列を扱えるか」は、モデルの性能以前に、トークナイザの設計でかなり決まってしまう。この観察を割り切りまで突き詰めたのがChronosだ [6]。実数をスケーリングして固定個数のビンに量子化し、いわば「時系列専用の語彙」を定義した上で、T5系のアーキテクチャ（20Mから710Mパラメータ）をゼロから学習する。言語モデルの形式は借りるが、言語そのものは捨てる。系譜3の思想を端的に表した設計だと思う。

Chronosの概要図。時系列をスケーリングと量子化でトークン列に変換し、言語モデルと同じ枠組みで学習・推論する

図: Chronosの全体像。実数の時系列をスケーリングと量子化で「時系列専用の語彙」に写し、言語モデルと同じ次トークン予測として学習・推論する（Ansari et al. [6], Figure 1より引用）

反証：LLM部分を外しても、精度が落ちない

この分野の空気を変えたのが、NeurIPS 2024のTanらの論文 [8] である。タイトルは率直で、「Are Language Models Actually Useful for Time Series Forecasting?（言語モデルは本当に時系列予測の役に立っているのか）」。Time-LLMやOne Fits Allを含む代表的手法に対して、肝心のLLM部分を丸ごと取り除く、単純なアテンション1層に置き換える、といったアブレーションを行ったところ、ほとんどの設定で予測精度は落ちなかった。むしろ改善する場合すらあった。それでいて、LLMを載せた構成は計算コストが桁違いに大きい。言語事前学習の恩恵が本当に予測に効いているなら、外せば壊れるはずだ。だが、壊れなかった。

Tanらが比較に用いた単純なベースラインの構成図。パッチ化、射影、アテンション1層のみ

図: Tanらが比較に用いた単純なベースライン。パッチ化と射影とアテンション1層だけの構成で、LLMを載せた手法と同等以上の精度が出る（Tan et al. [8] より引用）

似た構図は前にもあった。AAAI 2023でZengらは、当時続々と提案されていたTransformer系の時系列モデルの多くが、線形1層のモデル（DLinear）に負けることを示した [9]。あのときの教訓は「Transformerが駄目」ではなかった。時系列をパッチ単位で切り直したPatchTST [10]（ICLR 2023）や、アテンションを時間方向から変量方向へ向け直したiTransformer [11]（ICLR 2024）が、使い方を正せばTransformerは時系列で機能することを示した。道具ではなく、道具の当て方が問われていた。ただし、LLMによる時系列予測が同じ道をたどれるかは分からない。PatchTSTやiTransformerには「時系列の構造に合わせて設計を直す」という処方箋があった。Tanらの結果 [8] が突きつけたのは、接続の工夫以前に、言語での事前学習そのものが予測に寄与していない可能性だと考えている。

引っかかっている点（ここからは私見）

3点にまとめる。

第一に、モダリティの不一致。言語トークンは離散的で、意味の単位として設計されている。時系列は連続値で、周期・トレンド・ノイズという別の構造を持つ。桁の算術ですらトークン設計に振り回されるのに、30分粒度の電力需要をBPEに通す必然性が見当たらない。

第二に、計算量が割に合わない。TimesFMは200Mパラメータで、7B級のLLMより1桁以上小さい [5]。そして実務の時系列予測は推論回数が多い。数万系列を毎時回すような現場で、精度が同等かそれ以下のものに数十倍の推論コストを払う理由はない。

第三に、転移の中身を誰も示せていない。「言語で学んだ世界知識が時系列に効く」と主張するなら、その効き方が計測できるはずだ。Tanらの結果 [8] は、少なくとも現在の接続方法では、意味のある転移が起きていないことを強く示唆している。

では、LLMは時系列に無用なのか

そうは思わない。予測器として使うことに無理があるだけで、役割は別にあると考えている。可能性を感じている方向は2つある。

1つ目は、エージェンティックな使い方だと考えている。時系列予測そのものは特化モデルが担い、LLMはそれをツールとして呼び出す。「来週の需要を予測して、キャンペーンの影響を加味して発注案を出す」という仕事なら、数値予測は特化モデルへのツール呼び出しで済ませ、イベント情報の構造化や結果の説明をLLMが受け持つ。予測モデルをMCPサーバーとしてエージェントに接続する構成も既に現実的になっており、この形は今後ますます重要になると考えている。

2つ目は、視覚と世界モデルの経路だと考えている。ICML 2025のVisionTS [12] は、画像で事前学習したMasked Autoencoderに、時系列をグレースケール画像として描き直して与えるだけで、時系列データでの追加学習なしに強力なゼロショット予測ができることを示した。

VisionTSのアーキテクチャ図。時系列を周期で分割して画像として描画し、Visual MAEのパッチ復元として予測する

図: VisionTSの仕組み。時系列を周期ごとに切ってグレースケール画像として描き、画像の欠けたパッチを復元する問題として予測する（Chen et al. [12], Figure 3より引用）

連続値で時間発展する対象を扱うという意味では、動画基盤モデルや世界モデルの方が時系列に構造が近い。そうした世界の状態変化を学ぶモデルの延長線上に時系列予測が吸収されていく未来は、LLMに数字を読ませる未来よりも、よほどありうると思っている。

まとめ

「LLMは時系列予測ができるのか」。私の答えは「できる。ただし、予測器としてあえて選ぶ理由は特にない」だ。ゼロショットでそれなりに動くという報告 [1] は正しかったが、同等以上の精度は1桁以上小さい特化基盤モデルで出せるし、LLM部分を外しても壊れないことがアブレーションで示されている [8]。LLMには、特化モデルをツールとして呼び出し、文脈の解釈と説明を受け持つ役割があり、予測の本命は時系列専用の基盤モデルと、その先にある視覚・世界モデル系だと考えている。

ニューロジカは特化モデル側に張っている。不規則サンプリングや欠損だらけの「現場の時系列」に向けた基盤モデルを開発しており、公開に向けて準備を進めている。

参考文献

  1. N. Gruver, M. Finzi, S. Qiu, A. G. Wilson, "Large Language Models Are Zero-Shot Time Series Forecasters," NeurIPS 2023. arXiv:2310.07820
  2. H. Xue, F. D. Salim, "PromptCast: A New Prompt-Based Learning Paradigm for Time Series Forecasting," IEEE Transactions on Knowledge and Data Engineering, vol. 36, no. 11, pp. 6851-6864, 2024. arXiv:2210.08964
  3. T. Zhou, P. Niu, X. Wang, L. Sun, R. Jin, "One Fits All: Power General Time Series Analysis by Pretrained LM," NeurIPS 2023. arXiv:2302.11939
  4. M. Jin et al., "Time-LLM: Time Series Forecasting by Reprogramming Large Language Models," ICLR 2024. arXiv:2310.01728
  5. A. Das, W. Kong, R. Sen, Y. Zhou, "A decoder-only foundation model for time-series forecasting," ICML 2024. arXiv:2310.10688
  6. A. F. Ansari et al., "Chronos: Learning the Language of Time Series," Transactions on Machine Learning Research (TMLR), 2024. OpenReview
  7. G. Woo et al., "Unified Training of Universal Time Series Forecasting Transformers," ICML 2024. arXiv:2402.02592
  8. M. Tan, M. A. Merrill, V. Gupta, T. Althoff, T. Hartvigsen, "Are Language Models Actually Useful for Time Series Forecasting?," NeurIPS 2024. arXiv:2406.16964
  9. A. Zeng, M. Chen, L. Zhang, Q. Xu, "Are Transformers Effective for Time Series Forecasting?," AAAI 2023. arXiv:2205.13504
  10. Y. Nie, N. H. Nguyen, P. Sinthong, J. Kalagnanam, "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers," ICLR 2023. arXiv:2211.14730
  11. Y. Liu et al., "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting," ICLR 2024. arXiv:2310.06625
  12. M. Chen et al., "VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters," ICML 2025. arXiv:2408.17253
  13. M. Jin et al., "Position: What Can Large Language Models Tell Us about Time Series Analysis," ICML 2024. arXiv:2402.02713