技術記事
LLMは時系列予測ができるのか
「時系列予測なんて、いまのAIでできるのでは」。LLMで時系列を予測する研究は2023年から相次ぎ、2026年のいまも決着していない。できるのか、できないのか。時系列予測を専門とする立場から、論文が示した事実と筆者の意見を分けて書く。
→予測精度を1%上げると、いくらの価値があるのか
「MAEを5%改善しました」。それで、いくら得するのか。予測精度と金額の関係は1951年から研究されてきた。精度指標を下げることと、意思決定を良くすることは、そもそも別問題である。
→JEPXの価格を時系列基盤モデルで予測する：越えるべき壁は「昨日のコピー」だった（前編）
「電力価格の予測は、古典的な統計手法で十分なのでは」。欧州の先行研究はそう示唆する。JEPXのスポット価格10系列を1年分ゼロショットで評価すると、越えるべき壁は「昨日をコピーする」で、それを越えたのは時系列基盤モデルだけだった。欧州で標準とされるベンチマーク設計をそのまま輸入すると、結論を間違える。
→不規則時系列モデルの系譜：GRU-D・Neural ODE・mTANから最新まで
「欠損は埋めてからモデルに入れれば済むのでは」。そう思う人もいるかもしれない。不規則な観測を扱う研究は、GRU-D、Neural ODE、mTAN、ISTS-PLMと進むにつれて、欠損をどう埋めるかではなく、不規則な時間をモデルの中でどう表現するかを問うようになった。その流れを整理する。
→等間隔でないデータはなぜ普通のモデルで予測できないのか
「間隔がバラバラなデータなら、resample で等間隔にしてからモデルに入れればいい」。この考えは半分正しい。普通のモデルは不規則時系列をそのまま扱えないので、等間隔化しないと精度は出ない。だが等間隔化したデータで測った精度には、いつ測ったかという情報が入っていない。その歪みは精度の数字には出ない。合成データと PhysioNet の集計で確かめる。
→電力需要をProphetと時系列基盤モデルで予測する：効いたのはモデルではなく気温だった
「需要予測はProphetで十分では」。そう思う人もいるかもしれない。東電エリアの日次最大電力9年分で検証すると、Prophetは7日前の値をコピーするだけの予測に有意な差をつけられなかった。効いたのはモデルの違いではなく、気温をどう与えるかである。
→時系列予測の第一歩？ OLTPとOLAP
本番DBに集計クエリを投げると、CPUとディスクが通常のリクエストと取り合いになる。分析用のDBをどう選び、そこへどうデータを運ぶか。同期方式4種類と保存先4種類を整理し、1,168万行の同じクエリを5つの構成で実測する。
→SLAM DUNKは公開日より発表日に読まれた：ブームの4つの型をWikipedia閲覧数で測る
映画『THE FIRST SLAM DUNK』の公開日、日本語版Wikipediaの「SLAM DUNK」は平常時の7.9倍読まれた。映画化が発表された日は21.8倍だった。訃報・作品・流行語・平成リバイバルなど36項目の日次閲覧数で盛り上がり方の形を測ると、4つの型に分かれる。ピークの到来は前日までの閲覧数から読めないが、ピーク後の減り方は最初の7日でおおよそ読める。
→中国製オープンウェイトモデルに、自社サービスの脆弱性を探させた
国内の情報漏洩が相次ぐ中、攻撃者も入手できる中国製オープンウェイトモデルで、公開前の自社サービスを検証している。重みを入手して自社で動かす意義と、4モデル・各2回の結果を紹介する。正しい指摘はQwenとGLMが1件ずつだった。指摘の中身と修正の優先度、誤検出、報告を終えられなかった試行を振り返る。
→勉強会・サーベイ
最新の研究サーベイ・勉強会資料を公開しています。