予測精度を1%上げると、いくらの価値があるのか
「MAEを5%改善しました」
「それで、いくら得するの？」
こう聞き返された経験のある人もいるかもしれない。この問いに答えられないまま終わる予測プロジェクトは少なくない。予測精度と金額のあいだには、直感より複雑な関係がある。そして幸いなことに、この関係は1951年から研究されている。
私は時系列予測を専門にしている。結論から言うと、次の3点になる。
- 予測精度の改善が価値になるかは、その予測が入る意思決定の構造で決まる。 同じ1%でも、意思決定の構造しだいで、金額はゼロにもなれば事業を左右する額にもなる
- 誤差指標を下げることと、意思決定を良くすることは別問題である。 平均誤差を最小にする予測が、最適な意思決定を導くとは限らない [3][4]
- だから予測精度は、金額に変換して初めて意味を持つ。 その変換式は業務ごとに書ける
以下、なぜそうなるのかを、論文が示した事実と私の意見を分けて書く。
出発点は1951年の在庫問題である
予測の価値を考えるときの原型は、newsvendor問題（新聞売り子問題）と呼ばれる。現代的な定式化は、Arrow、Harris、Marschakが1951年に経済学の主要学術誌Econometricaで示した [1]。
問題はこうだ。明日の需要がわからない状態で、今日の仕入れ量を決めなければならない。仕入れすぎれば売れ残りが損になり、少なすぎれば売り逃しが損になる。ここで重要なのは、この2つの損が同じ大きさとは限らないという点だ。
生鮮食品なら、売れ残りは廃棄コストとして確実に消える。一方で欠品は、その日の粗利を失うだけで済むかもしれない。逆に、病院の医薬品や電力の予備力なら、余らせるコストより足りないコストの方が桁違いに大きい。
このとき最適な発注量は、需要の平均ではない。過剰コストと不足コストの比から決まる分位点（分布の中で「下から何%」にあたる値）になる。不足のほうが痛ければ平均より多めに、過剰のほうが痛ければ平均より少なめに持つ。これは直感にも合うし、1951年の時点で数学的に示されている。
図1: 不足コスト400円/個（売り逃す粗利）に対し、過剰コスト100円/個（廃棄する原価）のとき、臨界比は 400 ÷ (400 + 100) = 0.8 となり、最適な発注量は平均の100個ではなく0.8分位点の119個になる（作図）
ここから、実務にとって重要な帰結が出てくる。平均を当てにいく予測は、そもそも最適な意思決定に対応していない可能性がある。 二乗誤差（RMSE）を最小にする予測は平均に、絶対誤差（MAE）を最小にする予測は中央値に近づいていく。どちらも、意思決定に必要な分位点を狙う訓練ではない。
誤差指標そのものにも落とし穴がある
金額の話に入る前に、精度指標の側にも問題があることに触れておきたい。
HyndmanとKoehlerは2006年、予測研究の国際学術誌International Journal of Forecastingで、当時広く使われていた精度指標の多くが、実務で普通に起きる状況で壊れることを指摘した [2]。よく使われるMAPE（平均絶対パーセント誤差）は、実測値がゼロの期間があると計算できない。小売の日次販売数のように、売れない日が普通にあるデータでは、この時点で使えない。またMAPEは、予測が過大な場合と過小な場合で罰の大きさが非対称になる。
彼らはこの論文でMASE（平均絶対スケール化誤差）を提案した。ナイーブ予測（前期の値をそのまま使う）を基準に誤差を正規化するので、スケールの異なる系列をまたいで比較でき、実測値にゼロが混ざっても破綻しない。
つまり「精度が5%良くなった」という主張は、どの指標で測ったかによって意味が変わる。しかもその指標自体が、対象データによっては壊れている可能性がある。金額に換算する前に、まずここを疑う必要がある。
精度を最小化しても、意思決定は最適にならない
ここまでは「予測を作ってから意思決定に使う」という前提で話してきた。この2段構えそのものに問題があると指摘したのが、ElmachtoubとGrigasが2022年、経営科学の主要学術誌Management Scienceに発表した論文である [3]。
彼らの論点はこうだ。予測モデルを訓練するとき、私たちは予測誤差（MSEなど）を最小化する。しかし本当に最小化したいのは、その予測を使って下した意思決定が、正解を知っていた場合と比べてどれだけ損をしたかである。この2つは一致しない。
具体例で考えるとわかりやすい。ある商品の需要予測が10単位ずれたとする。発注のロットが100単位刻みなら、この10単位の誤差は最終的な発注量を1単位も変えないかもしれない。意思決定への影響はゼロだ。一方、在庫が発注点のぎりぎりにあるときの10単位の誤差は、発注するかしないかを反転させ、結果を大きく変える。同じ誤差でも、意思決定に与える影響はまったく違う。
この違いは図にすると見えやすい。下の2枚は同じ需要予測に対するものだ。発注ライン（100個）を超える需要が見込まれるなら追加発注する、という運用を考える。左は予測の誤差を、右はその誤差で判断が実際に覆った期だけを強調している。
図2: 同じ需要予測を、予測の誤差（左）と意思決定（右）で見たもの。誤差は12期すべてにあり、最大の誤差は第4期に出ている。しかし発注ライン100個をまたいだのは第5期と第8期だけで、判断が覆るのはこの2期に限られる。第5期は不要な発注（過剰コスト）、第8期は欠品（不足コスト）となり、図1のコストはここで発生する（作図）
左で目立っていた誤差の大半は、右では灰色に沈む。最大の誤差（第4期）ですら判断を変えていない。予測を評価するときに見ているのは左の図だが、金額に効くのは右の図である。
彼らはこの「意思決定の損失」を直接扱う枠組みを提案し、SPO損失（Smart Predict-then-Optimize loss）と名付けた。予測誤差ではなく、下流の最適化問題の目的関数を基準に予測モデルを訓練する考え方である。
機械学習の側からも同じ問題意識が出ている。Donti、Amos、Kolterは2017年、AI分野のトップカンファレンスNIPS（現NeurIPS）で、タスクの損失を基準にモデルを訓練する枠組みを提案し、電力スケジューリングを含む実験で、予測誤差の小さいモデルがタスクでも良いとは限らないことを示した [4]。
1951年の在庫理論と、2017年の深層学習と、2022年の経営科学が、別の言葉で同じことを言っている。予測は意思決定の部品であって、部品単体の精度を磨いても、機械全体が良くなるとは限らない。
では、いくらになるのか
ここからが実務の話である。精度を金額に変換するには、次の3つを埋める必要がある。
1. 意思決定の単位を決める。 その予測は、誰が、どの頻度で、何を決めるために見るのか。1日1回の発注なのか、30分ごとの入札なのか。ここが決まらないと、そもそも誤差が何回発生するのかが数えられない。
2. 誤差1単位あたりのコストを、過剰側と不足側で別々に置く。 電力の需給計画なら、足りない分を埋めるときに払う単価と、余った分を売り戻すときの単価は違う。小売の生鮮なら、廃棄する原価と、欠品で失う粗利は違う。この非対称性こそがnewsvendorの本体であり、ここを平均で潰すと価値の見積もりが崩れる。
3. 意思決定が変わる範囲を確認する。 前述の通り、誤差が減っても意思決定が変わらなければ金額は動かない。逆に、しきい値のそばで判断が反転する領域では、わずかな精度改善が大きな金額を生む。価値は誤差の大きさではなく、判断が変わるかどうかに宿る。
この3つが埋まれば、「MAEが5%改善」は「補充回数が月◯回減り、年間◯円」に翻訳できる。翻訳できないなら、その精度改善はまだ価値が確定していない、というのが正直なところだ。
点予測から分布予測へ
newsvendorの帰結をもう一度思い出すと、必要なのは平均ではなく分位点だった。ならば、モデルの出力も点予測ではなく分布であるべきだ。
この方向は、予測の評価の枠組みにも入り始めている。予測研究の国際コンペティションであるM5は、Walmartの販売データを題材に、精度を競う部門とは別に不確実性を競う部門を設けた。42,840系列に対して9つの分位点（0.005から0.995まで）を予測させ、分布そのものの当たり具合を評価している [5]。予測の巧拙を平均だけで測らない、という設計思想である。
分位点を直接予測できれば、newsvendorの最適解にそのまま接続できる。過剰コストと不足コストの比から必要な分位点を決め、その分位点の予測値を発注量にすればよい。点予測しか出せないモデルでは、この接続ができない。
まとめ
「予測精度を1%上げると、いくらの価値があるのか」。この問いへの答えは、予測単体では決まらない。決めるのは、その予測が入る意思決定の構造である。過剰と不足のコストがどれだけ非対称か、判断のしきい値がどこにあるか、意思決定が何回起きるか。ここが決まって初めて、精度は金額になる。
そして、誤差指標を下げることと意思決定を良くすることが別問題であることは、1951年の在庫理論 [1] から2017年のNIPS [4]、2022年のManagement Science [3] まで、繰り返し示されてきた事実である。精度の追求が無意味なのではない。精度の追求だけでは足りない、ということだ。
私はこれを、予測モデルを納品する側の責任だと考えている。「MAEが5%改善しました」で終わらせず、「その結果どの判断が変わり、いくらになるのか」まで書く。それができないうちは、その予測はまだ現場に届いていない。
ニューロジカは時系列予測の基盤モデルを開発している。同時に、予測を意思決定に接続する部分こそが価値の生まれる場所だと考えており、そこを含めて設計している。
参考文献
- K. J. Arrow, T. Harris, J. Marschak, "Optimal Inventory Policy," Econometrica, vol. 19, no. 3, pp. 250-272, 1951. Econometric Society
- R. J. Hyndman, A. B. Koehler, "Another look at measures of forecast accuracy," International Journal of Forecasting, vol. 22, no. 4, pp. 679-688, 2006. DOI:10.1016/j.ijforecast.2006.03.001
- A. N. Elmachtoub, P. Grigas, "Smart 'Predict, then Optimize'," Management Science, vol. 68, no. 1, pp. 9-26, 2022. DOI:10.1287/mnsc.2020.3922
- P. Donti, B. Amos, J. Z. Kolter, "Task-based End-to-end Model Learning in Stochastic Optimization," NIPS 2017. arXiv:1703.04529
- S. Makridakis, E. Spiliotis, V. Assimakopoulos, Z. Chen, A. Gaba, I. Tsetlin, R. L. Winkler, "The M5 uncertainty competition: Results, findings and conclusions," International Journal of Forecasting, vol. 38, no. 4, pp. 1365-1385, 2022. DOI:10.1016/j.ijforecast.2021.10.009