みか
アノマリーって、いくつも試せばどれかは当たりっぽく見えてしまうんじゃないの？
たくや
p値が小さければ、もう有利ってことでいいの？
るなまる
p値は偶然かどうかの目安ですが、候補をたくさん試すと偶然の当たりも増えます。今回はその影響を補正で確認しました。
最初に結論
- 3通貨ペア合計で 104候補を点検したところ、補正前p値が0.05未満のものは 16件ありました。
- ただし補正前のp値を確認できた 84件を対象に、候補が多い分を割り引く補正をかけると、残ったのは 3件です。
- その 3件も 平均損益 はすべてマイナスでした。最小p値だけでは、アノマリーを採用できるか判断できません。
FXのアノマリー検証では、候補をたくさん試すほど「たまたま良く見える」ものが混ざりやすくなります。今回は、その典型例を見やすくするために、3通貨ペアで用意した104候補をまとめて点検しました。
ポイントは、候補数そのものだけでなく、「そのうち何件にp値があるか」「補正後に何件残るか」「残った候補の平均値がプラスか」を分けて見ることです。104候補を『補正前のp値』『補正後に残った件数』『平均損益』の3段階に分けて見ていきます。
p値ってなに？
p値は「偶然でもこのくらいの結果が出そうか」を見る目安です。ただし、104個も候補を試すと、たまたま良さそうに見えるものが混ざりやすくなります。そのため今回は、候補をたくさん試した影響を差し引いて確認しました。
104候補のうち「有意」は何件見つかった？
まず、3通貨ペア合計で用意した 104候補をそのまま見ると、補正前p値が0.05未満のものは 16件ありました。数字だけを見ると「そこそこ当たりがありそう」に見えるかもしれません。
ただし、この 16件は「見かけ上の通過数」です。平均値がプラスだった候補は 0件で、プラス方向の候補はこの時点で残っていませんでした。
候補数
104
補正前p値＜0.05
16
補正後に残った件数
3
この時点で持ち帰りたいのは、補正前p値が0.05未満の件数だけでは判断できないということです。候補数が多いほど、偶然の当たりは混ざりやすくなります。
104候補すべてにp値があるわけではない
今回の 104候補のうち、補正前のp値を確認できたのは 84件です。残り 20件は集計データ上でもp値を計算できないまま保持しています。
内訳は、観測ゼロで判定できない 12件 と、観測はあるもののサンプル不足でp値を出せない 8件 です。この区別をしないと、補正の対象件数が変わってしまいます。
つまり、主分析は「p値を確認できた 84件」を対象に行い、別条件での確認（条件を変えて結果が大きく変わらないかを見るもの）では、p値を計算できなかった20件をp=1.0として加え、104件まとめて補正しています。実際にその20件にp値を埋め戻したわけではありません。
たくや
104候補あるなら、104件ぜんぶに同じ形でp値が並んでいると思ってた。
みか
でも実際には、そもそもp値が計算できない候補が20件あったんだね。
るなまる
そうです。p値を確認できたのは 84件で、残り 20件はp値を計算できなかった候補として区別しています。
多重検定とは？なぜ偶然の当たりが増える？
ひとつだけ検証するなら、小さいp値は「偶然ではなさそう」の手がかりになります。ですが、候補をたくさん並べて同時に試すと、偶然小さいp値が出る候補も増えていきます。
そこで今回は、p値を確認できた84件を対象に、2種類の補正をかけました。
名前はホルム法とベンジャミニ・ホッホベルグ法ですが、ここでは「たくさん試した分、偶然の当たりを割り引く方法」と考えれば大丈夫です。
なお、最小の補正前p値は 0.0001、2種類の補正後の最小p値はどちらも 0.0084 でした。
2種類の補正をかけても、残った3件の平均値はマイナス
84件の主分析で見ると、ホルム法でもベンジャミニ・ホッホベルグ法でも残った候補は 3件でした。件数も候補名も同じです。
ただし重要なのは、その 3件の 平均損益 がすべてマイナスだったことです。見かけ上は有意でも、そのまま採用できるプラス期待値とは言えません。
| 通貨ペア | 候補名 | 平均損益 | 補正前p値 | ホルム法後p値 | ベンジャミニ・ホッホベルグ法後p値 |
|---|---|---|---|---|---|
| EURJPY | Gotobi NY Close BUY ゴトー日NYクローズ時の買い | -1.79 | 0.0001 | 0.0084 | 0.0084 |
| USDJPY | Gotobi NY Close BUY ゴトー日NYクローズ時の買い | -1.21 | 0.0003 | 0.0249 | 0.0112 |
| EURJPY | Thursday Tokyo BUY 木曜東京時間の買い | -2.21 | 0.0004 | 0.0328 | 0.0112 |
残った3件は、EURJPYとUSDJPYの「ゴトー日NYクローズ時の買い」、EURJPYの「木曜東京時間の買い」です。どれも平均値はマイナスで、勝ち筋としてそのまま使える形ではありません。
かんたんに信じる前に何を確認すればいい？
アノマリー候補を見つけたときに最初に確認したいのは、次の3点です。
- 候補数がいくつある検証なのか
- 補正後に何件残ったのか
- 残った候補の 平均損益 がプラスかマイナスか
今回の検証は、その3つを順番に見るだけで印象が大きく変わる例です。最小のp値だけで強そうに見えても、補正後に残らなかったり、残っても平均値がマイナスだったりします。
みか
補正後に3件残ったなら、その3件は使えるんじゃないの？
たくや
残った3件の平均がマイナスって、どういうこと？
るなまる
補正は「偶然かどうか」を確認するものです。プラス期待値かどうかは別で見る必要があって、今回の3件は平均損益がすべてマイナスでした。
詳しい検証条件と104候補の意味
今回の 104 は、3通貨ペアで事前に用意した候補数の合計です。内訳は USDJPY 35、EURJPY 35、EURUSD 34 です。
USDJPY
2015-01-01 22:00〜2025-12-31 21:55
820,078 bars
固定0.5pips
EURJPY
2015-01-01 22:00〜2025-12-31 21:55
820,227 bars
固定0.8pips
EURUSD
2024-12-31 22:00〜2025-12-31 21:55
74,584 bars
固定0.5pips
今回そろえた条件
- 統計判定は1標本t検定ベース
- p値は集計レポートの数値をそのまま使用
- 主分析はp値を確認できた84件を対象に、ホルム法・ベンジャミニ・ホッホベルグ法で補正
- 別条件での確認では、p値を計算できなかった20件をp=1.0として加え、104件まとめて補正
- 別条件での確認でもHolm補正・BH補正とも3件が残り、候補は同じ
本文では上位10件を表に載せています。結論の確認には本文中の表とグラフで足ります。
| 候補名 | 通貨ペア | パターン | N | 平均損益 | 補正前p値 | ホルム法後p値 | ベンジャミニ・ホッホベルグ法後p値 | 補正後の結果 |
|---|---|---|---|---|---|---|---|---|
| C036 | EURJPY | Gotobi NY Close BUY | 679 | -1.79 | 0.0001 | 0.0084 | 0.0084 | 補正後も残る |
| C001 | USDJPY | Gotobi NY Close BUY | 679 | -1.21 | 0.0003 | 0.0249 | 0.0112 | 補正後も残る |
| C037 | EURJPY | Thursday Tokyo BUY | 572 | -2.21 | 0.0004 | 0.0328 | 0.0112 | 補正後も残る |
| C002 | USDJPY | Thursday Tokyo BUY | 572 | -1.95 | 0.0032 | 0.2592 | 0.0672 | 補正後は残らない |
| C038 | EURJPY | Post-nakaane BUY | 2,849 | -1.21 | 0.0041 | 0.3280 | 0.0689 | 補正後は残らない |
| C039 | EURJPY | London Fix BUY | 2,848 | -0.83 | 0.0055 | 0.4345 | 0.0770 | 補正後は残らない |
| C040 | EURJPY | London Fix SELL | 2,848 | -0.77 | 0.0092 | 0.7176 | 0.1018 | 補正後は残らない |
| C003 | USDJPY | London Fix SELL | 2,848 | -0.68 | 0.0097 | 0.7469 | 0.1018 | 補正後は残らない |
| C041 | EURJPY | Tuesday Tokyo BUY | 572 | -1.44 | 0.0118 | 0.8968 | 0.1101 | 補正後は残らない |
| C004 | USDJPY | Post-nakaane BUY | 2,849 | -1.06 | 0.0143 | 1.0000 | 0.1201 | 補正後は残らない |
この検証結果を見るときの注意点
- 補正に使ったp値は、集計レポートに記載された数値です。
- 残った3件は「見かけ上の有意があった」という意味であり、そのまま採用できる勝ちパターンという意味ではありません。
- 主分析はp値を確認できた84件で行い、別条件での確認ではp値を計算できなかった20件をp=1.0として補正計算に加えました。
- EURUSD はほかの2通貨ペアより期間が短く、1年分のデータです。
- コスト前提は通貨ペアごとに異なります。USDJPYとEURUSDは固定0.5pips、EURJPYは固定0.8pipsです。
- 固定スプレッドは検証ツールの約定価格へ反映済みですが、変動スプレッド、滑り、手数料、約定拒否は再現していません。
FAQ
Q. 補正前p値が0.05未満は16件あるのに、残ったのが3件だけなのはなぜ？
A. 16件は補正前p値の見かけ上の通過数です。104候補の中でp値を確認できた84件に、ホルム法・ベンジャミニ・ホッホベルグ法の補正をかけると、残ったのは3件でした。
Q. 104候補すべてに p値がないの？
A. ありません。補正前のp値を確認できたのは 84件で、残り 20件はp値なし（NA）のままです。内訳は観測ゼロの12件、サンプル不足の8件です。
Q. p値を計算できなかった20件はどう扱ったの？
A. 集計データ上ではp値を計算できないまま保持しています。別条件での確認として104件まとめて補正するときだけ、計算の都合上p=1.0として扱いました。
Q. 補正後に残った3件は使えるパターンなの？
A. 今回はそこまで言えません。3件とも平均損益がマイナスだったため、見かけ上は有意でも、そのまま使えるプラス期待値とは判断できません。
まとめ｜最小p値だけでアノマリーを選ばない
今回は、104候補をそのまま眺めるだけだと補正前p値が0.05未満のものは 16件ありました。ですが、p値を確認できた 84件で補正すると、残ったのは 3件だけです。
しかも、その 3件も 平均損益 はマイナスでした。アノマリー候補を見るときは、最小p値より先に、候補数、補正後の件数、平均値の向きを確認しておくと判断を誤りにくくなります。
たくや
次からは、いちばん小さいp値を見つけた時点で終わりにしないようにするよ。
るなまる
候補数と補正後の件数を一緒に見るだけで、見え方はかなり変わります。今回の検証はその確認用の土台として使ってください。
このシリーズの他の記事は、統計トレード攻略ガイドでまとめています。
この結果を検証条件の見直し順に使う
今回の結果は、良く見える条件が多いほどそのまま信じにくくなる、という確認材料になります。数字が目立つ条件だけを拾うより、別期間でも同じ傾向が残るかを先に見る流れにしておくほうが整理しやすくなります。
次に確認するなら、期間を分けたあとでも傾向が残るかを見るOOS検証が自然です。成績の良い数字だけで止まらない見方に変えたい人は、OOS検証を続けて見ると流れが分かりやすくなります。
るなまるの検証メモ
主分析はp値を計算できた84件を対象としました。残り20件は、観測ゼロ12件とサンプル不足8件に分け、主分析とは区別しています。
補正後に残った3件も平均損益はマイナスでした。この記事では、最小p値だけでなく、補正後の件数と平均損益を分けて見ています。
通貨ペアごとの検証期間と固定スプレッドの前提は、詳しい検証条件にまとめています。
次に読む記事
この記事を書いた人
るなまる｜データアナリスト
Python・統計を使ったFXの検証を2018年から継続。長期ヒストリカルデータをもとに、相場でよく聞く説やバックテスト結果を検証しています。 プロフィールはこちら