統計学の一つ目の戒律は偏差を身につけることだ。二つ目の戒律は、長期的な見通しを重視し、それに基づいた投資姿勢を堅持することである。
ウェブ広告をクリックした人の平均1〜2%が実際に商品を購入する。この数字は様々な業界で当てはまる経験則である。
多くの人がマイナス現象の確証バイアスにとらわれている。つまり、自分に害を及ぼした人物へのマイナス影響だけを記憶にとどめ、その人物がもたらしたプラスの影響を忘れているのである。
WSJのオンライン版に載った研究によれば、人が自分の信じることを裏付ける情報を探す頻度は、それを反証する証拠を検討する頻度の2倍にもなる。
確証バイアスと似たもので、選択バイアスがある。第二次世界大戦中にアメリカ軍が戦闘から帰還した戦闘機を調査したところ、機体の箇所によって敵の攻撃を多く受けた場所とそうでない場所があることが判明した。そこで、損傷の多く発生した箇所に補強をして戦闘機の防御性能を高めた。しかし、これは誤った手法で、調べた機体は全て戦闘から帰還した戦闘機のみで、攻撃を受けた戦闘機の一部しか調査していない。実際には、敵に攻撃を受けて帰還できずに墜落した戦闘機を調べる方がはるかに重要なのである。
敗者の物語は語られることがなく、成功者、つまり、生き残った者だけが注目を集める。その結果、私達は選択バイアスにとらわれ、成功者の手法が本当に成功の要因だったのか分からなくなってしまう。
過去数十年間、データ分析の世界は2つの陣営に分かれている。コンピューター学派と統計学派である。コンピューター学派は、データマイニングの手法に基づいて相関性を見つけようとするが、ここの落とし穴がある。莫大なデータを多様な視点でコンピューターで高速処理した結果、データ量は莫大なので必然的な多くのパターンが発見される。このパターンを因果関係として結論づけてしまう欠点がある。一方で統計学派は、データが莫大であっても仮説を立てて検証しようとする分析手法のよって信頼性のある結論を導く。
将来の予測に役立つような変数に着目することが、究極の教訓である。ただし、ただ単純に過去を振り返れば競争優位に立てることではない。
ごく単純な問いが複雑な数学モデルに焦点を合わせる手掛かりとなり、その複雑な数学モデルがビジネス上の非常な重要な問題を解決する手掛かりとなる。
ホットハンド理論に関する研究で一般的に最も信頼されているのは、NBA専門の統計専門家であるサンディ・ワイルと、シカゴ大学経済学教授のジョン・ホイジンガーの研究である。この研究では、過去5シーズンに多数のシュートを決めた選手について調べたところ、選手はシュートを決めた後にボールを持った場合、シュートを打つ確率が普段よりも16%高くなる。しかし、そのシュートが成功する確率は普段よりも3.5%低くなる。これらの数値は統計上、有意であり、ホットハンド(運、流れ)が存在しない証拠とされている。
UCバークレー校の組織行動学教授のフィリップ・テトリックによれば、専門家は一般に思われるほど予想能力が高いわけではない。専門家は事故の見解を述べたり、プレゼンテーションする能力は高いが、意思決定の質に欠けている。その原因は、データを軽視し、綿密な調査よりも似たような場面での経験に依存する傾向にあるからという。