바이어스-분산 딜레마

실제 함수를 f(x)라 하고 샘플 집함 X로 추정한 모델을 g(x)라 하면 얼마나 충실한 지를 나타내는 것은 평균 제곱 오차(mean squre error: MSE)이다. N 개의 샘플을 가진 샘플 집합 Xi에 대한 SE는 (g(x;Xi)-f(x))^2이고 N개의 샘플을 가진 모든 X에 대한 평균은 Ex((g(x;Xi)-f(x))^2)이며 이것을 전개하면 
 
Ex((g(x;Xi)-f(x))^2) = (Ex(g(x;X)-f(x)))^2 + Ex((g(x;X)-Ex(g(x;X))^2)

여기서 등호 뒤의 식 중에서 앞의 식은 모델 g(x)와 f(x)의 차이를 뜻하며 이것을 바이어스라 부를 수 있고 뒤의 식은 서로 다른 샘플 집단으로 추정한 g(x)의 차이를 말하며 이것은 분산에 해당된다. g(x)가 f(x)에 근접할수록 바이어스는 줄어들고 샘플의 차이에 의한 분산은 커진다. 반대로 근접하지 않는다면 바이어스는 커지고 분산은 그리 크지 않게 된다.
또한 어떤 모형이라도 모든 샘플 집합을 고려한 평균 제곱 오차는 같다. 오차의 내용만 달라진다. 이것을 바이어스 분산 딜레마 (bias-variance dilemma) 혹은 보존 법칙(conservation law)라고 부른다.
또한 샘플 집합 N의 크기가 커지면 분산의 값이 작아진다는 사실이 밝혀져 있다.