covariance ・ 共分散

공분산은 두 개의 확률 변수의 선형관계를 나타내는 값이다. 한 확률 변수의 증감에 따른 다른 확률 변수의 증감의 경향에 대한 측도이다. 쉽게 말해 분산이라는 개념을 확장하여 두 개의 확률 변수의 흩어진 정도를 공분산이라고 하는 것이다.

두 확률변수 $X$, $Y$의 결합확률함수가 $f(x,\,y)$일 때 다음을 $X$, $Y$의 공분산이라고 한다.

모공분산은 모집단의 공분산이다. ${\rm Cov}(X,\,Y)$ 또는 $\sigma_{XY}$로 쓴다. $X$와 $Y$는 확률 변수, $N$은 모집단의 표본의 개수, $X_i$와 $Y_i$는 각 확률 변수의 도수, $\mu$는 모평균을 뜻한다.

곧, 모공분산이란 $X$의 편차와 $Y$의 편차의 곱의 평균이다.

표본공분산은 표본집단의 공분산이다. $S_{XY}$로 쓴다. $X$와 $Y$는 확률 변수, $n$은 표본집단의 표본의 개수, $X_i$와 $Y_i$는 각 확률 변수의 도수, $\bar X$와 $\bar Y$는 표본평균을 뜻한다.

곧, 표본공분산이란 $X$의 편차와 $Y$의 편차의 곱의 평균이다. 주의할 점은 (표본의 개수)$\boldsymbol{-1}$로 나눈다는 것이다. $n$이 아니라 $n-1$로 나누는 것은 오차를 줄이기 위함으로, 일반적인 표본 분산의 계산법과 같다.

공분산의 정의에 따라 같은 확률 변수 두 개의 공분산이란 결국 해당 확률 변수의 분산이 된다.

또한, 공분산의 계산에서는 두 확률 변수의 편차를 곱하므로, 교환법칙에 따라 ${\rm Cov}(X,\,Y)={\rm Cov}(Y,\,X)$이다.'

공분산의 정의는 내적의 정의를 만족한다. 따라서 코시-슈바르츠 부등식을 적용할 수 있고 이를 통해 피어슨상관계수를 유도할 수 있다.

확률 변수 $X$와 $Y$에 대하여 다음과 같이 해석한다.

주의할 점은 ${\rm Cov}(X,\,Y)=0$을 $\boldsymbol X$와 $\boldsymbol Y$는 관계가 없다고 해석하면 안 된다는 것이다. $x^2+y^2=k^2$($k$는 상수)이 대표적인 반례이다. 만약 두 확률 변수 $X$와 $Y$에 대하여 이 관계가 성립하면 ${\rm Cov}(X,\,Y)=0$이다. 틀림없이 공분산은 0이지만, 분명히 $x^2+y^2=k^2$이라는, 모종의 관계가 성립하고 있는 것이다.

분산-공분산 행렬이란 다음과 같이 분산과 공분산을 나타낸 행렬을 말한다.