1. 개요
2. 정의
두 확률변수 [math(X)], [math(Y)]의 결합확률함수가 [math(f(x,,y))]일 때 다음을 [math(X)], [math(Y)]의 공분산이라고 한다.
[math({rm Cov}(X,,Y)={mathbb E}{(X-mu_x)(Y-mu_Y)})]
[math({rm Cov}(X,,Y)={mathbb E}{(X-mu_x)(Y-mu_Y)})]
2.1. 모공분산
모공분산은 모집단의 공분산이다. [math({rm Cov}(X,,Y))] 또는 [math(sigma_{XY})]로 쓴다. [math(X)]와 [math(Y)]는 확률 변수, [math(N)]은 모집단의 표본의 개수, [math(X_i)]와 [math(Y_i)]는 각 확률 변수의 도수, [math(mu)]는 모평균을 뜻한다.
[math(begin{aligned}{rm Cov}(X,,Y)&=sigma_{XY}\&=displaystylefrac{1}{N}sum_{i=1}^n (X_i-mu_X)(Y_i-mu_Y)\&={mathbb E}{(X-mu_X)(Y-mu_Y)}end{aligned})]
|
2.2. 표본공분산
표본공분산은 표본집단의 공분산이다. [math(S_{XY})]로 쓴다. [math(X)]와 [math(Y)]는 확률 변수, [math(n)]은 표본집단의 표본의 개수, [math(X_i)]와 [math(Y_i)]는 각 확률 변수의 도수, [math(bar X)]와 [math(bar Y)]는 표본평균을 뜻한다.
[math(begin{aligned}S_{XY}&=displaystylefrac{1}{n-1}sum_{i=1}^n {(X_i-bar X)(Y_i-bar Y)}\&={mathbb E}{(X-bar X)(Y-bar Y)}end{aligned})]
|
3. 성질
공분산의 정의에 따라 같은 확률 변수 두 개의 공분산이란 결국 해당 확률 변수의 분산이 된다.
[math(begin{aligned}{rm Cov}(X,,X)&=sigma_{XX}\&=displaystylefrac{1}{N}sum_{i=1}^n (X_i-mu_X)(X_i-mu_X)\&=frac{1}{N}sum_{i=1}^n (X_i-mu_X)^2\&={mathbb E}[(X-mu)^2]\&={rm Var}[X] \ \S_{XX}&=displaystylefrac{1}{n-1}sum_{i=1}^n {(X_i-bar X)(X_i-bar X)}\&=frac{1}{n-1}sum_{i=1}^n (X_i-bar X)^2\&={S_X}^2end{aligned})]
또한, 공분산의 계산에서는 두 확률 변수의 편차를 곱하므로, 교환법칙에 따라 [math({rm Cov}(X,,Y)={rm Cov}(Y,,X))]이다.'
공분산의 정의는 내적의 정의를 만족한다. 따라서 코시-슈바르츠 부등식을 적용할 수 있고 이를 통해 피어슨상관계수를 유도할 수 있다.
[math(begin{aligned}{rm Cov}(X,,X)&=sigma_{XX}\&=displaystylefrac{1}{N}sum_{i=1}^n (X_i-mu_X)(X_i-mu_X)\&=frac{1}{N}sum_{i=1}^n (X_i-mu_X)^2\&={mathbb E}[(X-mu)^2]\&={rm Var}[X] \ \S_{XX}&=displaystylefrac{1}{n-1}sum_{i=1}^n {(X_i-bar X)(X_i-bar X)}\&=frac{1}{n-1}sum_{i=1}^n (X_i-bar X)^2\&={S_X}^2end{aligned})]
또한, 공분산의 계산에서는 두 확률 변수의 편차를 곱하므로, 교환법칙에 따라 [math({rm Cov}(X,,Y)={rm Cov}(Y,,X))]이다.'
공분산의 정의는 내적의 정의를 만족한다. 따라서 코시-슈바르츠 부등식을 적용할 수 있고 이를 통해 피어슨상관계수를 유도할 수 있다.
4. 해석
확률 변수 [math(X)]와 [math(Y)]에 대하여 다음과 같이 해석한다.
- [math({rm Cov}(X,,Y)>0)]이면 [math(X)]와 [math(Y)]는 양의 관계
- [math({rm Cov}(X,,Y)<0)]이면 [math(X)]와 [math(Y)]는 음의 관계
- [math({rm Cov}(X,,Y)=0)]이면 [math(X)]와 [math(Y)]는 양도 음도 아닌 관계
주의할 점은 [math({rm Cov}(X,,Y)=0)]을 [math(boldsymbol X)]와 [math(boldsymbol Y)]는 관계가 없다고 해석하면 안 된다는 것이다. [math(x^2+y^2=k^2)]([math(k)]는 상수)이 대표적인 반례이다. 만약 두 확률 변수 [math(X)]와 [math(Y)]에 대하여 이 관계가 성립하면 [math({rm Cov}(X,,Y)=0)]이다. 틀림없이 공분산은 0이지만, 분명히 [math(x^2+y^2=k^2)]이라는, 모종의 관계가 성립하고 있는 것이다.
5. 분산-공분산 행렬
[math(X)]
| [math(Y)]
| [math(Z)]
| |
[math(X)]
| [math({S_X}^2)]
| [math(S_{XY})]
| [math(S_{XZ})]
|
[math(Y)]
| [math(S_{XY})]
| [math({S_Y}^2)]
| [math(S_{YZ})]
|
[math(Z)]
| [math(S_{XZ})]
| [math(S_{YZ})]
| [math({S_Z}^2)]
|
6. 공식
- [math({rm Cov}(X,,Y)={mathbb E}(XY)-{mathbb E}(X){mathbb E}(Y))][2]
[증명]
[math((X-mu_X)(Y-mu_Y)=XY-mu_XY-mu_YX+mu_Xmu_Y)]를 이용하면[math(begin{aligned}{rm Cov}(X,,Y)&={mathbb E}(XY)-{mathbb E}(mu_XY)-{mathbb E}(mu_YX)+{mathbb E}(mu_Xmu_Y)\&={mathbb E}(XY)-mu_X{mathbb E}(Y)-mu_Y{mathbb E}(X)+mu_Xmu_Y\&={mathbb E}(XY)-mu_Xmu_Yend{aligned})]
- [math({rm Var}(X+Y)={rm Var}(X)+{rm Var}(Y)+2{rm Cov}(X,,Y))]
[증명]
분산의 정의에 의하여 [math({rm Var}(X+Y)={mathbb E}[(X+Y-mu_{X+Y})^2])]이고 [math(mu_{X+Y}=mu_X+mu_Y)]이므로[math(begin{aligned}{rm Var}(X+Y)&={mathbb E}[(X-mu_X+Y-mu_Y)^2]\&={mathbb E}[(X-mu_X)^2+2(X-mu_X)(Y-mu_Y)+(Y-mu_Y)^2]\&={mathbb E}[(X-mu_X)^2]+{mathbb E}[(Y-mu_Y)^2]+2{mathbb E}{(X-mu_X)(Y-mu_Y)}\&={rm Var}(X)+{rm Var}(Y)+2{rm Cov}(X,,Y)end{aligned})]
- 일반화: [math({rm Var}left(displaystylesum_{k=1}^nX_k!right)=displaystylesum_{k=1}^n{rm Var}(X_k)+2sum_{i<j}{rm Cov}(X_i,,X_j))]
- [math(|{rm Cov}(X,,Y)|leqsqrt{{rm Var}(X)cdot {rm Var}(Y)})]
6.1. 심화
- [math(X)]와 [math(Y)]가 독립이면 [math({mathbb E}(XY)={mathbb E}(X){mathbb E}(Y)=mu_Xmu_Y)]이므로
- [math({rm Cov}(X,Y)={mathbb E}(XY)-{mathbb E}(X){mathbb E}(Y)=0)][5]
- [math({rm Var}(X+Y)={rm Var}(X)+{rm Var}(Y))]