1. 개요 및 정의
moment generating function · 積率生成函數
특정 확률 분포의 '적률'을 '생성'하는 '함수'이다. '모멘트 생성함수'라고도 하며, 약칭으로 MGF라고도 한다.
확률 변수 혹은 분포의 [math(n)]차 적률 혹은 모멘트(moment)는 확률변수의 거듭제곱의 기댓값으로, 다음과 같이 정의한다. 적률이 존재하지 않을 수도 있다.
[math(displaystyle mu_n = mathbb{E}[X^n] )]
적률 생성함수 혹은 모멘트 생성함수는 이들 적률을 계수로 갖는 급수로, 정확한 정의는 다음과 같다.
[math(M_X(t) = mathbb{E}[e^{tX} ] )]
만약 위 기대값이 [math(t=0)]의 근방에서 수렴한다면, 다음처럼 급수전개가 가능함을 증명할 수 있다.
[math(displaystyle M_X(t) = mathbb{E}left[sum_{k=0}^{infty} frac{(tX)^k}{k!}right] = sum_{k=0}^{infty} frac{t^k}{k!} mathbb{E}[X^k] )]
따라서 테일러 정리에 의해 [math(mu_n = M^{(n)}(0))]을 얻을 수 있다.
물론 이 모든 얘기는 확률변수 [math(e^{tX})]가 [math(t=0)] 근방에서 적분가능해야 의미가 있고, 이 조건이 만족되지 않으면 적률생성함수를 생각할 수 없다. 그러기 위해서는 모든 차수의 적률이 존재해야 할 뿐만 아니라, 이들이 너무 빠르게 증가해도 안 된다. 적률생성함수가 존재한다는 조건은 의외로 매우 까다로운 조건이다.
일변수일뿐만 아니라 [math(X)]가 다변수 확률 변수일 경우에도, 벡터함수로 적률생성함수를 정의할 수 있다. 이 경우에 [math(tX)]는 내적으로 간주한다. 이 다변수 세팅
[math(X=(X_1,, X_2,, cdots,, X_n))]
에서 적률생성함수의 테일러 급수는 결합 적률(joint moment)
[math(displaystyle mu_{(k_1,,k_{2},, cdots,, k_n)} = mathbb{E}[X_1^{k_1} cdots X_n^{k_n}])]
을 나타낸다고 볼 수 있다. 이 경우에는 일변수와 구별하기 위해서 결합적률생성함수(joint moment generating function)라는 이름으로 많이 부른다.
적률생성함수는 확률론 외적으로도 다양한 개념들과 관련을 짓고 있다.
특정 확률 분포의 '적률'을 '생성'하는 '함수'이다. '모멘트 생성함수'라고도 하며, 약칭으로 MGF라고도 한다.
확률 변수 혹은 분포의 [math(n)]차 적률 혹은 모멘트(moment)는 확률변수의 거듭제곱의 기댓값으로, 다음과 같이 정의한다. 적률이 존재하지 않을 수도 있다.
[math(displaystyle mu_n = mathbb{E}[X^n] )]
적률 생성함수 혹은 모멘트 생성함수는 이들 적률을 계수로 갖는 급수로, 정확한 정의는 다음과 같다.
[math(M_X(t) = mathbb{E}[e^{tX} ] )]
만약 위 기대값이 [math(t=0)]의 근방에서 수렴한다면, 다음처럼 급수전개가 가능함을 증명할 수 있다.
[math(displaystyle M_X(t) = mathbb{E}left[sum_{k=0}^{infty} frac{(tX)^k}{k!}right] = sum_{k=0}^{infty} frac{t^k}{k!} mathbb{E}[X^k] )]
따라서 테일러 정리에 의해 [math(mu_n = M^{(n)}(0))]을 얻을 수 있다.
물론 이 모든 얘기는 확률변수 [math(e^{tX})]가 [math(t=0)] 근방에서 적분가능해야 의미가 있고, 이 조건이 만족되지 않으면 적률생성함수를 생각할 수 없다. 그러기 위해서는 모든 차수의 적률이 존재해야 할 뿐만 아니라, 이들이 너무 빠르게 증가해도 안 된다. 적률생성함수가 존재한다는 조건은 의외로 매우 까다로운 조건이다.
일변수일뿐만 아니라 [math(X)]가 다변수 확률 변수일 경우에도, 벡터함수로 적률생성함수를 정의할 수 있다. 이 경우에 [math(tX)]는 내적으로 간주한다. 이 다변수 세팅
[math(X=(X_1,, X_2,, cdots,, X_n))]
에서 적률생성함수의 테일러 급수는 결합 적률(joint moment)
[math(displaystyle mu_{(k_1,,k_{2},, cdots,, k_n)} = mathbb{E}[X_1^{k_1} cdots X_n^{k_n}])]
을 나타낸다고 볼 수 있다. 이 경우에는 일변수와 구별하기 위해서 결합적률생성함수(joint moment generating function)라는 이름으로 많이 부른다.
적률생성함수는 확률론 외적으로도 다양한 개념들과 관련을 짓고 있다.
- 이름에서 알 수 있듯이 적률생성함수도 생성함수의 일종이고, 의외로 비슷한 활용법들도 많다.
- 라플라스 변환의 수렴 문제로 대신 푸리에 변환을 생각하듯이, 적률생성함수 대신에 확률분포함수의 푸리에 변환인 특성함수(characteristic function)
[math(varphi_X(t) = mathbb{E}[e^{itX}])]
들을 대신 생각하기도 한다. 성질은 사실상 거의 동일하지만, 이 특성함수는 모든 확률변수에 대해 존재한다는 장점이 있다.
2. 여러 가지 적률
- 평균에 대한 적률: [math(Y=X-mathrm E(X))]일 때, [math(Y)]의 적률이 [math(X)]의 평균에 대한 적률이다. 차수에 따라 다음과 같은 정보를 준다.
- 계승적률: X의 거듭제곱 대신 계승인 [math({}_Xmathrm P_n)]을 사용한 적률.
분산은 각각의 적률을 사용해 3가지 방법으로 구할 수 있다.
|
3. 적률생성함수의 성질
다음 성질들을 증명할 수 있다.
- [math(M_{X+c}(t) = e^{ct} M_X(t))]
- [math( M_{kX}(t) = M_{X}(kt) )]
- [math(X, Y)]가 독립이면 [math(M_{X+Y}(t) = M_X(t) M_Y(t))]이다.
- 두 확률분포의 적률생성함수가 동일하면, 두 확률분포는 동일하다.
- 확률변수 [math(X_n)]의 적률분포함수가 [math(X)]의 적률분포함수에 구간 내에서 수렴하면, [math(X_n)]의 분포는 [math(X)]의 분포에 수렴한다.
위의 두 일차변환 성질과 세번째 독립성 관련 성질은 정의를 따라가면 증명하기 쉬운 편이지만, 많은 경우 적률생성함수 계산에 핵심적 역할을 한다. 네번째/다섯번째 동일성, 수렴성의 경우는 적률생성함수가 확률변수를 역으로 결정할 수 있다는 중요한 의미를 가지지만, 엄밀히 증명하려면 라플라스 역변환이 필요하다.
4. 여러 가지 확률 분포의 적률생성함수
4.1. 정규 분포
표준정규분포 [math(Z sim N(0,1))]의 적률생성함수는 다음처럼 [math(M_{Z}(t) = e^{{t^2}/2})]로 나타난다.
[math( displaystyle begin{aligned} M_{Z}(t) &= int_{-infty}^{infty} frac{1}{sqrt{2pi}}e^{-{z^2}/2}e^{zt} ,{rm d}z \&= e^{{t^2}/2} int_{-infty}^{infty} frac{1}{sqrt{2pi}} e^{-{(z-t)^2}/2} ,{rm d}z \&= e^{{t^2}/2} end{aligned})]
정규분포 [math(N(mu, sigma^2))]는 표준정규분포 [math(Z sim N(0,1))]에 대해 [math(X=sigma Z + mu)]의 분포로 나타나므로, 따라서 이 적률생성함수는 위 일차변환 성질을 이용하면 다음처럼 나타난다.
[math( displaystyle M_{X}(t) = e^{mu t + (sigma^2 t^2/2)})]
여담으로 다변수 정규분포를 다음의 생성함수를 통해서 '정의'하기도 한다.
[math( displaystyle M_{{bf X}}({bf t}) = exp( {bf mu} cdot {bf t} + frac{1}{2} {bf t}^{T} {bf Sigma} {bf t} ) )]
여기서 [math({bf mu})]는 평균벡터, [math({bf Sigma})]는 공분산행렬이다.
[math( displaystyle begin{aligned} M_{Z}(t) &= int_{-infty}^{infty} frac{1}{sqrt{2pi}}e^{-{z^2}/2}e^{zt} ,{rm d}z \&= e^{{t^2}/2} int_{-infty}^{infty} frac{1}{sqrt{2pi}} e^{-{(z-t)^2}/2} ,{rm d}z \&= e^{{t^2}/2} end{aligned})]
정규분포 [math(N(mu, sigma^2))]는 표준정규분포 [math(Z sim N(0,1))]에 대해 [math(X=sigma Z + mu)]의 분포로 나타나므로, 따라서 이 적률생성함수는 위 일차변환 성질을 이용하면 다음처럼 나타난다.
[math( displaystyle M_{X}(t) = e^{mu t + (sigma^2 t^2/2)})]
여담으로 다변수 정규분포를 다음의 생성함수를 통해서 '정의'하기도 한다.
[math( displaystyle M_{{bf X}}({bf t}) = exp( {bf mu} cdot {bf t} + frac{1}{2} {bf t}^{T} {bf Sigma} {bf t} ) )]
여기서 [math({bf mu})]는 평균벡터, [math({bf Sigma})]는 공분산행렬이다.
4.2. 이항 분포
베르누이 시행의 적률생성함수가 [math(p e^t + q)] 이므로, 이것의 [math(n)]회 독립시행의 누적인 [math((pe^t+q)^n)]이 된다. 물론 이항정리를 활용해 다음처럼 증명할 수도 있다.
[math(begin{aligned} M_X(t)&=displaystylesum_{k=0}^ne^{kt} binom{n}{k} p^kq^{n-k}\&=displaystylesum_{k=0}^n binom{n}{k}(pe^t)^kq^{n-k}\&=(pe^t+q)^n end{aligned})]
[math(begin{aligned} M_X(t)&=displaystylesum_{k=0}^ne^{kt} binom{n}{k} p^kq^{n-k}\&=displaystylesum_{k=0}^n binom{n}{k}(pe^t)^kq^{n-k}\&=(pe^t+q)^n end{aligned})]
4.3. 기하 분포
[math(begin{aligned} M_X(t)&=displaystylesum_{k=1}^infty e^{kt}q^{k-1}p\&=dfrac pqdisplaystylesum_{k=1}^infty(qe^t)^k\&=dfrac pqdfrac{qe^t}{1-(qe^t)}\&=dfrac {pe^t}{1-qe^t} end{aligned})]
수렴 범위는 [math(qe^t<1)], 즉 [math(t<-ln q)]이다.[9]을 대입하여 적률을 구하고, [math(0<q<1)]에서 [math(-ln{q}>0)]이기 때문에 적률을 구하는 데 이 수렴 범위는 아무런 문제가 없다.]
4.4. 푸아송 분포
[math(begin{aligned} M_X(t)&=displaystylesum_{k=0}^infty e^{kt}e^{-lambda}dfrac{lambda^k}{k!}\ &=e^{-lambda}displaystylesum_{k=0}^inftydfrac{(e^tlambda)^k}{k!}\ &=e^{-lambda}e^{e^tlambda}\ &=e^{lambda(e^t-1)} end{aligned})]
5. 활용 사례
[1] 측도론적으로 생각하면 일반적인 경우에도 확률측도의 라플라스 변환으로 생각할 수 있다.[2] 측도론적으로 생각하면 일반적인 경우에도 확률측도의 라플라스 변환으로 생각할 수 있다.[3] [math(becausemathrm E(X-c)=mathrm E(X)-c)[4] 분산의 정의는 편차의 제곱의 평균, 즉 평균에 대한 2차 적률이다.[5] [math(becausemathrm E(X-c)=mathrm E(X)-c)[6] [math(becausemathrm E(X-c)=mathrm E(X)-c)[7] 분산의 정의는 편차의 제곱의 평균, 즉 평균에 대한 2차 적률이다.[8] 분산의 정의는 편차의 제곱의 평균, 즉 평균에 대한 2차 적률이다.[9] 보통 [math(t=0)