期待値と分散の関係

期待値の定義とその性質
期待値は、考えられるすべての値とその確率の積を足し合わせたもの。定義の式を見れば関連する式も直感的に理解できそうです。

$E[X]=\sum x_i p_i=x_1p_1+x_2p_2+\cdots+x_kp_k=\mu$

$E[X+Y]=E[X]+E[Y]$

$E[aX]=aE[X]$

$E[b]=b$

$E[aX+b]=aE[X]+b$

分散は各データの値と期待値の差の2乗のそのまた期待値になります。計算が大変なので次のような簡便法があります。

$V[X]=E[(X-E[X])^2]$

$=E[X^2-2XE[X]+E[X]^2]$

$=E[X^2]-2E[X]E[X]+E[X]^2$

$=E[X^2]-E[X]^2$

$V[X]=E[X^2]-E[X]^2$

共分散については、定義と簡便法は次の通りです。

$Cov[X,Y]=E[(X-E[X])(Y-E[Y])]$

$=E[XY-XE[Y]-E[X]Y+E[X]E[Y]]$

$=E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]$

$=E[XY]-E[X]E[Y]$

$Cov[X,Y]=E[XY]-E[X]E[Y]$

次のステップに行くために、上記の式を変形して次の関係を確認します。2つ並べると相違が分かって興味深いものがあります。

$E[X^2]=V[X]+E[X]^2$

$E[XY]=Cov[X,Y]+E[X]E[Y]$

ここからは、あまり文献にも改定ありません。

$V[X+Y]$

$=E[(X+Y)^2]-(E[X+Y])^2 $

$=E[X^2+2 X Y+Y^2]-(E[X]+E[Y])^2$

$=E[X^2]+2 E[X Y]+E[Y^2]-(E[X])^2-2 E[X] E[Y]-(E[Y])^2$

$=E[X^2]-(E[X])^2+E[Y^2]-(E[Y])^2+2(E[XY]-E[X]E[Y])$

$=V[X]+V[Y]+2Cov[X,Y]$

さらに、これは結構大変です。

$V(XY)=E[(X Y)^2]-(E[X Y])^2$

$=E[X^2 Y^2]-(E[X Y])^2$

$=(Cov[X^2, Y^2]+E[X^2] E[Y^2])-(Cov[X, Y]+E[X]E[Y])^2$

$=Cov[X^2, Y^2]-(Cov[X, Y])^2-2E[X]E[Y]Cov[X, Y]$

$+E[X^2]E[Y^2]-(E[X]E[Y])^2 $

$=Cov[X^2,Y^2]-(Cov[X,Y])^2-2E[X]E[Y]Cov[X, Y]$

$+V[X]V[Y]+V[X]E[Y]^2+V[Y]E[X]^2$

$\because E[X^2]E[Y^2]=(V[X]+(E[X])^2)(V[Y]+(E[Y])^2)$

$=V[X]V[Y]+V [X] (E[Y])^2+V [Y] (E[X])^2+(E[X]E[Y])^2$