期待値と分散の関係
期待値の定義とその性質
期待値は、考えられるすべての値とその確率の積を足し合わせたもの。定義の式を見れば関連する式も直感的に理解できそうです。
$E[X]=\sum x_i p_i=x_1p_1+x_2p_2+\cdots+x_kp_k=\mu$
$E[X+Y]=E[X]+E[Y]$
$E[aX]=aE[X]$
$E[b]=b$
$E[aX+b]=aE[X]+b$
分散は各データの値と期待値の差の2乗のそのまた期待値になります。計算が大変なので次のような簡便法があります。
$V[X]=E[(X-E[X])^2]$
$=E[X^2-2XE[X]+E[X]^2]$
$=E[X^2]-2E[X]E[X]+E[X]^2$
$=E[X^2]-E[X]^2$
$V[X]=E[X^2]-E[X]^2$
共分散については、定義と簡便法は次の通りです。
$Cov[X,Y]=E[(X-E[X])(Y-E[Y])]$
$=E[XY-XE[Y]-E[X]Y+E[X]E[Y]]$
$=E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]$
$=E[XY]-E[X]E[Y]$
$Cov[X,Y]=E[XY]-E[X]E[Y]$
次のステップに行くために、上記の式を変形して次の関係を確認します。2つ並べると相違が分かって興味深いものがあります。
$E[X^2]=V[X]+E[X]^2$
$E[XY]=Cov[X,Y]+E[X]E[Y]$
ここからは、あまり文献にも改定ありません。
$V[X+Y]$
$=E[(X+Y)^2]-(E[X+Y])^2 $
$=E[X^2+2 X Y+Y^2]-(E[X]+E[Y])^2$
$=E[X^2]+2 E[X Y]+E[Y^2]-(E[X])^2-2 E[X] E[Y]-(E[Y])^2$
$=E[X^2]-(E[X])^2+E[Y^2]-(E[Y])^2+2(E[XY]-E[X]E[Y])$
$=V[X]+V[Y]+2Cov[X,Y]$
さらに、これは結構大変です。
$V(XY)=E[(X Y)^2]-(E[X Y])^2$
$=E[X^2 Y^2]-(E[X Y])^2$
$=(Cov[X^2, Y^2]+E[X^2] E[Y^2])-(Cov[X, Y]+E[X]E[Y])^2$
$=Cov[X^2, Y^2]-(Cov[X, Y])^2-2E[X]E[Y]Cov[X, Y]$
$+E[X^2]E[Y^2]-(E[X]E[Y])^2 $
$=Cov[X^2,Y^2]-(Cov[X,Y])^2-2E[X]E[Y]Cov[X, Y]$
$+V[X]V[Y]+V[X]E[Y]^2+V[Y]E[X]^2$
$\because E[X^2]E[Y^2]=(V[X]+(E[X])^2)(V[Y]+(E[Y])^2)$
$=V[X]V[Y]+V [X] (E[Y])^2+V [Y] (E[X])^2+(E[X]E[Y])^2$