Kovarianciamátrix

A valószínűségszámításban a ${\displaystyle \operatorname {Cov} (\mathbf {X} )}$ kovarianciamátrix pozitív szemidefinit vagy pozitív definit mátrix, ami több valószínűségi változóhoz vagy valószínűségi vektorváltozóhoz definiálható. Átlóján szórásnégyzetek találhatók, a többi elem a megfelelő valószínűségi változók illetve koordináták kovarianciája. Az egydimenziós szórásnégyzet általánosítása.

Definíció

Legyen ${\displaystyle \mathbf {X} }$ valószínűségi vektorváltozó,

${\displaystyle \mathbf {X} ={\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}}$.

Legyen ${\displaystyle \operatorname {E} (X_{i})=\mu _{i}}$ az ${\displaystyle X_{i}}$ várható értéke, ${\displaystyle \operatorname {Var} (X_{i})=\sigma _{i}^{2}}$ a szórásnégyzete, ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j}$ a két koordináta, ${\displaystyle X_{i}}$ és ${\displaystyle X_{j}}$ kovarianciája. ${\displaystyle \mathbf {X} }$ várható értéke

${\displaystyle \operatorname {E} (\mathbf {X} )=\operatorname {E} {\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}={\begin{pmatrix}\mu _{1}\\\mu _{2}\\\vdots \\\mu _{n}\end{pmatrix}}={\boldsymbol {\mu }}}$,

vagyis a várható értékek vektora. Az ${\displaystyle \mathbf {X} }$ kovarianciamátrixa: ^[1]

${\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} \left((\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }\right)\\\\&=\operatorname {E} {\begin{pmatrix}(X_{1}-\mu _{1})^{2}&(X_{1}-\mu _{1})(X_{2}-\mu _{2})&\cdots &(X_{1}-\mu _{1})(X_{n}-\mu _{n})\\\\(X_{2}-\mu _{2})(X_{1}-\mu _{1})&(X_{2}-\mu _{2})^{2}&\cdots &(X_{2}-\mu _{2})(X_{n}-\mu _{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\(X_{n}-\mu _{n})(X_{1}-\mu _{1})&(X_{n}-\mu _{n})(X_{2}-\mu _{2})&\cdots &(X_{n}-\mu _{n})^{2}\end{pmatrix}}\\\\&={\begin{pmatrix}\operatorname {Var} (X_{1})&\operatorname {Cov} (X_{1},X_{2})&\cdots &\operatorname {Cov} (X_{1},X_{n})\\\\\operatorname {Cov} (X_{2},X_{1})&\operatorname {Var} (X_{2})&\cdots &\operatorname {Cov} (X_{2},X_{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} (X_{n},X_{1})&\operatorname {Cov} (X_{n},X_{2})&\cdots &\operatorname {Var} (X_{n})\end{pmatrix}}\\\\&={\begin{pmatrix}\sigma _{1}^{2}&\sigma _{12}&\cdots &\sigma _{1n}\\\\\sigma _{21}&\sigma _{2}^{2}&\cdots &\sigma _{2n}\\\\\vdots &\vdots &\ddots &\vdots \\\\\sigma _{n1}&\sigma _{n2}&\cdots &\sigma _{n}^{2}\end{pmatrix}}\\\\&=\mathbf {\Sigma } \end{aligned}}}$

A várható értékek vektora és a kovarianciamátrix az eloszlás legfontosabb jellemzői- Megadásuk: ${\displaystyle X\;\sim \;({\boldsymbol {\mu }},\mathbf {\Sigma } )}$. A kovarianciamátrix, mint a kovarianciák mátrixa tartalmazza a koordináták szórásnégyzetét és a koordináták közötti lineáris kapcsolatot jellemző kovarianciákat.

A különböző elemek száma ${\displaystyle {\frac {n^{2}+n}{2}}}$ vagy ${\displaystyle {\frac {n^{2}-n+2}{2}}}$. Ha a ${\displaystyle X_{1},\ldots ,X_{n}}$ koordináták egyike sem degenerált, és nincs tökéletes kollinearitás, akkor a kovarianciamátrix pozitív definit.

Kapcsolat a várható értékkel

Ha ${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (X)}$ a valószínűségi vektorváltozó várható értéke, akkor

${\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} {\bigl (}(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }{\bigr )}\\&=\operatorname {E} (\mathbf {X} \mathbf {X} ^{\top })-{\boldsymbol {\mu }}{\boldsymbol {\boldsymbol {\mu }}}^{\top }\end{aligned}}}$.

Ahol a vektorok és mátrixok várható értékei koordinátánként értendők.

Egy ${\displaystyle {\boldsymbol {\mu }}}$ várható értékű és adott kovarianciamátrixú valószínűségi vektorváltozó szimulálható a következő módon: Elkészítjük a kovarianciamátrix például Choleski-felbontását:

${\displaystyle \operatorname {Cov} (\mathbf {X} )=\mathbf {D} \mathbf {D} ^{\top }}$.

Ekkor a valószínűségi vektorváltozó:

${\displaystyle \mathbf {X} =\mathbf {D} \mathbf {\xi } +{\boldsymbol {\mu }}}$

ahol ${\displaystyle \mathbf {\xi } }$ valószínűségi vektorváltozó, melynek koordinátái egymástól független normális eloszlásúak.

Két vektor kovarianciamátrixa

Két vektor kovarianciamátrixa

${\displaystyle \operatorname {Cov} (\mathbf {x} ,\mathbf {y} )=\operatorname {E} {\bigl (}(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {y} -{\boldsymbol {\nu }})^{\top }{\bigr )}}$

ahol ${\displaystyle {\boldsymbol {\mu }}}$ az ${\displaystyle \mathbf {x} }$ várható értéke és ${\displaystyle {\boldsymbol {\nu }}}$ az ${\displaystyle \mathbf {y} }$ várható értéke.

Tulajdonságai

• Ha ${\displaystyle i=j}$, akkor a mátrixkoordináták számításának módja az i-edik vektorkoordináta szórásnégyzetét adja. Tehát a főátlón a szórásnégyzetek állnak, így nem lehetnek negatívok.
• Valós kovarianciamátrix szimmetrikus, mivel a kovariancia szimmetrikus.
• A kovarianciamátrix pozitív szemidefinit. Szimmetriája miatt főtengely-transzformációkkal diagonalizálható, és az így kapott mátrix szintén kovarianciamátrix. Mivel a főátlón csak szórásnégyzetek állnak, azért ez pozitív szemidefinit, ezért az eredeti is az.
• Megfordítva, minden pozitív szemidefinit ${\displaystyle d\times d}$ méretű szimmetrikus mátrix kovarianciamátrix.
• A szimmetria, pozitív szemidefinitség és diagonalizálhatóság miatt a kovarianciamátrixok ellipszoidként ábrázolhatók.
• Minden ${\displaystyle \mathbf {A} \in \mathbb {R} ^{m\times n}}$ mátrixra és ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$ vektorra teljesül, hogy ${\displaystyle \operatorname {Cov} (\mathbf {A} \mathbf {X} +\mathbf {b} )=\mathbf {A} \,\operatorname {Cov} (\mathbf {X} )\mathbf {A} ^{\top }}$.
• Minden ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$ vektorra teljesül, hogy ${\displaystyle \operatorname {Cov} (\mathbf {X} +\mathbf {b} )=\operatorname {Cov} (\mathbf {X} )}$.
• Ha ${\displaystyle \mathbf {X} }$ és ${\displaystyle \mathbf {Y} }$ korrelálatlan valószínűségi vektorváltozók, akkor

${\displaystyle \operatorname {Cov} (\mathbf {X} +\mathbf {Y} )=\operatorname {Cov} (\mathbf {X} )+\operatorname {Cov} (\mathbf {Y} )}$.

• Standardizált valószínűségi vektorváltozók esetén a kovarianciamátrix a korrelációs együtthatókat tartalmazza.

Regresszió

Ha a regressziós modell alakja

${\displaystyle y_{it}={\boldsymbol {x}}_{it}^{T}{\boldsymbol {\beta }}+{\boldsymbol {e}}_{it}}$,

és az ${\displaystyle {\boldsymbol {e}}_{it}}$ hibatag idioszinkratikus, akkor a kovarianciamátrix

${\displaystyle {\begin{aligned}{\boldsymbol {\operatorname {V} }}(\mathbf {e} )=\operatorname {E} (\mathbf {e} \mathbf {e} ^{T})&={\begin{pmatrix}\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{N}^{\top })\\\\\vdots &\ddots &\vdots \\\\\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{N}^{\top })\end{pmatrix}}={\begin{pmatrix}\sigma _{11}\mathbf {I} _{T}&\cdots &\sigma _{1N}\mathbf {I} _{T}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}\mathbf {I} _{T}&\cdots &\sigma _{NN}\mathbf {I} _{T}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}&\cdots &\sigma _{1N}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}&\cdots &\sigma _{NN}\end{pmatrix}}\otimes \mathbf {I} _{T}\\\\&=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } \end{aligned}}}$

Hatékonysági kritérium

Egy pontbecslő hatékonysága illetve hatékonysága mérhető a kovarianciamátrixszal, mivel tartalmazza a különböző komponensek közötti kovarianciát. Általában, egy pontbecslő hatékonyságát a kovarianciamátrixszal mérik: minél kisebb a mátrix, annál jobb a becslés. Legyen ${\displaystyle {\tilde {\boldsymbol {\theta }}}}$ és ${\displaystyle {\hat {\boldsymbol {\theta }}}}$ torzítatlan ${\displaystyle (K\times 1)}$ valószínűségi vektorváltozó. Ha ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle (K\times 1)}$ méretű valószínűségi vektorváltozó, akkor ${\displaystyle \operatorname {Cov} ({\hat {\boldsymbol {\theta }}})}$ ${\displaystyle (K\times K)}$ méretű szimmetrikus pozitív definit mátrix. Azt mondjuk, hogy${\displaystyle \operatorname {Cov} ({\hat {\boldsymbol {\theta }}})}$ kisebb, mint ${\displaystyle \operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})}$, ha ${\displaystyle \operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})-\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})}$ pozitív szemidefinit.^[2]

Jegyzetek

Források

• Friedrich Schmid, Mark Trede: Finanzmarktstatistik. Springer-Verlag, Berlin 2006, ISBN 3-540-27723-4 (korlátozott előnézet a Google Könyvekben).

Fordítás

Ez a szócikk részben vagy egészben a Kovarianzmatrix című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.