Chapman-Robbins-Ungleichung

Die Chapman-Robbins-Ungleichung ist eine mathematische Aussage in der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Sie liefert für einen erwartungstreuen Schätzer eine untere Schranke für die Varianz des Schätzers und damit auch eine Abschätzung für seine Qualität. Unter zusätzlichen Regularitätsvoraussetzungen liefert die Chapman-Robbins-Ungleichung auch eine punktweise Version der Cramér-Rao-Ungleichung.

Die Ungleichung ist nach Douglas George Chapman und Herbert Robbins benannt.

Formulierung

Rahmenbedingungen

Gegeben sei ein statistisches Modell ( X , A , ( P ϑ ) ϑ Θ ) {\displaystyle (X,{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })} . Sei ϑ 0 Θ {\displaystyle \vartheta _{0}\in \Theta } fest und sei ( P ϑ ) ϑ Θ {\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }} von P ϑ 0 {\displaystyle P_{\vartheta _{0}}} dominiert, das heißt für alle ϑ Θ {\displaystyle \vartheta \in \Theta } existiert eine Dichtefunktion

f ϑ := d P ϑ d P ϑ 0 {\displaystyle f_{\vartheta }:={\frac {\mathrm {d} P_{\vartheta }}{\mathrm {d} P_{\vartheta _{0}}}}}

von P ϑ {\displaystyle P_{\vartheta }} bezüglich P ϑ 0 {\displaystyle P_{\vartheta _{0}}} .

Des Weiteren sei L 2 ( P ϑ 0 ) := L 2 ( X , A , P ϑ 0 ) {\displaystyle L^{2}(P_{\vartheta _{0}}):=L^{2}(X,{\mathcal {A}},P_{\vartheta _{0}})} die Menge aller bezüglich P ϑ 0 {\displaystyle P_{\vartheta _{0}}} quadratintegrierbaren Funktionen (siehe Lp-Raum) und D g {\displaystyle D_{g}} die Menge aller erwartungstreuen Schätzer für die Parameterfunktion g {\displaystyle g} .

Dann ist

D g ( ϑ 0 ) := D g L 2 ( P ϑ 0 ) {\displaystyle D_{g}(\vartheta _{0}):=D_{g}\cap L^{2}(P_{\vartheta _{0}})}

die Menge aller erwartungstreuen Schätzer für g {\displaystyle g} mit endlicher Varianz bezüglich P ϑ 0 {\displaystyle P_{\vartheta _{0}}} und

F ϑ 0 := { f ϑ | f ϑ L 2 ( P ϑ 0 ) } {\displaystyle {\mathcal {F}}_{\vartheta _{0}}:=\{f_{\vartheta }\,|\,f_{\vartheta }\in L^{2}(P_{\vartheta _{0}})\}}

die Menge aller Dichtefunktionen mit endlicher Varianz bezüglich P ϑ 0 {\displaystyle P_{\vartheta _{0}}} .

Aussage

Es gilt für alle T D g ( ϑ 0 ) {\displaystyle T\in D_{g}(\vartheta _{0})} :

Var ϑ 0 ( T ) sup f ϑ F ϑ 0 ( g ( ϑ ) g ( ϑ 0 ) ) 2 Var ϑ 0 ( f ϑ ) {\displaystyle \operatorname {Var} _{\vartheta _{0}}(T)\geq \sup _{f_{\vartheta }\in {\mathcal {F}}_{\vartheta _{0}}}{\frac {\left(g(\vartheta )-g(\vartheta _{0})\right)^{2}}{\operatorname {Var} _{\vartheta _{0}}(f_{\vartheta })}}}

Übergang zur Cramér-Rao-Ungleichung

Unter den folgenden Bedingungen liefert die Chapman-Robbins-Ungleichung eine punktweise Version der Cramér-Rao-Ungleichung:

  • Für alle x X {\displaystyle x\in X} existiert die Ableitung   ϑ f ϑ ( x ) {\displaystyle {\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)}   in   ϑ 0 {\displaystyle \vartheta _{0}} .
  • Der Quotient   f ϑ 1 ϑ ϑ 0 {\displaystyle {\frac {f_{\vartheta }-1}{\vartheta -\vartheta _{0}}}}   konvergiert für ϑ ϑ 0 {\displaystyle \vartheta \to \vartheta _{0}} in L 2 ( P ϑ 0 ) {\displaystyle L^{2}(P_{\vartheta _{0}})} gegen   ϑ f ϑ | ϑ = ϑ 0 {\displaystyle {\frac {\partial }{\partial \vartheta }}f_{\vartheta }|_{\vartheta =\vartheta _{0}}} .
  • Die Parameterfunktion g : Θ R {\displaystyle g\colon \Theta \rightarrow \mathbb {R} }   ist in ϑ 0 {\displaystyle \vartheta _{0}} differenzierbar.

Aus diesen Voraussetzungen folgt

lim ϑ ϑ 0 g ( ϑ ) g ( ϑ 0 ) ϑ ϑ 0 = g ( ϑ 0 ) {\displaystyle \lim _{\vartheta \to \vartheta _{0}}{\frac {g(\vartheta )-g(\vartheta _{0})}{\vartheta -\vartheta _{0}}}=g'(\vartheta _{0})}

sowie

lim ϑ ϑ 0 Var ϑ 0 ( f ϑ ) ( ϑ ϑ 0 ) 2 = I ( ϑ 0 ) {\displaystyle \lim _{\vartheta \to \vartheta _{0}}{\frac {\operatorname {Var} _{\vartheta _{0}}(f_{\vartheta })}{(\vartheta -\vartheta _{0})^{2}}}=I(\vartheta _{0})} ,

wobei I ( ϑ 0 ) {\displaystyle I(\vartheta _{0})} die Fisher-Information im Punkt ϑ 0 {\displaystyle \vartheta _{0}} ist.

Aus der Chapman-Robbins-Ungleichung folgt dann,

Var ϑ 0 ( T ) ( g ( ϑ 0 ) ) 2 I ( ϑ 0 ) {\displaystyle \operatorname {Var} _{\vartheta _{0}}(T)\geq {\frac {(g'(\vartheta _{0}))^{2}}{I(\vartheta _{0})}}} ,

die Cramér-Rao-Ungleichung im Punkt ϑ 0 {\displaystyle \vartheta _{0}} .

Literatur

  • Douglas G. Chapman & Herbert Robbins: Minimum Variance Estimation Without Regularity Assumptions. In: Annals of Mathematical Statistics. Band 22, Nr. 4, 1951, S. 581–586, doi:10.1214/aoms/1177729548, JSTOR:2236927. 
  • Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.