Kolmogorow-Verteilung

Die Kolmogorow-Verteilung ist eine stetige Wahrscheinlichkeitsverteilung, die als Grenzverteilung einer Teststatistik des Kolmogorow-Smirnow-Anpassungstests für einen über alle Grenzen wachsenden Stichprobenumfang auftritt.

Definition

Eine stetige Zufallsvariable $X$ heißt Kolmogorow-verteilt, falls sie die Verteilungsfunktion

P(X\leq x)=K(x):={\begin{cases}1-2\sum \limits _{k=1}^{\infty }(-1)^{k-1}e^{-2k^{2}x^{2}}&{\text{für }}x>0\\0&{\text{für }}x\leq 0\end{cases}},\quad x\in \mathbb {R}

hat.^[1]^[2] Die zugehörige Wahrscheinlichkeitsverteilung heißt Kolmogorow-Verteilung.

Eigenschaften

Kolmogorow-Verteilungsfunktion (rot) und

x\mapsto 1-2e^{-2x^{2}}

(blau)

Eine alternative Summendarstellung der Verteilungsfunktion^[3]^[4] ist

K(x)={\frac {1}{x{\sqrt {2\pi }}}}\sum _{k=1}^{\infty }\exp \left(-{\frac {(2k-1)^{2}\pi ^{2}}{8x^{2}}}\right),\quad x>0\;.

Diese alternative Darstellung ist für numerische Berechnungen in bestimmten Fällen günstiger.^[3]

Für eine Kolmogorow-verteilte Zufallsvariable $X$ gilt

P(X>0)=1\;.

Die Zufallsvariable $X$ hat den Erwartungswert

\mathbb {E} [X]={\sqrt {\frac {\pi }{2}}}\ln(2)

und die Varianz

\mathrm {Var} [X]={\frac {\pi ^{2}}{12}}-{\frac {\pi }{2}}\ln ^{2}(2)\;.

^[3]

Anwendung

Die Kolmogorow-Verteilung wird als approximative Wahrscheinlichkeitsverteilung der Teststatistik für die Durchführung eines approximativen Kolmogorow-Smirnow-Anpassungstests verwendet, falls der Stichprobenumfang hinreichend groß ist, um die asymptotische Verteilung der Teststatistik – nämlich die Kolmogorow-Verteilung – zu verwenden. Die $(1-\alpha )$ -Quantile der Kolmogorow-Verteilung für $\alpha =0.20,0.10,0.05,0.02,0.01$ sind näherungsweise $1.073,1.224,1.358,1.517,1.628$ .^[5]

Eine Approximation der Verteilungsfunktion ergibt sich, wenn nur der erste Summand für $k=1$ verwendet wird,

K(x)\approx K^{(1)}(x)=1-2e^{-2x^{2}},\quad x>0.

Das $(1-\alpha )$ -Quantil $k_{1-\alpha }$ der Kolmogorow-Verteilung ergibt sich dann näherungsweise als Lösung der Gleichung $\alpha =2e^{-2x^{2}}$ . Dies führt zur Näherungsformel

k_{1-\alpha }\approx {\sqrt {-{\frac {1}{2}}\ln \left({\frac {\alpha }{2}}\right)}}

,

die zu Werten führt, die bis zur dritten Nachkommastelle mit den oben angegebenen Tabellenwerten übereinstimmen. Manchmal wird diese Formel angegeben, ohne klarzustellen, dass es sich um eine doppelte Approximation handelt.^[6] Die asymptotische Verteilung wird für endlichen Stichprobenumfang verwendet und dabei wird nur die Approximation $K_{1}(x)$ der Kolomogorow-Verteilung verwendet. Wie der Vergleich der Funktionen $K$ und $K^{(1)}$ in der Abbildung zeigt, ist die Approximation $K^{(1)}$ zur Quantilbestimmung nur für hinreichend kleine Werte von $\alpha$ , z. B. für $\alpha <1/2$ , anwendbar. Insbesondere ist die Approximation $K^{(1)}$ keine Verteilungsfunktion.

Theoretischer Hintergrund

Die reellwertigen Zufallsvariablen $X_{1},\dots ,X_{n}$ seien stochastisch unabhängig und identisch verteilt mit der stetigen Verteilungsfunktion $F$ .

Dann hängt die Wahrscheinlichkeitsverteilung der Stichprobenfunktion

K_{n}={\sqrt {n}}\sup _{x\in \mathbb {R} }|{\tilde {F}}_{n}(x)-F(x)|\;,

wobei

{\tilde {F}}_{n}(x):={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{(-\infty ,x]}(X_{i}),\quad x\in \mathbb {R}

die zufällige empirische Verteilungsfunktion bezeichnet, nicht von

F

ab.

K_{n}

ist also bezüglich der Klasse aller stetigen Verteilungsfunktionen eine verteilungsfreie Statistik.

Außerdem konvergiert die Folge $(K_{n})_{n\in \mathbb {N} }$ in Verteilung gegen die Kolmogorow-Verteilung, es gilt daher

\lim _{n\to \infty }P(K_{n}\leq x)=K(x),\quad {\text{für alle }}x\in \mathbb {R}

.

$K_{n}$ ist die Teststatistik des Kolmogorov-Smirnov-Anpassungstest für den Stichprobenumfang $n$ . Sie heißt auch Kolmogorow-Smirnow-Statistik. Es gibt Tabellen für Quantile der Verteilung von $K_{n}$ .^[7]

Für große Stichprobenumfänge können die Quantile der Kolmogorow-Verteilung verwendet werden.^[5] Es gibt eine Tabelle für Werte der Verteilungsfunktion der Kolomogorov-Verteilung.^[8]

Literatur

Kevin Ford: From Kolmogorov’s theorem on empirical distribution to number theory. In: Eric Charpentier, Annick Lesne, Nikolai Kapitonowitsch Nikolski (Hrsg.): Kolmogorov’s Heritage in Mathematics. Springer, Berlin / Heidelberg 2007, ISBN 978-3-540-36349-1, S. 97–108, doi:10.1007/978-3-540-36351-4_5.
A. Kolmogoroff: Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91 (italienisch, sbn.it).

A. Kolmogorov: On the Empirical Determination of a Distribution Function. In: Samuel Kotz, Norman L. Johnson (Hrsg.): Breakthroughs in Statistics, Volume II – Methodology and Distribution. Springer-Verlag, Berlin / Heidelberg / New York 1992, ISBN 3-540-94037-5, S. 106–113, doi:10.1007/978-1-4612-4380-9_10 (Übersetzt aus dem Italienischen von Quirino Meneghini, 1990).

P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Kolmogorow-Verteilung, S. 188–189, 627.
M. A. Stephens: Introduction to Kolmogorov (1933) On the Empirical Determination of a Distribution Function. In: Samuel Kotz, Norman L. Johnson (Hrsg.): Breakthroughs in Statistics, Volume II – Methodology and Distribution. Springer-Verlag, Berlin / Heidelberg / New York 1992, ISBN 3-540-94037-5, S. 93–105, doi:10.1007/978-1-4612-4380-9_9.

Einzelnachweise und Anmerkungen

↑ Die leicht abweichende Darstellung
$K(x)=\sum \limits _{j=-\infty }^{\infty }(-1)^{j}e^{-2j^{2}x^{2}},\quad x>0$
findet sich im Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188. In dieser Form wurde die Verteilungsfunktion auch durch Kolmogorow in der Originalarbeit angegeben: A. Kolmogoroff: Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91, S. 91 (italienisch, sbn.it). Diese ist äquivalent zur oben angegebenen Form.
↑
Eine - vermutlich fehlerhafte – Darstellung der Verteilungsfunktion $K(x)$ mit $e^{-k^{2}x^{2}}$ anstelle von $e^{-2k^{2}x^{2}}$ findet sich in den beiden folgenden Quellen:
- N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, S. 279, JSTOR:2236278.
- William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265.
Andererseits findet sich die in der Definition angegebene Form der Verteilungsfunktion mit dem Faktor 2 im Exponenten auch in diesen Quellen:
- Anirban DasGupta: Asymptotic Theory of Statistics and Probability. Springer, New York 2008, ISBN 978-0-387-75970-8, S. 425, doi:10.1007/978-0-387-75971-5.
- Jaroslav Hájek, Zbyněk Šidák, Pranab K. Sen: Theory of Rank Tests. 2. Auflage. Academic Press, San Diego et al. 1999, ISBN 978-0-12-642350-1, S. 247, doi:10.1016/B978-0-12-642350-1.X5017-6.
- Robert J. Serfling: Approximation Theorems of Mathematical Statistics. Wiley, New York 1980, ISBN 0-471-21927-4, S. 62.
- Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986, S. 142 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).
↑ ^a ^b ^c Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188.
↑ William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265.
↑ ^a ^b Z. B. Lexikon der Stochastik: Tafel XIII B: Kolmogorow-Test: Quantile der Kolmogorow-Verteilung. S. 627.
↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik. Methodensammlung mit R. 17. Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-62293-3, S. 496, doi:10.1007/978-3-662-62294-0.
↑ Z. B. Lexikon der Stochastik: Tafel XIII A: Kolmogorow-Test: Quantile $k_{n;1-\alpha }$ . S. 625–626.
↑ N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, JSTOR:2236278. Diese Tabelle wurde zuerst abgedruckt in N. Smirnov: On the estimation of the discrepancy between empirical curves of distribution for two independent samples. In: Bulletin Mathématique de l'Université Moscou. Band 2, Nr. 2, 1939. Die Tabelle ist wiederabgedruckt auf S. 143 in Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).

[1] Die leicht abweichende Darstellung
$K(x)=\sum \limits _{j=-\infty }^{\infty }(-1)^{j}e^{-2j^{2}x^{2}},\quad x>0$
findet sich im Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188. In dieser Form wurde die Verteilungsfunktion auch durch Kolmogorow in der Originalarbeit angegeben: A. Kolmogoroff: Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91, S. 91 (italienisch, sbn.it). Diese ist äquivalent zur oben angegebenen Form.

[2] Eine - vermutlich fehlerhafte – Darstellung der Verteilungsfunktion $K(x)$ mit $e^{-k^{2}x^{2}}$ anstelle von $e^{-2k^{2}x^{2}}$ findet sich in den beiden folgenden Quellen:
N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, S. 279, JSTOR:2236278.

William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265.
Andererseits findet sich die in der Definition angegebene Form der Verteilungsfunktion mit dem Faktor 2 im Exponenten auch in diesen Quellen:
Anirban DasGupta: Asymptotic Theory of Statistics and Probability. Springer, New York 2008, ISBN 978-0-387-75970-8, S. 425, doi:10.1007/978-0-387-75971-5.

Jaroslav Hájek, Zbyněk Šidák, Pranab K. Sen: Theory of Rank Tests. 2. Auflage. Academic Press, San Diego et al. 1999, ISBN 978-0-12-642350-1, S. 247, doi:10.1016/B978-0-12-642350-1.X5017-6.

Robert J. Serfling: Approximation Theorems of Mathematical Statistics. Wiley, New York 1980, ISBN 0-471-21927-4, S. 62.

Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986, S. 142 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).

[3] N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, S. 279, JSTOR:2236278.

[4] William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265.

[5] Anirban DasGupta: Asymptotic Theory of Statistics and Probability. Springer, New York 2008, ISBN 978-0-387-75970-8, S. 425, doi:10.1007/978-0-387-75971-5.

[6] Jaroslav Hájek, Zbyněk Šidák, Pranab K. Sen: Theory of Rank Tests. 2. Auflage. Academic Press, San Diego et al. 1999, ISBN 978-0-12-642350-1, S. 247, doi:10.1016/B978-0-12-642350-1.X5017-6.

[7] Robert J. Serfling: Approximation Theorems of Mathematical Statistics. Wiley, New York 1980, ISBN 0-471-21927-4, S. 62.

[8] Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986, S. 142 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).

[Lex-188-3] Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188.

[4] William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265.

[Lex-627-5] Z. B. Lexikon der Stochastik: Tafel XIII B: Kolmogorow-Test: Quantile der Kolmogorow-Verteilung. S. 627.

[6] Lothar Sachs, Jürgen Hedderich: Angewandte Statistik. Methodensammlung mit R. 17. Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-62293-3, S. 496, doi:10.1007/978-3-662-62294-0.

[7] Z. B. Lexikon der Stochastik: Tafel XIII A: Kolmogorow-Test: Quantile $k_{n;1-\alpha }$ . S. 625–626.

[8] N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, JSTOR:2236278. Diese Tabelle wurde zuerst abgedruckt in N. Smirnov: On the estimation of the discrepancy between empirical curves of distribution for two independent samples. In: Bulletin Mathématique de l'Université Moscou. Band 2, Nr. 2, 1939. Die Tabelle ist wiederabgedruckt auf S. 143 in Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]