Maximum-L-Schätzer < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 13:08 Mo 28.05.2007 | | Autor: | Riley |
| Aufgabe | Es seien [mm] P_{\theta} [/mm] die Wahrscheinlichkeitsmaße mit den Dichten [mm] f_{\theta}: [/mm] R -> R_+, [mm] f_{\theta}(u) [/mm] = 2 [mm] \theta [/mm] u [mm] exp(-\theta u^2), [/mm] u> 0 (und 0 sonst) zu den Parametern [mm] \theta \in (0,\infty) [/mm] und [mm] (\cal{X} [/mm] ^n, [mm] \cal{A} [/mm] ^n, [mm] (P_{\theta} [/mm] ^n)) das Produktmodell mit den Koordinatenabbildungen [mm] X_k: X^n \rightarrow [/mm] X.
(a) Bestimmen Sie den Maximum-Likelikood-Schätzer für [mm] \theta [/mm] -> [mm] \theta
[/mm]
(b) Zeige, dass [mm] \frac{1}{n}(X_1^2 [/mm] + ... + [mm] X_n^2) [/mm] ein erwartungstreuer und konsistenter Schätzer für [mm] \theta [/mm] -> [mm] \theta^{-1} [/mm] ist. |
Hallo liebe Mathe-freunde,
könnt ihr mir bei dieser Aufgabe weiterhelfen?
Ich hab zwar die Def. aber komm damit nicht weiter:
Ein Schätzer T: [mm] \cal{X} \rightarrow \Theta [/mm] für [mm] k(\theta)=\theta [/mm] heißt Max-Likelihood-Schätzer, falls gilt:
[mm] \rho(x,T(x)) [/mm] = [mm] \max_{\theta \in \Theta} k(x,\theta) [/mm] für alle x [mm] \in \cal{X}.
[/mm]
Freu mich über alle Tipps!
Viele Grüße,
Riley
|
|
| |
|
Hallo hallo.
Für einen ML-Schätzer braucht man erst mal Meßwerte der Zufallsvariablen, deren Verteilung die angegebene Dichte hat. Sei X diese ZV mit Dichte [mm] f(\theta;x), [/mm] und [mm] {y_1,...,y_m} [/mm] die (reellen) Meßwerte. Dann ist die Likelihood-Funktion der ZV X zu diesen Meßwerten
[mm] L(X;y_1,...,y_m) [/mm] = [mm] f(\theta,y_1)*...*f(\theta,y_m)
[/mm]
Die Log-Likelihood-Funktion lautet
[mm] l(X;y_1,...,y_m) [/mm] = [mm] log(L(X;y_1,...,y_m)) [/mm] = [mm] log(f(\theta,y_1))+...+log(f(\theta,y_m))
[/mm]
log ist irgendein Logarithmus, normalerweise der natürliche.
Was jetzt zu tun ist: Suche das [mm] \theta>0, [/mm] das die Log-Likelihood-Funktion maximiert. Also hier ne einfache Extremwertsuche in einer Veränderlichen.
Wenn ich mich nicht verrechnet hab, kommt (wie es Teil (b) ja vermuten läßt) als ML-Schätzer raus
[mm] \theta_{ML} [/mm] = [mm] \bruch{m}{y_1^2+...+y_m^2}
[/mm]
m ist dort halt n...
Ich finde diese Formulierung mit den Koordinatenabbildungen etwas verwirrend. Das sind einfach n ZV [mm] X_i [/mm] mit derselben Verteilungsfunktion bzw. Dichte, deren Auswertung eben die [mm] y_1,...,y_n [/mm] ergeben haben. Ist verständlicher für mich.
Dann würd ich auch eher sagen, das ist ein Schätzer für den Parameter [mm] \theta, [/mm] nicht für die Abbildung [mm] \theta \mapsto \theta. [/mm] Aber wenn ihr das so macht, dann solltest Du das auch so schreiben...
Naja, für (b) bleibt dann zu zeigen, daß der EW von [mm] (X_1^2+...+X_n^2)/n [/mm] gerade gegen [mm] 1/\theta_{ML} [/mm] konvergiert (bei n [mm] \to \infty). [/mm] Konsistenz ist etwas komplizierter, weiß ich gerade nicht ausm Kopf, aber Du hast ja schlaue Bücher 
Gruß
To
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 14:47 Mo 28.05.2007 | | Autor: | Riley |
Hi Torsten,
vielen vielen Dank für deine Erklärungen!
Ich find diese ganzen Bezeichnung auch ziemlich verwirrend...
Also hab ich das so richtig verstanden, ich muss die Dichte in die Log-Fkt einsetzen, und dann schauen wo die Fkt ihr Maximum annimmt:
[mm] L(X,y_1,...,y_m) [/mm] = ln(2) + [mm] ln(\theta) [/mm] + [mm] ln(y_1) [/mm] - [mm] \theta y_1^2 [/mm] + .... + ln(2) + [mm] ln(\theta) [/mm] + [mm] ln(y_m) [/mm] - [mm] \theta y_m^2 [/mm] ?
aber wie kommst du auf dieses [mm] \Theta [/mm] '?
wenn ich das ganze nach [mm] \theta [/mm] ableite:
[mm] \frac{1}{\theta} [/mm] - [mm] y_{1}^{2} [/mm] + ... + [mm] \frac{1}{\theta} [/mm] - [mm] y_m^2 [/mm] = [mm] \frac{1}{\theta} [/mm] ( [mm] -y_1^2 [/mm] - ... - [mm] y_m^2) \stackrel{!}{=} [/mm] 0 ??
was hab ich falsch gemacht?
yea, schlaue Bücher schon *lol* aber leider keine guten Beispiele darin.
Aber die Def. hab ich:
Für jedes n [mm] \in \mathb{N} [/mm] seien [mm] (\cal{X_n}, \cal{A_n}, P_{m,\theta}) [/mm] sien statistisches Modell und [mm] T_n: \cal{X_n} [/mm] -> [mm] \mathb{R} [/mm] ein Schätzer k: [mm] \Theta [/mm] -> [mm] \mathb{R}.
[/mm]
Die Folge [mm] (T_n: [/mm] n [mm] \in \mathb{N}) [/mm] von Schätzern heißt konsistent falls
[mm] \lim_{n \rightarrow \infty} P_{n,\theta}(|T_n [/mm] - [mm] k(\theta)| \geq \epsilon) [/mm] =0 für alle [mm] \epsilon [/mm] >0.
Das ist ja fast stochastische Konvergenz, aber wie kann man das zeigen?
Viele Grüße,
Riley
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 16:03 Di 29.05.2007 | | Autor: | luis52 |
Moin Riley,
die von dir betrachtete Verteilung ist ein Spezialfall der
Weibullverteilung, siehe
![[]](/images/popup.gif) http://mathworld.wolfram.com/WeibullDistribution.html
ab Gleichung (12).
Die Zufallsvariable [mm] $(X_1^2+\dots+X_n^2)/n$
[/mm]
kannst du als arithmetisches Mittel aus einer Grundgesamtheit
begreifen, deren Erwartungswert [mm] $1/\theta$ [/mm] ist, siehe in dem Link
Formel (15). Beachte nun, dass jedes arithmetische Mittel
[mm] $(Y_1+...+Y_n)/n$ [/mm] erwartungstreu und konsistent ist fuer [mm] $\mbox{E}[Y_1]$,
[/mm]
sofern die notwendigen Momente existieren. Letzteres ist hier der Fall,
da wir es im Grunde mit einer Weibull-Verteilung zu tun haben.
lg
Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 20:57 Di 29.05.2007 | | Autor: | Riley |
Hi Luis,
vielen Dank für deine Antwort und den Link. Das ist ja eine interessante Seite. Ich denke nur, dass ich das selbst nachrechnen muss, da wir diese weibull distribution ja noch nicht hatten.
Aber wir haben heute noch einen Tipp bekommen.
Für die Erwartungstreue sollen wir berechnen:
[mm] E[T_n] [/mm] = [mm] E[X_1^2] [/mm] = [mm] \int u^2 f_{\theta}(u) [/mm] du
Hab das mal versucht mit partieller Integration [mm] (g(u)=exp(-\theta u^2), [/mm] f'(u)= [mm] u^3) [/mm] - damit solls angeblich funktionieren, aber das Integral wird doch nur komplizierter:
[mm] \int u^3 e^{-\theta u^2} [/mm] du = [mm] \frac{1}{4} u^4 e^{-\theta u^2} [/mm] - [mm] \int [/mm] (-2) [mm] \theta [/mm] u [mm] e^{-\theta u^2} \frac{1}{4} u^4 [/mm] du ??
Der Beweis für die Konsistenz soll mit Hilfe der Tschebey-Unglg funktionieren:
lim [mm] P(|T_n [/mm] - [mm] \tau(\theta)| \geq \epsilon), [/mm] wobei [mm] \tau(\theta)=E[T_1]
[/mm]
Hast du mir für diese beiden Wege noch eine Hilfestellung?
das wär echt super!!
Viele Grüße,
Riley
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 21:39 Di 29.05.2007 | | Autor: | luis52 |
Hallo Riley,
ich meine, dass du mit der Substitution [mm] $v=\theta u^2$,
[/mm]
[mm] $u=(v/\theta)^{1/2}$, $dv/du=2\theta [/mm] u$, [mm] $du=dv/(2\theta(v/\theta)^{1/2})$
[/mm]
ganz gut weiterkommst:
[mm] \begin{matrix}
\mbox{E}[X^n] &=&
\int_0^{\infty}2\theta u^{n+1}e^{-\theta u^2}\, du\\
&=&2\theta \int_0^{\infty} \left(\frac{v}{\theta}\right)
^{(n+1)/2}e^{-v} \frac{dv}{2\theta\left(\frac{v}{\theta}\right)^{1/2}}
\\
&=& \int_0^{\infty} \left(\frac{v}{\theta}\right)
^{n/2}e^{-v}\,dv \\
&=&\frac{1}{\theta^{n/2}}\int_0^{\infty} v^{n/2}e^{-v}\,dv \\
&=&\frac{1}{\theta^{n/2}}\Gamma\left(\frac{n}{2}+1\right)\,.
\end{matrix}
[/mm]
Die Tschebyschewsche Ungleichung besagt
[mm] $P(|\bar X-\tau(\theta)|\le \varepsilon)\ge 1-\frac{\mbox{Var}[X_1]}{n\varepsilon^2}$
[/mm]
fuer alle [mm] $\varepsilon>0$. [/mm] Betrachte diese Ungleichung für [mm] $n\to\infty$...
[/mm]
lg
Luis
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 22:53 Di 29.05.2007 | | Autor: | Riley |
Hallo Luis,
besten vielen Dank für deine Hilfe!! Das ist ja ganz schön kompliziert - aber eine sehr coole Lösung! *freu* =) Aber warum darfst du für [mm] u^3 [/mm] einfach [mm] u^{n+1} [/mm] schreiben...?
und seh ich das richtig: [mm] \frac{1}{\theta^{n/2}}\Gamma\left(\frac{n}{2}+1\right) [/mm] = [mm] \frac{1}{\theta} [/mm] ?? (also für n=2?)
Das mit der Ungleichung ist mir noch nicht klar.
Ich kenn sie erstmal so:
P(|X-E[X]| [mm] \geq \epsilon) \leq \frac{1}{\epsilon^2} [/mm] Var(X)
d.h. [mm] P(|T_n [/mm] - [mm] E[T_1]| \geq \epsilon) \leq \frac{1}{\epsilon^2} Var[T_1]=\frac{1}{\epsilon^2} Var[X_1^2]
[/mm]
Wie kommst du auf das n und deine Ungleichung?
Viele Grüße,
Riley
edit: hab noch eine Frage:
könnte man das nicht auch so argumentieren:
[mm] P(|T_n [/mm] - [mm] E[T_1]| \geq \epsilon) \leq \frac{1}{n\epsilon^2} Var[X_1^2] \stackrel{n \rightarrow \infty}{\rightarrow} [/mm] 0 ?
nur wie gesagt, wo das n herkommt versteh ich noch nicht... *grübel* ??
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 06:27 Mi 30.05.2007 | | Autor: | luis52 |
Moin Riley,
> warum darfst du für [mm]u^3[/mm] einfach [mm]u^{n+1}[/mm] > schreiben...?
habe meine Loesung etwas ergaenzt, um deutlich zu machen, dass [mm] $\mbox{E}[X^n]$ [/mm] berechnet wird.
> und seh ich das richtig:
> [mm]\frac{1}{\theta^{n/2}}\Gamma\left(\frac{n}{2}+1\right)[/mm] =
> [mm]\frac{1}{\theta}[/mm] ?? (also für n=2?)
Ja.
>
> Das mit der Ungleichung ist mir noch nicht klar.
> Ich kenn sie erstmal so:
> P(|X-E[X]| [mm]\geq \epsilon) \leq \frac{1}{\epsilon^2}[/mm]
> Var(X)
>
> d.h. [mm]P(|T_n[/mm] - [mm]E[T_1]| \geq \epsilon) \leq \frac{1}{\epsilon^2} Var[T_1]=\frac{1}{\epsilon^2} Var[X_1^2][/mm]
>
> Wie kommst du auf das n und deine Ungleichung?
Dies ist die allgemeine Form der TU. In deinem Fall ist
[mm] $T_n=(X_1^2+...+X_n^2)/n$, [/mm] so dass [mm] $\mbox{Var}[T_n]=\mbox{Var}[T_1]/n$. [/mm]
> edit: hab noch eine Frage:
>
> könnte man das nicht auch so argumentieren:
> [mm]P(|T_n[/mm] - [mm]E[T_1]| \geq \epsilon) \leq \frac{1}{n\epsilon^2} Var[X_1^2] \stackrel{n \rightarrow \infty}{\rightarrow}[/mm]
> 0 ?
Ja.
lg
Luis
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 08:24 Mi 30.05.2007 | | Autor: | Riley |
GUten Morgen Luis,
Besten Dank für deine Hilfe!!!
Viele Grüße,
Riley
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 12:12 Mi 30.05.2007 | | Autor: | Riley |
Hi Luis,
sorry, hab doch noch mal ne Frage:
Warum gilt [mm] Var[T_n]=\frac{1}{n} Var(T_1) [/mm] ?
Bei dem Erwartungswert hab ich mir das so überlegt:
E[T] = [mm] \frac{1}{n} E[X_1²] [/mm] + ... + [mm] \frac{1}{n} E[X_n²] [/mm] = [mm] \frac{1}{n} [/mm] n [mm] E[X_1²] [/mm] = [mm] E[X_1²] [/mm]
Stimmt das so? Weil die [mm] X_i [/mm] die gleiche Verteilung haben?
Nur bei der Varianz versteh ich das noch nicht, es gibt doch diese Regel, dass
Var(aX+b)= a² Var(X). Wie funktioniert das hier? und wie siehst du das so schnell...?
Viele Grüße,
Riley
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:43 Mi 30.05.2007 | | Autor: | luis52 |
Hallo Riley,
Wenn die Zufallsvariablen [mm] $Y_1,...,Y_n$ [/mm] unabhaengig und identisch
verteilt sind mit [mm] $\mbox{Var}[Y_i]=\mbox{Var}[Y_1]=b^2$, [/mm] so ist
[mm] \begin{matrix}
\mbox{var}[(Y_1+...+Y_n)/n]&=&(\mbox{var}[Y_1]+...+\mbox{var}[Y_n])/n^2 \\
&=&nb^2/n^2 \\
&=&b^2/n \\
\end{matrix}
[/mm]
Diese Eigenschaft das arithmetischen Mittels firmiert
unter dem Namen "Wurzel-n-Gesetz".
lg
Luis
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 16:47 Di 29.05.2007 | | Autor: | Riley |
hab nun das gleiche Ergebnis für den Schätzer wie Torsten, es ist natürlich besser zuerst alles zusammen zu fassen bevor man den log anwendet...
|
|
|
| |
|
Nochmal ich...
Ein Schätzer ist ja selbst wieder eine ZV, also ist der ML-Schätzer die ZV
[mm] \bruch{m}{X_1^2+...+X_n^2}
[/mm]
So ist's wohl besser.
|
|
|
|
