Pseudoinverse < Lineare Algebra < Hochschule < Mathe < Vorhilfe
|
Hallo,
ich habe eine grundsätzliche Frage. Ich lerne gerade für eine Optimierungsklausur ( die ich leider schon morgen schreibe) und bin in einem Algorithmus über den Begriff Singulärwertzerlegung / Pseudoinverse gestolpert. Was genau ist das und wie berechne ich das? Ich weiß schon das dafür A=U*S*V' sein soll und das S eine Diagonalmatrix ist, aber wie berechne ich S, U und V das wird mir daraus leider nicht klar. WAs genau ist die Pseudoinverse eigentlich? Sorry für die so kurzfristige Frage und vielen Dank an alle die mir helfen können.
Sternschnuppe
|
|
| |
|
Hallo!
Also, allzu viel kann ich dir da leider nicht sagen, aber bevor du gar keine Antwort bekommst, schreibe ich mal ein kleines bisschen:
> Hallo,
> ich habe eine grundsätzliche Frage. Ich lerne gerade für
> eine Optimierungsklausur ( die ich leider schon morgen
> schreibe) und bin in einem Algorithmus über den Begriff
> Singulärwertzerlegung / Pseudoinverse gestolpert. Was genau
> ist das und wie berechne ich das? Ich weiß schon das dafür
> A=U*S*V' sein soll und das S eine Diagonalmatrix ist, aber
> wie berechne ich S, U und V das wird mir daraus leider
> nicht klar. WAs genau ist die Pseudoinverse eigentlich?
> Sorry für die so kurzfristige Frage und vielen Dank an
> alle die mir helfen können.
> Sternschnuppe
Also, zur Singulärwertzerlegung habe ich gerade ![[]](/images/popup.gif) das hier gefunden. Leider kenne ich mich damit nicht wirklich aus, aber vielleicht hilft es ja.
Ansonsten kenne ich die Pseudoinverse so definiert:
[mm] A^{+} [/mm] = [mm] (A^TA)^{-1}A^T
[/mm]
Ansonsten hilft dir evtl. noch dieser Link hier.
Pseudoinverse heißt das Ding glaube ich, weil es, mit A multipliziert die Einheitsmatrix ergibt, aber nicht unbedingt quadratisch ist, also quasi eine Inverse auch für nicht quadratische Matrizen (ich hoffe, ich irre mich jetzt nicht).
Hast du denn schon mal gegoogelt? Zur Pseudoinversen findet man eigentlich einiges.
Viele Grüße und viel Erfolg bei deiner Klausur
Bastiane
![[banane]](/images/smileys/banane.gif "[banane]")
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 12:10 Fr 15.07.2005 | | Autor: | Julius |
Hallo!
Ich werde mal versuchen das Wichtigste kurz und bündig zusammenzufassen.
Zunächst zur Singulärwertzerlegung:
Definition
Es sei $A$ eine reelle $(m [mm] \times [/mm] n)$-Matrix. Eine Zerlegung der Form
[mm] $A=U\Sigma V^T$,
[/mm]
in der $U [mm] \in \IR^{m \times m}$ [/mm] und $V [mm] \in \IR^{n \times n}$ [/mm] orthogonale Matrizen und die $(m [mm] \times [/mm] n)$-Matrix [mm] $\Sigma= [/mm] ( [mm] \sigma_i \delta_{ij})_{i=1,\ldots,m;j=1,\ldots,n}$ [/mm] eine Diagonalmatrix sind, heißt eine Singulärwertzerlegung von $A$.
Satz über die Existenz einer Singulärwertzerlegung
Es sei $A [mm] \in \IR^{m \rims n}$ [/mm] mit $Rang(A)=r$. Ferner seien [mm] $\lambda_1 \ge \lambda_2 \ge \ldots \ge \lambda_r [/mm] > 0 = [mm] \lambda_{r+1} [/mm] = [mm] \ldots [/mm] = [mm] \lambda_n$ [/mm] die Eigenwerte von $A^TA$ und [mm] $v^1,\, v^2,\ldots, \, v^n$ [/mm] ein Orthonormalsystem von Eigenvektoren. Dann ist
[mm] $u^j [/mm] := [mm] \frac{1}{\sigma_j}Av^j$
[/mm]
mit
[mm] $\sigma_j:=\sqrt{\lambda_j}$ ($j=1,\ldots,r$)
[/mm]
ein Orthonormalsystem von Eigenvektoren von [mm] $AA^T$ [/mm] zu den Eigenwerten [mm] $\lambda_1,\, \lambda_2,\ldots,\, \lambda_r$, [/mm] das zu einem Orthormalsystem [mm] $u^1,\, u^2,\ldots,u^m$ [/mm] von Eigenvektoren der Matrix [mm] $AA^T$ [/mm] ergänzt werden kann. Setzt man
[mm] $V=(v^1,v^2,\ldots,v^n)$,
[/mm]
$U = [mm] (u^1,u^2,\ldots,u^m)$
[/mm]
und
[mm] $\Sigma=(\sigma_i \delta_{ij})_{i=1,\ldots,m;j=1,\ldots,n} \in \IR^{m \times n}$
[/mm]
mit
[mm] $\sigma_i [/mm] = + [mm] \sqrt{\lambda_i}$ [/mm] für [mm] $i=1,2,\ldots,r$
[/mm]
und weiter mit
[mm] $\sigma_{r+1}= \sigma_{r+2} [/mm] = [mm] \ldots [/mm] = [mm] \sigma_{\min(m,n)}=0$,
[/mm]
so besitzt $A$ bzw. [mm] $A^T$ [/mm] die Singulärwertzerlegung
[mm] $A=U\Sigma V^T$ [/mm] bzw. [mm] $A^T [/mm] = V [mm] \Sigma^TU^T$
[/mm]
mit den $r$ singulären Werten [mm] $\sigma_1 \ge \sigma_2 \ge \ldots \ge \sigma_r [/mm] >0$.
Zur Pseudoinversen
Es sei nun $A [mm] \in \IR^{m \times n}$ [/mm] gegeben mit der Singulärwertzerlegung
[mm] $A=U\Sigma V^T$.
[/mm]
Dann setzt man
$A^+= V [mm] \tilde{\Sigma} U^T \in \IR^{n \times m}$
[/mm]
mit
[mm] $\tilde{\Sigma}:= (r_i \delta_{ij})_{i=1,\ldots,n;j=1,\ldots,m}$
[/mm]
und
[mm] $r_i [/mm] := [mm] \left\{ \begin{array}{cccc} \frac{1}{\sigma_i} & , & \mbox{falls} & \sigma_i \ne 0,\\[5pt] 0 & , & \mbox{falls} & \sigma_i =0. \end{array} \right.$
[/mm]
Dann kann man leicht nachrechnen, dass folgendes gilt:
$AA^+ = [mm] (AA+)^T$,
[/mm]
[mm] $A^+A=(A^+A)^T$,
[/mm]
$AA^+A=A$,
$A^+AA^+=A$.
Man nennt $A^+ [mm] \in \IR^{n \times m}$ [/mm] die Pseudoinverse (oder Moore-Penrose-Inverse) von $A$.
$A^+A$ ist die orthogonale Projektion des [mm] $\IR^n$ [/mm] auf [mm] $(Kern(A))^{\perp}$.
[/mm]
$AA^+$ ist die orthogonale Projektion des [mm] $\IR^n$ [/mm] auf $Bild(A)$
Weitherin hat man die folgenden Rechenregeln:
$(A^+)^+=A$
[mm] $(A^+)^T [/mm] = [mm] (A^T)^+$.
[/mm]
Dagegen gilt aber im Allgemeinen: $(AB)^+ [mm] \ne [/mm] B^+ A^+$.
Wichtig noch (folgt aber aus obigem):
Das Minimierungsproblem
[mm] $\Vert A\tilde{x} [/mm] - b [mm] \Vert_2 [/mm] = [mm] \inf\limits_{x \in \IR^n} \Vert Ax-b\Vert_2$
[/mm]
für eine Matrix $A [mm] \in \IR^{m \times n}$ [/mm] und einen Vektor $b [mm] \in \IR^m$ [/mm] wird gelöst durch [mm] $\tilde{x}=A^+b$.
[/mm]
Viele Grüße
Julius
|
|
|
|
