Beurt.+Vergleich-Klassifikator < Statistik (Anwend.) < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) überfällig  | | Datum: | 09:44 Mi 27.07.2011 | | Autor: | Wimme |
Hi!
Ich habe mehrere Klassifikatoren trainiert und möchte nun deren Güte beurteilen, sowie diese miteinander vergleichen. Jeder der Klassifikatoren entscheidet sich für eine 1 von 3 Klassen pro vorgelegter Beobachtung -> Multiklassenklassifikation.
So, für die Beurteilung habe ich mir folgendes überlegt:
1. Konfusionsmatrix
2. Korrektklassifikationsrate (mit Vorsicht zu genießen, da Klassen unterschiedlich groß)
3. Spezifität und Sensitivität
4. positiver Vorhersagewert (precision)
5. F-measure
3., 4. und 5. müsste ich ja dann für jeden Klassifikator für jede Klasse gesondert angeben, oder?
Also das Klassifikator 1 3 Werte für die Spezifität hat, 3 für die Sensitivität,...
Wäre das Vorgehen so korrekt? Ich müsste ja eventuell auch noch zeigen, dass der Klassifikator besser als per Zufall entscheidet. Wie geht das? Eventuell per Chi-Quadrat-Test?
Vergleich der Klassifikatoren:
Möchte ich die einzelnen Klassifikatoren nun vergleichen um den besten zu finden, könnte ich paarweise t-tests verwenden, oder? Aber auch hier müsste ich das für jede Kenngröße und jede Klasse getrennt machen, richtig? Damit ich Stichproben (also mehrere Werte) der Kenngrößen bekomme, könnte ich diese auf verschiedenen Datensätzen messen. Und ich nehme an, dass es reicht Klassifikatoren direkt miteinander zu vergleichen, deren Kenngröße in einer Rangliste aufeinanderfolgen?
Das sind erstmal genug Fragen. Bedanke mich für jede Hilfe! 
Wimme
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 10:20 Sa 30.07.2011 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
