Wie bewertet man eine Bewertung?

[Sven]

Nachdem wir im Thread Wettbewerb 2020? in eine Metadiskussion um die Bewertungsmethode des letzten Wettbewerbs gerutscht sind, möchte ich vorschlagen, diese Diskussion hier weiterzuführen und den anderen Thread für Terminfestlegung und inhaltliche Planung zu nutzen.

Ich beginne mal mit meinem Senf:
Das Bewertungssystem des letzten Wettbewerbs fand ich gut. Es führte zu einer vielschichtigen Bewertung der Wettbewerbsbeiträge und wurde damit der Leistung der einzelnen Teilnehmer gerecht.
Dadurch war die Bewertung zeitaufwändig.
Ich tue mich aber schwer, darin einen echten Nachteil der Bewertung zu sehen oder ein Problem, das bis zum nächsten Wettbewerb durch einen neuen Ansatz gelöst werden muss.

Mein Vorschläg wäre daher, die Bewertung nur ein klein wenig anzupassen, z.B. durch weniger Kategorien.
Eines ist dabei zu bedenken. Die Dokumentation (der Bauthread) eines Wettbewerbsbeitrag hat in unseren Augen einen so hohen Stellenwert, weil sie auch den Zweck des Wissentransfers zwischen den Forumsmitgliedern erfüllt. Ein Zweck, von dem wir alle profitieren und den wir schätzen.
Die Dokumentation wird also auch in Zukunft eine der Kategorien bleiben und damit wird uns das Lesen der Dokumentation als zeitaufwendigster Teil der Bewertung erhalten bleiben. Darum kommen wir nicht herum. Diese Zeit werden wir immer in die Bewertung investieren müssen.
Als Anreiz eine Bewertung abzugeben, wurde hier eine Verlosung unter den Bewertern in die Diskussion eingebracht. Ich glaube, dass wir das nicht brauchen, wenn wir uns klar machen, dass jeder von uns durch das Lesen der Dokumentation bereits etwas von Wert bekommt, nämlich Wissen. Wissen, welches mit Bild, Text und Begeisterung mit uns geteilt wird.
Die Bauthreads zu lesen war der zeitaufwändigste Teil der Bewertung. Aber es war nicht anstrengend oder mühselig, sondern lehreich und spannend.
Daher habe ich, für meinen Teil, kein Problem damit, dass auch im nächsten Wettbewerb die Bewertung wieder viel Zeit kosten wird.

Sven

[bea]

Dem möchte ich mich anschließen, auch wenn mich das Verfolgen des Wettbewerbs in den letzten paar Wochen zeitlich überfordert hatte.

[Rallinger]

Das Bewertungssystem des letzten Wettbewerbs fand ich gut. Es führte zu einer vielschichtigen Bewertung der Wettbewerbsbeiträge und wurde damit der Leistung der einzelnen Teilnehmer gerecht.
Dadurch war die Bewertung zeitaufwändig.
Ich tue mich aber schwer, darin einen echten Nachteil der Bewertung zu sehen oder ein Problem, das bis zum nächsten Wettbewerb durch einen neuen Ansatz gelöst werden muss.

Danke, Sven. Ja, Objektivität ist aufwendiger als aus der Hüfte zu schießen. Das liegt in der Natur der Sache. Andererseits halte ich den durchschnittlichen Schwarm-IQ in diesem Forum für sehr hoch. Ich fände es schade, das nicht zu nutzen.

Mein Vorschläg wäre daher, die Bewertung nur ein klein wenig anzupassen, z.B. durch weniger Kategorien.

Weniger Kategorien sind halt nur dann zielführend, wenn im Gegenzug die Range der zu vergebenden Punkte nach oben angepasst wird. Schaut euch die Kategorie "elektrisch" im aktuellen Wettbewerb an. Platz 1 und Platz 7 trennen immense 0,53 Punkte. Platz 2 und Platz 3 wurden durch 0,01 Punkte entschieden.

Wenn wir jetzt die Bewertungskategorien auf 2 reduzieren, diese beiden gleich gewichten und nur noch 1-6 Punkte vergeben, dann haben wir am Ende 7 erste Plätze. Oder wir entscheiden den Wettbewerb über die Tausendstel Nachkommastelle, bei allerdings deutlich weniger differenzierter Bewertung des Ergebnisses. Macht das Sinn?

Es stimmt schon, dass die Bewertungskategorien sich überschnitten haben, was sicherlich zu einer gewissen Verzerrung geführt hat. Das lag daran, dass das System im laufenden Wettbewerb vorgeschlagen wurde. Ich hätte liebend gerne statt der Kategorie "Konzept" eine Kategorie "Eigenständigkeit" vorgeschlagen. Nun war es aber so, dass z.B. Filzkopf eine wunderschöne Telecaster-artige Gitarre gebaut hatte. Ein geiles Instrument, aber halt nicht sehr eigenständig. Andererseits hat diese Gitarre keine Tonregelung und keinen Volumeknopf. Das ist ein sehr radikales Konzept, und darüber kann man fair urteilen. Ich könnte noch diverse weitere Beispiele anführen, aber das sollte das Dilemma gut illustrieren.

Mein Vorschlag
Lasst uns das "Konzept" durch "Eigenständigkeit" ersetzen. So ein Wettbewerb ist immer auch ein guter Ort, neue Sachen auszuprobieren und Dinge zu zeigen, die man vielleicht noch nicht 100x gesehen hat. Und wenn das jemand tut, sollte das anerkannt werden.

Die Kategorie "Kopie" sollten wir weiter fassen. Hier sollte man nicht nur 1:1 Kopien irgendwelcher Instrumente bauen dürfen. Warum sollte jemand nicht eine Paula bauen und diese durch Mods an die eigenen Bedürfnisse anpassen dürfen? Wenn "Eigenständigkeit" gefragt ist, würde ein solches Instrument durchfallen. Und wenn "1:1" gefragt ist, kann man das Instrument nicht so pimpen wie man es braucht. Da hat Bussela völlig recht. Wenn wir aber unter "Kopie" auch alles Tele-, Strat-, Paula-, Jazzbass und sonstwieartiges verstehen, haben wir das Problem gelöst.

Mal so für den Anfang ...

[ugrosche]

Sehr konstruktive Diskussion hier, vielen Dank!
Mein Senf dazu:

Den Punkterange nach oben anpassen, gefällt mir persönlich nicht so gut. Bei 1-10 kann ich schnell ein Votum schießen. Hätten wir aber z.B. 25 Punkte, wüsste ich nicht ob ich die Optik von Instrument XYZ jetzt 17 oder 18 finde. Und wahrscheinlich würden wir auch bei dem System nach dem Normieren erkennen, dass zwischen Platz 1 und 7 nur 5% liegen.

Bei den Bewertungskriterien möchte ich im Grunde drei Punkte bewerten, bzw. Feedback dazu bekommen:

Bau
Kann derjenige handwerklich gut bauen?
Sehe ich hier Techniken, Tricks, Methoden, die mir auch helfen könnten?
Wie wird hier mit "Fehlern" umgegangen?
Lese ich den Thread richtig gerne, oder ist das eher wie Pflicht, wie "Korrektur-Lesen"?

Idee
Stecken da neue Ideen drin? Finde ich die Idee spannend oder uninteressant?
Steckt hinter der Idee eine Art Gesamtkonzept, oder ist dass eher "mal ausprobieren"?
Funktioniert die Idee? Erfüllt die Umsetzung die Erwartungen?
Sieht das für mich stimmig und gut aus oder "zusammengepuzzelt"?

Aussehen
Gefällt mir persönlich das Instrument?
Würde ich im Musikladen dran vorbei laufen oder das Ding anspielen wollen?
Würde ich mir das in die Vitrine stellen?
Gefällt das Instrument auch Nicht-Musikern?

Natürlich sind das alles subjektive, persönliche Bewertungen. Wie die Bewertung-Kategorien dann heißen, ist aus meiner Sicht zweitrangig. Wichtig sind die "Hilfsfragen". Da hatte @Rallinger letztes Mal gut vorgearbeitet.
Im Grunde ist es genau das, was wir letztes Mal hatten, nur wären "Innovation" und "Konzept" zusammen gefasst und "Doku" ist Voraussetzung für eine vernünftige Bewertung von "Skills".
Die Gratwanderung ist, dass es dann bei reinen Kopien weniger Punkte geben würde, da es keinen neuen Ideen gibt. Trotzdem würde es mir gefallen, wenn das Ausprobieren neuer Ideen belohnt würde.

[Gelöschter Benutzer]

Ich hatte als Beispiel bewusst den Bauthread als Basis angeführt, er ist die Hauptinformationsquelle für meine Bewertung in Bezug auf den Werdegang des Projektes. Dieser erstreckt sich in den meisten Fällen über einige Seiten. Habe ich diesen vom Start an qualitativ/quantitativ vorbewertet (ich zähle halt meine Likes oder "hat sich bedankt" durch, ohne mich am Ende des Wettbewerbs zwingend nochmals inhaltlich mit dem kompletten Thread beschäftigen zu müssen), geht das ganz fix und die Endbewertung vom Bauthread/der Dokumentation ergibt sich am Ende quasi im Handumdrehen. Eine Möglichkeit, so auch bei den weiteren Wettbewerbskriterien vorzugehen sehe ich aus Zeitmangel, den wohl die meisten von uns kennen, als Zugewinn und deutlichen Vorteil in Bezug auf die Qualität der Bewertung und die Quantität der Bewerter.

MFG C.

[Rallinger]

Bau
Kann derjenige handwerklich gut bauen?
Sehe ich hier Techniken, Tricks, Methoden, die mir auch helfen könnten?
Wie wird hier mit "Fehlern" umgegangen?
Lese ich den Thread richtig gerne, oder ist das eher wie Pflicht, wie "Korrektur-Lesen"?

D.h. du würdest den Thread und das Handwerkliche in einen Topf schmeißen wollen? Verstehe ich dich da richtig?

[Yaman]

Um mal eine andere Sichtweise auf dieses Thema zu bekommen, habe ich meine Frau gefragt, wie sie die Bewertung angehen würde.
Sie würde nur die Instrumente bewerten, die ihr auch gefallen. Dann wäre auch die Motivation entsprechend hoch, den Bauthread zu lesen. Da sie dann auch nicht mehr alle Instrumente bewerten würde, wäre auch der Zeitaufwand nicht mehr so hoch.

[Gelöschter Benutzer]

Na ja, ich persönlich möchte prinzipiell allen Teilnehmern von Beginn an meine Wertschätzung für ihre Teilnahme und dem damit einhergehenden, potenziell einjährigen Engagement, zuteil kommen lassen. Wie beim vorangegangenen Wettbewerb lese ich dann alle Beiträge von allen Teilnehmern, für mich selbstverständlich. Beispiel ugrosche:
Anfangs von der Projektbeschreibung her für mich noch nicht so der Burner, im weiteren Verlauf jedoch zunehmend beeindruckender! MfG, C.

Edit: Du bist von mir versehentlich gelöscht worden. Einfach neu anmelden und alles wird gut!
Sorry für die Umstände.

capricky

[Simon]

Auweh, ich habe alles in einen Thread gepackt, aber nicht gemerkt das es zwei gibt, das hab ich irgendwie übersehen, drüber im Wettbewerb 2020 Thread schrieb ich folgendes:

Zum Punktesystem: wurde ja schon mehrmals angemerkt, dass es dieses Jahr einfach zu kompliziert war. Ich würde es dieses Mal einfacher machen. Man gibt jedem Instrument 1-5 Punkte, und jedem Bauthread 1-5 Punkte.
Ja, ist sehr vereinfacht, und gerade die Punkts fürs Instrument sind sehr variabel, da Optik und Skills mit reinspielen. Aber ich denke es würde reichen, und machts nicht so kompliziert.... Oder so wir @kehrdesign anfangs schrieb: Handwerk, Doku, Ergebnis

und AUF GAR KEINEN FALL fürs Bewerten eine Belohnung. Das steht in keiner Relation zur Arbeit, den der Bau einer Gitarre verbraucht. Jeder der abstimmt sollte das gerne tun, und nicht weil dann für ihn was rausspringt.

[DoppelM]

1-5 als Bewertungsskala ist in meinem Berufsfeld (Marktforschung) die gebräuchlichste Skala, aus mehreren (praktischen und psychologischen) Gründen:

a) Tendenz zur Mitte => Extreme werden nur selten vergeben, je mehr Abstufungen um so seltener.
b) Vermeidung von Negativität => Menschen sind (man sollte es nicht meinen) normalerweise nett und freundlich, und vergeben deshalb ungern negative Bewertungen.

Für eine 10-Stufige Skala wie die beim diesjährigen Wettbewerb verwendete hat das oft folgende Auswirkungen: das meiste spielt sich zwischen 9 und 5 Ab. Eine 10 wird nur in Ausnahmefällen vergeben. Alles unter 5 ist schon soweit vom "netten" Bereich entfernt, dass es nur bei klaren Fehlern/Minderleistungen vergeben wird. Eine 1 ist quasi eine absolute Ohrfeige, die nahezu nie vorkommt. (Das könnten ja die Auswerter checken ob es bei uns auch so war.)

Eine 5er enthält alle grundsätzlichen Positionen, aber keine feine Abgrenzung und kompensiert dieses Verhalten weitestgehend dadurch. Außerdem ist sie schnell abzustimmen, da es wenig Graustimmen gibt, erhöht also auch die Beteiligung, z.B.
1 Kompletter Flop
2 Negative Tendenz
3 Neutral
4 Positive Tendenz
5 Richtig Super.

Gerade Skalen (meist 4er, Schulnoten seltener) werden verwendet um den Mittenbias weiter zu unterdrücken und eine klare pro/contra Entscheidung zu erzwingen.

Das Maximum unter den gebräuchlichen Skalen ist die 7er, die aber dann in der Praxis oft mit differenzierteren Erläuterungen versehen wird.
Beispiel: "Würden sie produkt xy kaufen" / "Was halten Sie von Idee abc"
1 Auf keinen Fall /Absolut schlecht
2 Höchstwahrscheinlich nicht / Generell schlecht aber unter umständen noch Lichtblicke
3 Eher nicht / Mittelfeld mit tendenz zu schlecht
4 unentschieden / neutral
5 eher ja / Mittelfeld mit tendenz zu gut
6 Sehr wahrscheinlich / Generell gut, aber noch Verbesserungspotential
7 Auf jeden Fall / Perfekt

Dann ist natürlich noch die Zahl der Abstimmenden und der Abstimmungsgegenstände zu betrachten. Bei vielen Abstimmenden und wenig Gegenständen reicht die 5er vollkommen aus, da die Durchschnittswerte klare Unterscheidungen erzeugen sollten.

Bei wenig abstimmenden und vielen / komplexen Themen werden dann gelegentlich auch 6er oder 7er genommen. Bei uns dürfte aber der Freundlichkeitsbias eine größere Rolle spielen - so dass vermutlich in einer 7er schon unter 3 nix mehr vergeben wird. Was äquivalent zu einer 5er ist.

Deshalb finde ich ein 5er Punkte-Sammelsystem total gut. Erleichtert Entscheidung, und in Punkteform gegossen ist eine 1 auch weniger eine Kritik sondern eher ein "es gibt halt viele bessere". Für wirklich schlechte Beiträge könnte man immer noch 0 Punkte vergeben.

[ugrosche]

...
Für eine 10-Stufige Skala wie die beim diesjährigen Wettbewerb verwendete hat das oft folgende Auswirkungen: das meiste spielt sich zwischen 9 und 5 Ab. Eine 10 wird nur in Ausnahmefällen vergeben. Alles unter 5 ist schon soweit vom "netten" Bereich entfernt, dass es nur bei klaren Fehlern/Minderleistungen vergeben wird. Eine 1 ist quasi eine absolute Ohrfeige, die nahezu nie vorkommt. (Das könnten ja die Auswerter checken ob es bei uns auch so war.)
...

Da ich als "Wahlhelfer" alle Stimmzettel sehen durfte, hier die Auswertung zur Maltes Thesen:

Anteile.PNG (7.66 KiB) 20673 mal betrachtet

Das belegt Maltes Erfahrungen grundsätzlich, nur dass wir so gut sind, dass auch öfter mal eine 10 vergeben wurde.
Die Messlatte wurde bei den Bewertern aber unterschiedlich angesetzt. Ich hatte Stimmzettel mit bis zu 22 10er Bewertungen gesehen, aber auch einige, bei denen es nur eine 10 gab.
Falls wir nächstes Mal wieder "nur" 18 Stimmzettel bekommen, habe ich die Befürchtung, dass wir mehrere gleiche Platzierungen bekommen, wenn wir zu sehr vereinfachen (z.B. das vorgeschlagene Extrem: nur 2 Bewertungen von 1-5 pro Instrument)

[KNGuitars]

auch hier noch kurz meine meinung zur bewertung:

durch das bewerten der bauthreads war die bewertung heuer extrem aufwändig (mir wars zu aufwändig, deshalb hab ich mich letztendlich rausgehalten)

ich würd die 2 angedachten Kategorien nur anhand der vorstellung der fertigen instrumente in der Gallerie beurteilen. also "skills" würd ich hier nicht mitbewerten, es zählt nur das ergebnis find ich (ganz egal wie man dahin kommt).
das macht es zumindest mit vertretbarem aufwand möglich alle instrumente zu bewerten.

zusätzlich würd ich noch ein drittes ranking für Dokumentation + skills , etc. vergeben, in der man alle instrumente in einen topf wirft. (wie heuer auch schon)

punktesystem würd ich bei 1-10 lassen

[ugrosche]

Wir müssen in den kommenden Tagen nicht nur die Instrumente fertig stellen, sondern auch für die Bewertung einen Kompromiss finden. Daher möchte ich diese Diskussion nochmal anschubsen. In dem Link ganz oben im ersten Beitrag wurde schon viel diskutiert. Es lohnt sich dort nochmal nachzulesen.
Mir ist inzwischen alles recht, sofern wir einen Bewertungsmodus finden, den alle mitgehen.
Tendenziell freue ich mich eher über eine etwas differenzierte Bewertung, die natürlich aufwändiger ist. Aber bei einer einfachen Schulnote 3 wüsste ich nicht, ob das heißt "optisch gelungene Idee, aber handwerklich geht da noch einiges" oder "gefällt mir nicht, aber handwerklich sauber gemacht".

[thoto]

Ich fand das Vorgehen vom letzten Mal recht gut. Besonders weil man so schön differenzieren konnte.

[kehrdesign]

Beim letzten Wettbewerb gab es viele Punktgleichstände und es wurde nur rund die Hälfte des Punktespiegels genutzt. Deshalb kam mir folgende Idee:
Statt direkt Punkte zu verteilen, könnte jeder Bewerter für sich in jeder Bewertungskategorie eine Reihenfolge der Wettbewerbsobjekte festlegen. Für den Letzten gibt's 1 Punkt aufsteigend bis zum Besten, dessen Punktzahl der Anzahl der Beiträge entspricht. Als Bewertungskategorien würde ich Handwerk, Doku und Ergebnis vorschlagen. Die Punkte aller drei Kategorien werden addiert, wobei die Ergebnis-Punktezahl doppelt gewertet werden sollte, zumal ja in das „Ergebnis“ auch die gestalterische Kreativität mit einfließt.
Der Zeitaufwand zur Bewertung ist dadurch auch nicht höher, aber ein Punktegleichstand dürfte da sehr unwahrscheinlich werden.

[jonneck]

Ich würde nicht über die Reihenfolge gehen, sondern bei einer 5er Punkteskala bleiben - ich möchte ja auch 2 Instrumente gleich gut finden können.....

[Rallinger]

Als Bewertungskategorien würde ich Handwerk, Doku und Ergebnis vorschlagen.

Klingt grundsätzlich nicht schlecht, aber dazu würde ich doch einen persönlichen Einwand bringen wollen. Wenn es nur mir so geht könnt ihr das aber gerne ignorieren.

Jedenfalls werde ich meinen Wettbewerbsbeitrag deswegen nicht fertig bringen, weil ich gerade beruflich sehr stark eingespannt bin. Ich hab schlicht nicht die Zeit zum Gitarrebauen, und bin deswegen hier leider auch weniger unterwegs. Beim letzten Mal waren das Instrument und die Doku zwei paar Stiefel. Ich konnte das Instrument fair bewerten, ohne die Doku durchforsten zu müssen. Das hab ich zwar trotzdem gerne getan, aber da hatte ich auch noch wesentlich mehr Zeit.

Dieses Mal hab ich bei einer Handvoll Instrumenten quer mitgelesen. Mehr war leider nicht drin. Wenn die Doku dieses Mal direkt in die Gesamtbewertung des Instruments mit eingeht, bin ich nicht nur beim Bauen, sondern auch beim Bewerten raus. Das fände ich schade, denn die Zeit die Instrumente anzusehen und zu voten würde ich mir auf jeden Fall nehmen wollen. Ich würde mich dann halt bei der Bewertung der Doku enthalten.

Wie gesagt: wenn es nur mir so geht, könnt ihr den Einwand auch gerne vergessen. Aber beim letzten Mal hatten wir wenige Votes ...

[Yaman]

Ich vermute auch, dass die zeitaufwändige Bewertung beim letzten Wettbewerb der Grund für die wenigen Votes war. Das wird dann diesmal nicht anders sein.

[Sven]

Zur Erinnerung möchte ich hier kurz ein paar Begriffe klären.
Kategorien des Wettbewerbs sind:
- Akustische Saiteninstrumente
- Elektrische Saiteninstrumente
Ein Instrument konnte an einer dieser Kategorien teilnehmen.
Zusätzlich nimmt jedes Instrument automatisch an der Kategorie Beste Dokumentation teil.

Nachzulesen hier unter Punkt 5:
https://www.gitarrebassbau.de/viewtopic.php?f=92&t=8885

Das bedeutet, dass die Dokumentation separat zum Instrument bewertet wird und das ein Instrument sogar in zwei Kategorien gewinnen kann. So war es auch im Wettbewerb 18/19.

Damit besteht für die Bewertenden die Möglichkeit, aus Zeitgründen nur das fertige Instrument zu bewerten und die Dokumentation gar nicht zu bewerten.


Sven

[MusikMaxx]

Ich weiss nicht ob ich überhaupt mitreden darf, weil ich ja nicht am Wettbewerb teilnehme.

Ich hab auch ein bisschen mitgelesen und finde dass die Doku bei manchen Teilnehmern schon sehr ausführlich und lehrreich ist.
Dazu muss ich aber nicht alle Threads komplett durchforsten, das fällt mir schon beim Mitlesen auf.
Das ist auch ein immenser Aufwand und das finde ich sollte honoriert werden.

Wenn noch Unterstützung gebraucht wird könnte ich meine Hilfe anbieten... sei es beim Voten oder beim Auswerten....