Spontane und eher kritische Gedanken zum Scholarz.survey
scholarz.net ist eine Online-Software für Wissenschaftler, die eine Reihe von Web2.0-Merkmale aufweist. Doch es wird nicht nur Software entwickelt, sondern auch sozialwissenschaftliche Forschung betrieben, nämlich im Rahmen des Forschungsprojekt “Wissenschaftlich Arbeiten im Web 2.0“. Die Umfrage (“scholarz.survey”) richtet sich an Doktoranden und junge Wissenschaftler. Wissenschaftlerinnen dürfen leider nicht mitmachen (“Sehr geehrte Wissenschaftler”).
Für heitere Minuten sorgte die Antwortkategorie “weder noch”. So lautet etwa eine Frage: “Welche Tools, Anwendungen und Dienste nutzen Sie für Ihre wissenschaftliche Arbeit?” Ein mögliches Item ist “scholar.google.com” und folgende Antwortmöglichkeiten stehen zur Auswahl: “nutze ich nie”, “nutze ich selten”, “weder noch”, “nutze ich häufig”, “nutze ich sehr häufig”, “kenne ich nicht”. Was ist denn “weder noch” für eine Antwort?
Auch die Frage “Welche Themen interessieren Sie in Blogs?” Lässt sich mit “weder noch” beantworten. “weder noch” ist hier die Mittelkategorie zwischen “interessiert mich überhaupt nicht” und “interessiert mich sehr”.
Sicherlich lässt sich darüber streiten, ob eine differenzierte Antwort auf das Item “Ich war früher mal in der Wikipedia aktiv” notwendig ist. “Trifft es überhaupt nicht zu”, dass ich früher mal in der Wikipedia aktiv war oder “trifft eher nicht zu”, dass ich früher mal in der Wikipedia aktiv war. Vermutlich “trifft [es, B.W.] eher zu”, dass ich früher mal in der Wikipedia aktiv war. Ich nehme an, dass das (frühere) Aktivitätsausmaß erfasst werden soll, ob das gelingt, wage ich aber zu bezweifeln.
Items wie “Desktopbasierte Lösungen helfen mir nichts” (Frage: “Aus welchen Gründen präferieren Sie eine webbasierte Lösung?”) sind kein Stimulus, der Varianz generieren wird. Meine Vermutung — das Gegenteil lässt sich dann vielleicht bei der Auswertung belegen.
Gewöhnungsbedürftig ist auch die Tatsache, dass sich der Fragebogen komplett durchklicken lässt, ohne eine einzige Antwort gegeben zu haben — die typische Online-Befragung “erzwingt” normalerweise immer einer Antwort, ansonsten geht es nicht weiter. Ich kenne mich aber mit Online-Befragungen nicht wirklich aus und kenne nicht die sich u. U. ergebenden Konsequenzen.
Gibt es eigentlich irgendwelche Fragen zur Soziodemographie (Alter, Geschlecht, Berufserfahrung etc.)? Ich erinnere mich nicht mehr daran — und noch einen leeren Fragebogen möchte ich nicht mehr produzieren.
Da es eine zweite Befragungswelle geben soll, besteht die Möglichkeit, den Fragebogen noch einmal an der einen oder anderen Stelle zu überarbeiten. Um nicht nur zu kritisieren, erkläre ich hiermit meine Bereitschaft als “Beta-Tester”.
Nachtrag:
Anlässlich der oben erwähnten Befragung möchte ich auf ein sehr nützliches ZUMA How-to “Question Wording – Zur Formulierung von Fragebogen-Fragen” von Rolf Porst verweisen. Jede/r Sozialwissenschaftler/in sollte einmal im Leben den Kurs “Grundlagen der Fragebogenentwicklung” von Rolf Porst besucht haben. Auch für sein Buch “Fragebogen. Ein Arbeitsbuch” möchte ich an dieser Stelle eine Empfehlung aussprechen. Ich gebe zu, in unserer letzen Befragung (mindestens) das 7. Gebot “Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden!” verletzt zu haben.
Bernd, danke für Dein Feedback. Gerne nehme ich Dein Angebot an, Betatester für die nächste Runde zu sein.
Du machst Dich ja über das “weder noch” lustig. Zugegeben, das ist etwas merkwürdig. Gemeint ist: Ich nutze das Tool weder nie noch sehr häufig. Also: Ich kann mich nicht zwischen den beiden Extremen entscheiden. Ja, zur genauen Gestaltung der Lickertskalen gibt’s kontroverse Meinungen, ich habe die beste Erfahrungen mit einer ungeraden Skala gemacht, zumal es eine “JEIN”-Entscheidung ja inhaltlich auch Sinn macht.
Das der Fragebogen durchklickbar ist, ohne das man was ankreuzt hat den Grund, das damit Leute die auf eine oder mehrere Fragen (zum Beispiel weil sie den Fragebogen nur mal angucken wollen) nicht antworten möchten, nicht irgendwas ankreuzen können. Zusammen mit der Option “Weiß ich nicht” bzw. “Kenne ich nicht” kriegt man da die höchst mögliche Differenzierung zwischen motivierten oder abhängigen Missings, solchen die zufällig entstehen und Leuten, die sich tatsächlich nicht für das eine oder das andere entscheiden können oder wollen.
Das die Varianz bei den einzelnen Items angeht, bin ich selbst gespannt, welche sich da als sinnig erweisen. Die schaffen es dann auch in die nächste Runde.
Johannes Moskaliuk
5 Jun 08 at 2:51 pm
Hallo Johannes,
ich danke für Deine Reaktion auf meinen Kommentar.
Mit “weder noch” stimmt die Formulierung einfach nicht — das ist weniger eine Frage nach der Anzahl der Ausprägungen. Vielleicht passt “manchmal” besser. Dann ist es natürlich keine Mittelkategorie, die es aber eigentlich bei Häufigkeiten auch nicht geben kann, oder?
Bzgl. des “Durchklickens” des Fragebogens werde ich mir noch einmal Rat bei Fachleuten holen. Ich bin der Meinung, dass (zumindest theoretisch) für jedes Item die Chance einer (aus Sicht des/der Befragten) sinnvollen Antwort geben sein sollte. System missings zu produzieren halte ich für weniger sinnvoll — ich will mich bei diesem Thema aber auch nicht zu weit aus dem Fenster lehnen…
Ich hoffe, Du siehst mir meine “heiteren Minuten” nach, die ich tatsächlich hatte; ein unsachliches “Sich-lustig-machen” war jedoch nicht meine Absicht.
Ansonsten bin ich auf die Auswertungen gespannt und freue mich auf die ersten Ergebnisse.
Bernd
5 Jun 08 at 3:39 pm
Was wäre die Forschung ohne heitere Minuten. Und Soziologen müssen halt manchmal über Psychologen lachen
Was die Missings angeht: Das methodisch sauberste Vorgehen ist sicherlich neben der Lickertskala zwei weitere Items einzusetzen, nämlich “weiß ich nicht / kenne ich nicht” und “keine Antwort”. Dann kann ich alle drei Missing Arten unterscheiden MCAR (jemand vergisst eine Frage oder klickt einfach mal durch), MAR (jemand kennt z.B. das Tool nicht und kann nicht antworten) und NI/NMAR (jemand will nicht antworten). Ni/NMAR ist beim aktuellen FB eher unwahrscheinlich (da erheben wir außerdem die Abbrüche), deshalb genügte mir die Unterscheidung zwischen MCAR und MAR, und das funktioniert mit der vorliegenden Version, und durch den nicht vorhandenen Antwortzwang und das fehlen des Items (keine Angaben) wird die Usability und Akzeptanz erhöht.
Die Frage nach der Mittelkategorie ist ja die alte Diskussion: Hast Du einen guten Vorschlag für “weder noch”, der in der Mitte einer Häufigkeitsskala liegt und das “ich kann mich nicht entscheiden” ausdrückt.
Johannes Moskaliuk
5 Jun 08 at 4:29 pm
@ Missings: Mir persönlich ist es immer lieber, ich behalte die komplette Kontrolle über das Befragungsverhalten. Ich habe mir verkniffen, noch auf t.n.z, w.n. und k.a. hinzuweisen. Sauber wäre es aber gewesen, diese Möglichkeiten noch aufzunehmen.
Tatsächlich würde mich interessieren, ob sich bei Online-Befragungen mehr Abbrüche durch den Antwortzwang oder ohne diesen zeigen.
@ Mittelkategorie: Wir haben in unserer Paarbefragung nach der Häufigkeit von Konflikten folgende Vorgaben gemacht:
1: nie
2: sehr selten
3: gelegentlich
4: häufig
5: sehr häufig
Ich bin nicht der Meinung, dass man bei einer Häufigkeitsabfrage eine (inhaltlich bedeutsame) Mittelkategorie braucht. Und „ich kann mich nicht entscheiden“ ist “weiß nicht” (s.o.).
Bernd
5 Jun 08 at 5:16 pm
@Missings: ja, da gibt’s empirische Belege z.B.
Stieger, S., Reips, U., and Voracek, M. (2007) –> DOI= http://dx.doi.org/10.1002/asi.v58:11
Johannes Moskaliuk
5 Jun 08 at 6:05 pm
@Missings: Danke für die Literatur, sieht interessant aus.
Ich sammle gerade Infos aus erster Hand von den Kollegen aus der Marktforschung. Es scheint keine eindeutige Linie (Antwort erzwingen oder nicht) zu geben. Ich lasse es Dich wissen, wenn ich mehr weiß.
Bernd
6 Jun 08 at 10:14 am