Juni 16, 2020

Welche Fehlerarten bei Umfragen gibt es und wie können diese reduziert werden?

Im heutigen Beitrag geht es um unterschiedliche Fehlerarten, die bei Umfragen auftreten können und sich somit negativ auf Qualität und Validität der Umfrageergebnisse auswirken. Idealerweise sollten Fehlerquellen so weit als möglich reduziert werden, um die “Realität” bestmöglich in den Umfrageergebnissen widerspiegeln zu können.

Eine große Herausforderung ist, dass die meisten Fehlerarten bei Umfragen, anders als der Stichprobenfehler, unter der “Sichtbarkeitsgrenze” bleiben. Die Sichtbarkeitsgrenze beschreibt, ob eine Fehlerart durch statistische Methoden berechnet werden kann. Bei Fehlern unterhalb der Sichtbarkeitsgrenze ist es somit schwierig, eine potenzielle Verzerrung der Ergebnisse zu identifizieren oder gar zu messen.

Doch welche Fehlerarten gibt es eigentlich, und wie lassen sich diese verhindern bzw. reduzieren? Diese Fragen versuchen wir heute zu beantworten.


Grundsätzlich gibt es drei übergreifende Fehlerkategorien — Erstens, Fehler durch Auswahl der Auskunftsperson, zweitens Fehler durch unzutreffende Angaben und schließlich Fehler bei der Durchführung der Befragung. Jede dieser Kategorien beinhaltet verschiedene Fehlerarten. Diese Fehlerarten wurden erstmals von Herbert F. Weisberg beschrieben.


Abb. 1 Übersicht der verschiedenen Fehlerarten (Quelle: Weisberg 2005)

Fehler durch Auswahl der Auskunftsperson:

Stichprobenfehler:

Dabei handelt es sich um den „Zufallsfeh­ler” also den Fehler, der dadurch entste­ht, dass statt der Grundgesamtheit nur eine (Zufalls-)Stichprobe befragt wird.

Da dieser Fehler durch statistische Methoden berechnet werden kann, sofern die Auswahl der Stichprobe zufällig erfolgt ist, wird er meist durch Angabe einer Schwankungsbreite (z.B. +/- 4%) dargestellt. Der Stichprobenfehler liegt, als einzige Fehlerart über der Sichtbarkeitsgrenze und stellt so nur die “Spitze des Eisbergs” unter den Fehlerarten dar.

Dieser Fehler kann durch eine Vergrößerung der Stichprobe reduziert werden.

“Der Stichprobenfehler ist nur die Spitze des Eisbergs”

Fehlerhafte Stichprobenbasis:

Eine fehlerhafte Stichprobenbasis besteht darin, dass Verzeichnisse von Personen, Haushalten, Unternehmen etc., die als Basis für die Erhebung verwendet werden, die Grundgesamtheit, nicht angemessen abdecken. Das heißt, es stimmen Grundgesamtheit und Stichprobe nicht gut genug überein, was zu erheblichen Verzerrungen des Ergebnisses führen kann.
Grundsätzlich spricht man von einer fehlerhaften Stichprobenbasis, wenn bestimmte Teile der Grundgesamtheit eine zu geringe (Unter-Abdeckung) oder zu hohe Wahrscheinlichkeit (Ungeeignete Elemente) haben, Teil der Stichprobe zu werden (siehe Abb. 2).

Diese Fehlerart, zählt zu den sogenannten systematischen Fehlern, was bedeutet, dass sich diese nicht berechnen lassen und auch nicht reduzieren wenn die Stichprobe vergrößert wird. Damit liegt dieser Fehler unter der Sichtbarkeitsgrenze.

Um diesen Fehler möglichst gering zu halten, ist darauf zu achten, dass die verwendeten Verzeichnisse die Grundgesamtheit ausreichend abdecken.

Abb.2 Abdeckung der Grundgesamtheit durch eine fehlerhafte Stichprobenbasis (Quelle: Groves et al. 2009)

Ausfall von Interviews:

Diese Fehlerart sagt aus, dass Auskunftspersonen z.b. telefonisch nicht erreicht werden können oder ihre Teilnahme an der Befragung verweigern.
Bei hohen Ausfällen von Interviews kann es durch die geringe Stichprobenausschöpfung zu systematischen Verzerrungen kommen, die in Abb. 3 illustriert wird.

Auch diese Fehlerart befindet sich unter der der Sichtbarkeitsgrenze.
Den Ausfall von Interviews kann man reduzieren, indem man z.B. finanzielle Anreize für die Befragten zur Verfügung stellt. So haben Auskunftspersonen einen aktiven Anreiz an der Befragung teilzunehmen.

Abb. 3 Ausschöpfung einer Stichprobe (Quelle: Parasuraman 1986) Stichprobenbasis = Alle Elemente die potentiell in die Stichprobe kommen könnten, Gezogene Stichprobe = Elemente, die Teil der Stichprobe sind und kontaktiert wurden, Realisierte Stichprobe = Elemente, die tatsächlich an der Befragung teilnehmen

Fehler durch unzutreffende Angaben

Fehlende Angaben in Interviews (Item Non-Response):

Bei dieser Fehlerart handelt es sich vor allem umdie Angabe einer “Weiß nicht”- oder “keine Angabe” Antwort, speziell bei geschlossenen Fragen, wodurch sich der Befragte seiner Antwort entziehen kann.
Fehlende Angaben der Befragten können dazu führen, dass das Ergebnis wichtige Informationen nicht widerspiegelt und so das Ergebnis verfälscht wird.

Fehlende Angaben in Interviews können statistisch nicht berechnet werden und liegen dadurch unter der Sichtbarkeitsgrenze. Lösungsansätze für eine Reduzierung dieses Fehlers sind z.B. ein “Nachhaken” des Interviewers bei persönlichen- oder Telefoninterviews, aber auch finanzielle Anreize für vollständige Angaben, speziell bei Befragungen ohne Interviewer, können sinnvoll sein. Auch der Einsatz von Redem kann helfen diesen Fehler zu reduzieren.

Messfehler bei den Auskunftspersonen (Response-Bias):

Dieser Fehler tritt auf, wenn Auskunftspersonen Fragen z.B., oberflächlich, durch Angabe einer sozial erwünschten Antwort unehrlich, durch Erinnerungsmängel falsch, oder durch andere Antwortverzerrungen nicht richtig, beantworten. Auch die Formulierung der Fragen kann den Messfehler erheblich beeinflussen.

Auch dieser Fehler zählt zu den systematischen Fehlern und liegt normalerweise unter der Sichtbarkeitsgrenze. Durch den Einsatz von Redem, ist es jedoch möglich diese Verzerrungen sichtbar zu machen. Um diesen Fehler zu reduzieren, sollte bei der Fragebogenentwicklung speziell auf eine neutrale Frageformulierungen geachtet werden. Darüber hinaus kann durch den Einsatz von Redem, speziell der Fehlerteil reduziert werden, der ausschließlich von den Befragten abhängt, da die Antwortqualität der Befragten gemessen werden kann (siehe Abb. 4).


Fehler bei der Durchführung der Befragung

Fehler bei der Datenaufbereitung:

Dabei handelt es sich um mögliche Fehlerquellen, die im Datensatz vorhanden sein können (z.B. Falsche Codierung des Fragebogen). Natürlich können solche eher technisch geprägten Fehler, das Ergebnis völlig verfälschen und sollten deshalb immer überprüft werden.
Solange diese Fehler nicht eliminiert werden, liegen diese unter der Sichtbarkeitsgrenze.

Hier sind drei Wege, wie diese ermittelt und eliminiert werden können:

  • Prüfen ob der Codeplan mit den vorhandenen Werten übereinstimmt.
  • Sicherstellen, dass eine logische Konsistenz der Werte, wie z.B. Alter und Bildungsabschluss vorhanden ist.
  • Ermitteln, ob es Ausreißer gibt, die extrem vom sonstigen Wertebereich abweichen
Fehler durch die Art der Kommunikation:

Hierbei geht es um die Fehlerarten, die durch die unterschiedlichen Kommunikationsformen in Umfragen wie Online-, Telefonische-, Schriftliche- oder Persönliche Befragung, auftreten können. Aber auch, ob eine Befragung mit oder ohne Interviewer durchgeführt wird, ist hier relevant.

Beispielsweise könnte die Durchführung einer Online-Studie, deren Zielgruppe ältere Menschen sind, zu erheblichen Verzerrungen führen, da ältere Menschen tendenziell schwieriger online erreichbar sind. Hier wäre eine andere Kommunikationsart, wie z.B. Telefonische Befragung, besser geeignet.

Auch dieser Fehler kann nicht gemessen oder berechnet werden und liegt deshalb unter der Sichtbarkeitsgrenze.

Grundsätzlich hat jede Kommunikationsart ihre Vor- und Nachteile. Darum ist hier besonders darauf zu achten, dass z.B. Frageformulierung und Fragebogenaufbau zu der gewählten Kommunikationsart passen. Auch, ob mit der gewählten Kommunikationsart eine ausreichende Ausschöpfung der Stichprobe gewährleistet werden kann, ist zu beachten.

Fehler durch Spezifika des Instituts:

Bei der letzten Fehlerart handelt es sich um institutsinterne Verzerrungen. Damit ist der sogenannte “Hauseffekt” gemeint, der beschreibt, dass Umfragen, die zum gleichen Thema von verschieden Instituten durchgeführt wurden, zu erheblich abweichenden Ergebnissen kommen können. Diese Abweichungen sind oft größer als es der Stichprobenfehler erklären könnte. Durch Anwendung verschiedener Praktiken und Gewohnheiten, kann es zu systematischen Ergebnisunterschiede bei verschiedenen Instituten kommen.

Da es sich auch hier um eine systematische Fehlerart handelt, befindet sich diese unterhalb der Sichtbarkeitsgrenze. Hier kann es hilfreich sein, interne Praktiken, Gewohnheit und Prozesse immer wieder von Zeit zu Zeit abzuändern, um diesen Fehler so gut als möglich zu minimieren.

Abb. 4 Redem innerhalb der Fehlerarten

Wir bei Redem haben uns auf die Reduktion des Messfehlers bei den Auskunftspersonen spezialisiert, da dieser Fehler oft nicht durch Marktforschungsinstitute beeinflusst oder verhindert werden kann. Mit Redem ist es somit möglich, diesen Fehler über die “Grenze der Sichtbarkeit” zu heben und weitgehend zu reduzieren.


Florian Kögl

Florian Kögl

Founder & CEO