Mai 4, 2021

Was unterscheidet „gute“ von „schlechten“ Befragten?

Die Frage, ob die Antwort eines Umfrageteilnehmers glaubwürdig ist, stellt sich jeder Marktforscher spätestens, wenn es um die Bereinigung der Daten geht.
Eine wie wir finden essentielle Frage, da diese ausschlaggebend dafür ist, welche Daten für die Studienergebnisse verwendet werden und daraus resultierend, welche Handlungsempfehlungen abzuleiten sind.

Derzeit wird über statistische Verfahren und manuelle Plausibilitätschecks versucht, auf die Antwortqualität der Befragten rückzuschließen. Meist werden Zeitdauer, Varianz und Plausibilität von Textantworten überprüft und bewertet.

Das Problem hierbei ist jedoch, dass oft nur einzelne Aspekte der Antwortqualität beleuchtet werden (z. B. nur Befragungsdauer).
Außerdem unterscheidet sich der Bereinigungsprozess durch die manuelle/individuelle Komponente von Marktforscher zu Marktforscher, was wiederum zu Qualitätsunterschieden und wenig vergleichbaren Ergebnissen führt.

Welche Möglichkeiten zur Identifizierung der Antwortgüte gibt es und worauf ist dabei zu achten?

In unserem letzten Beitrag sind wir bereits auf formale und inhaltliche „Antworttendenzen“ eingegangen und haben aufgezeigt, zu welchen Verzerrungen es bei quantitativen Befragungen kommen kann.
In diesem Beitrag geht es nun darum, konkrete Möglichkeiten aufzuzeigen, die Ihnen dabei helfen sollen, die Antwortgüte eines Befragten bei Befragungen zu identifizieren.


Zeit
Die Befragungsdauer ist speziell bei Online-Befragungen ein wesentlicher Faktor für die Identifizierung von oberflächlichem Antwortverhalten.
Sogenannte „Speeder“ oder „Durchklicker“ sind relativ leicht mittels Befragungsdauer zu identifizieren.
Dabei gibt es unterschiedliche Identifizierungsmöglichkeiten. Eine Möglichkeit ist es, eine Mindestzeit zu definieren, wo all jene entfernt werden, die die Befragung schneller abgeschlossen haben. Eine zweite Möglichkeit ist, den Median der Befragungsdauer aller Befragten zu berechnen und Teilnehmer, die beispielsweise doppelt so schnell waren, zu entfernen.


Varianz
Mithilfe von Varianzmessungen können mehrere formale Qualitätsaspekte gemessen werden. Einer dieser Qualitätsaspekte ist das sogenannte Straightlining: Es tritt auf, wenn Befragte identische oder fast identische Antworten auf Items in einer Fragebatterie geben und dabei dieselbe Antwortskala verwenden. Auch Zustimmungstendenzen oder Tendenzen zur Mitte/Milde/Härte können durch eine Varianzmessung identifiziert werden.
Bei einer geringen Varianz der analysierten Werte deutet vieles auf eine entsprechende Verzerrung hin.


Analyse von Textantworten
Ein guter Indikator für die Antwortqualität ist die Plausibilitätskontrolle von Textantworten. Sollte ein Befragter eine inhaltslose Zeichenkombination, wie z. B. „gdargacsafs“ oder auch eine wenig wertvolle Antwort, wie z. B. „Mir ist die Frage egal“ angeben, so ist von einer geringen Qualität der Antwort auszugehen.
Die Herausforderung hierbei ist der enorme Aufwand alle Antworten auf Plausibilität zu überprüfen und wenig plausible entsprechend zu entfernen.
Hier können intelligente Machine Learning Algorithmen (Künstliche Intelligenz) hilfreich sein, um die Antworten automatisiert zu bewerten und zu filtern.


Überschätzung der eigenen Antwort gegenüber anderen Befragten
Ein weiterer spannender, jedoch noch nicht so bekannter Indikator ist die Übereinstimmung einer Antwort mit dem sogenannten „False Consensus Effect“. Auch dazu haben wir bereits einen Beitrag veröffentlicht. Im Prinzip beschreibt der False Consensus Effect die psychologische Tendenz, die Häufigkeit bzw. Verbreitung der eigenen Meinungen in der Bevölkerung zu überschätzen. Beispielsweise werden Apple Fans den tatsächlichen Anteil an Apple Fans überschätzen.
Auch wenn Menschen denken, dass ihre Meinung nicht mit der Mehrheit übereinstimmt, tritt der False Consensus Effect auf. Menschen werden die Häufigkeit ihrer eigenen Meinung immer höher einschätzen, als Menschen mit einer gegenteiligen Meinung oder Einstellung.
Bezogen auf Befragungen, werden dadurch Antworten, die nicht mit diesem beschriebenen Phänomen übereinstimmen eine hohe Wahrscheinlichkeit haben, nicht glaubwürdig zu sein.
Besonders sozial erwünschtes Antwortverhalten ist damit gut identifizierbar.
Voraussetzung für die Anwendung dieser Kontrollmöglichkeit ist das Vorhandensein einer projektiven Angabe. Dabei müssen die Befragten eine Einschätzung über das Antwortverhalten der anderen Befragten abgeben.


Einschätzung der Antwort von anderen Befragten (Meta-Predictions)
Eine weitere gute Möglichkeit, vor allem um oberflächliches Antwortverhalten (Satisficing) zu identifizieren, ist die Prognosefähigkeit der Befragten, über die tatsächliche Antwortverteilung einer Frage zu bewerten. Konkret muss hier der Befragte, wie auch schon im vorherigen Abschnitt beschrieben, einschätzen, wie andere Befragte bei der jeweiligen Frage antworten werden. Beispielsweise könnte eine projektive Frage folgendermaßen formuliert sein: „Wie glauben Sie, werden andere Kunden das Produkt XY bewerten?“
Dabei wird bewertet, wie stark die Prognose jedes Befragten vom tatsächlichen Ergebnis abweicht.
Bei einer großen Abweichung über mehrere Fragen hinweg, ist von einem oberflächlichen Antwortverhalten auszugehen.


Allgemeine Plausibilitätschecks
Zudem dienen allgemeine Plausibilitätschecks dazu, Rückschlüsse auf die Antwortqualität der Befragten zu ziehen. Dabei wird kontrolliert, ob einzelne Angaben von Befragten stimmig sind. Beispielsweise wäre es nicht schlüssig bei einer Befragung zum Kaufverhalten bei Autos, eine Antwort vorzufinden, in welcher ein 16 Jahre alter Schüler einen Bugatti fährt.
Die Herausforderung bei den Plausibilitätschecks ist meist der enorme Aufwand der Durchführung. Um wirklich jeden Datensatz einem manuellen Plausibilitätscheck zu unterziehen, bedarf es einem aufwendigen, oft stundenlangen Analyseverfahren.


Kontrollfragen
Kontrollfragen werden, wie die Befragungsdauer, vor allem bei Online Befragungen verwendet. Dabei muss der Befragte eine klar definierte Angabe machen. Beispielsweise: Wählen Sie bei dieser Frage die vierte Antwortoption aus. Alle Teilnehmer, die eine andere Angabe gemacht haben, werden entfernt. Auch damit lassen sich vor allem „Durchklicker“ oder „Speeder“ identifizieren.
Das Problem bei den klassischen Kontrollfragen ist, dass das Beantworten solcher Fragen für die Befragten sehr anstrengend werden kann und auch bevormundend wirkt.


Erinnerungen differenziert betrachten
Da sich die meisten Befragungen auf die Vergangenheit beziehen, müssen die Befragten Erinnerungen aus ihrem Gedächtnis abrufen. Dabei kann es sein, dass sich eine Frage auf verschiedene Zeithorizonte bei Befragten bezieht. z. B. Frage 1: Wann war Ihr letzter Autokauf? Frage 2: Wie zufrieden waren Sie mit Ihrem Autokauf? Bei diesem Beispiel sieht man sehr gut, dass sich die Frage nach der Zufriedenheit auf unterschiedliche Zeithorizonte beziehen kann – je nachdem wann der letzte Autokauf stattgefunden hat.
Da unser Gehirn kürzlich wahrgenommene Ereignisse stärker gewichtet als Ereignisse, die schon länger zurückliegen, sollte dieser Faktor auch in der Datenbereinigung eine Rolle spielen.
Ein entsprechender Gewichtungsfaktor kann helfen diesen „Erinnerungsfehler“ zu reduzieren.


Mit diesen Faktoren kann bereits der Großteil der qualitativ schlechteren Datensätze identifiziert und auch im Ergebnis entsprechend berücksichtigt werden. Wichtig ist, dass die Qualität eines Befragten nicht nur von einem Blickwinkel, sondern von so vielen wie möglich betrachtet wird, um ein möglichst vollständiges Bild über die Antwortqualität beziehungsweise die Antwortgüte eines Befragten zu erhalten.

Aus unserer Sicht muss es zukünftig einen Branchenstandard für den Prozess und die Kriterien der Datenbereinigung geben, die auch den Auftraggebern transparent kommuniziert werden. Wir finden, dass zukünftig jeder Bericht einer professionellen Marktforschungsstudie einen Abschnitt zu den Details der Datenqualität enthalten muss.
Die Marktforschung muss für Datenqualität stehen, denn das ist ein wesentlicher Punkt für die Daseinsberechtigung der professionellen Marktforschung.



Mit Redem als Lösung zur automatisierten Bereinigung und Qualitätsoptimierung von Befragungsdaten ist es unser Ziel, genau zu diesem unabhängigen Branchenstandard zu werden.

Mehr Informationen finden Sie auf unserer Webseite.
https://redem.io




Florian Kögl

Florian Kögl

Founder & CEO