Was sind Aufmerksamkeitscheck-Fragen?

Aufmerksamkeitscheck-Fragen (engl. Attention Check Questions, kurz ACQ) sind ein bewährtes Mittel, um bereits während der Datenerhebung die Qualität der erhobenen Informationen zu sichern. Sie helfen dabei, unzuverlässige oder nachlässig beantwortete Fragebögen zu identifizieren und so Verzerrungen in den Ergebnissen zu vermeiden.

Diese Fragen werden gezielt zwischen regulären Items platziert und enthalten eine spezifische Anweisung, die nur bei aufmerksamer Bearbeitung korrekt beantwortet werden kann. Dabei gibt es verschiedene Arten von ACQs:

• Logikbasierter Aufmerksamkeitscheck: z. B. durch Fangfragen: Wie häufig lesen Sie Fragen in einer Umfrage aufmerksam durch?
• Formulierungswechsel / Konsistenzchecks: Aussagen mit gegensätzlicher Formulierung, z. B. zunächst: Ich vertraue darauf, dass mein Team gute Entscheidungen trifft. – gefolgt von: Ich bezweifle oft, dass mein Team die richtigen Entscheidungen trifft.
• Instruktionsbasierter Aufmerksamkeitscheck: z. B. Wählen Sie bitte „Stimme gar nicht zu“, um zu zeigen, dass Sie die Frage aufmerksam gelesen haben.
• Weitere Varianten: absurde oder doppelte Fragen, nicht zusammenhängende Aussagen etc.

Ziel ist dabei nicht, die Teilnehmenden zu täuschen, sondern eine verlässliche Datenbasis sicherzustellen. Datensätze mit auffälligen ACQ-Antworten sollten gesondert überprüft und gegebenenfalls von der Analyse ausgeschlossen werden, z. B. wenn ersichtlich wird, dass die Befragung unaufmerksam oder missverständlich bearbeitet wurde.

Wichtig ist ein maßvoller Einsatz: Zu viele solcher Fragen können das Antwortverhalten beeinflussen oder gar Frustration auslösen. Empfehlenswert ist der Einsatz von 0 bis maximal 2 ACQs pro Umfrage. Die tatsächliche Einsatzhöhe hängt natürlich von Umfang und Komplexität der Umfrage ab.

Wann sollten Aufmerksamkeitskontrollen platziert werden?

An welcher Stelle der Umfrage Aufmerksamkeitscheck-Fragen eingesetzt werden sollten, richtet sich nach der Umfrage im Einzelfall.

Es kann beispielsweise sinnvoll sein, ACQ bereits zu Beginn einzusetzen, um den Befragten den Grad der geforderten Aufmerksamkeit zu verdeutlichen. Vor allem bei dem frühen Einsetzen von ACQ können falsche Antworten bei diesen Fragen über gezielte Filter zum Ausschluss führen, was wiederum eine automatisierte Datenbereinigung erheblich erleichtert.

Eine alternative oder auch weitere Möglichkeit ist das Einsetzen von ACQ im Laufe der Befragungsdauer. Je nachdem, wie zeitaufwendig oder komplex eine Befragung ist, können Befragte ermüdet und dadurch weniger konzentriert sein. Regelmäßige Aufmerksamkeitskontrollen können dann sinnvoll sein, um zum einen die tatsächliche Aufmerksamkeit des Befragten zu überprüfen, aber auch den Befragten durch eine solche Frage wieder aufmerksamer zu machen. Dieses Vorgehen ist vor allem bei Umfragen wichtig, bei denen Verständnis und Aufmerksamkeit überaus wichtig sind, wie etwa bei sensiblen und komplexen Thematiken.

Aufmerksamkeitscheck-Fragen – Chancen und Risiken

Der Einsatz von Aufmerksamkeitscheck-Fragen hat viele Vorteile. Diese wären beispielsweise:

• Steigerung der Datenqualität
• Reduktion von Verzerrungen
• Optimierung des Umfragedesigns
• Erleichterung der Datenanalyse
• Validere und belastbarere Forschungsergebnisse

Dennoch birgt der Einsatz auch gewisse Risiken. Werden ACQs zu häufig oder ungeschickt formuliert, können sich Teilnehmende bevormundet oder gar beleidigt fühlen.

Das kann nicht nur zu Frustration führen, sondern auch die Abbruchrate erhöhen. Zudem ist es möglich, dass auch sorgfältig arbeitende Befragte eine ACQ unbeabsichtigt falsch beantworten, etwa aufgrund von Unklarheiten oder kurzer Unaufmerksamkeit. Weiter kann sich auch eine verlängerte Bearbeitungszeit negativ auf die Datenqualität auswirken.

Praktischer Einsatz von ACQ – Wie sieht er aus?

Für die erfolgreiche Integration von Aufmerksamkeitscheck-Fragen in Umfragen empfiehlt es sich, einige Grundregeln zu beachten. Werden diese eingehalten, können valide Daten gesichert werden, ohne die Teilnehmenden zu vergraulen. Diese sind:

• Zielgerichteter Einsatz: Nur dann verwenden, wenn tatsächlich ein Risiko unaufmerksamer Teilnahme besteht.
• Zur Zielgruppe passende Formulierung: ACQs sollten verständlich und fair formuliert sein, ohne provozierend oder trickreich zu wirken.
• Datenschutz und Transparenz: Teilnehmende sollten in der Einleitung informiert werden, dass Qualitätssicherungsmaßnahmen wie ACQs enthalten sein könnten – ohne die genaue Formulierung zu verraten.
• Auswertung mit Augenmaß: Ein einzelner Fehler bei einer ACQ sollte nicht automatisch zum Ausschluss führen – es empfiehlt sich ein kombinierter Ansatz mit weiteren Qualitätsindikatoren.