Qualitatives User Testing– Ausbruch aus der selbstverschuldeten Statistik-Geilheit

Abstract:

A/B-Testings, bei denen zigtausend Euro auf SEA-Kampagnen geworfen werden, gelten in der Branche häufig als Best Practice. Dabei ist der Erkenntnisgewinn oft marginal. Aus sozialwissenschaftlich-methodologischer Sicht ist das Vorgehen in vielen Fällen bestenfalls lückenhaft. Empirie kann aber mehr als Massendaten auszuwerten. Qualitatives User Testing ist als Gegenstück dieses Vorgehens eine Betrachtungsweise aus der Mikroperspektive.

Statt von oben auf Zielgruppen zu sehen und in der grauen Masse das Individuum entdecken zu wollen, kann Empirie auch die Detailperspektive einnehmen. Qualitative Methodik kann den Boden für qualifizierte A/B-Tests legen, die dann auch tatsächlich aussagekräftig sind und nicht nur auf gut Glück im Trüben stochern. Das entsprechende Test-Setup etablieren wir aktuell bei contify. Folgender Beitrag zeigt, wie durch die richtige methodische Ausrichtung Budgets deutlich effizienter eingesetzt werden können. 

Kurze Begriffsklärung

„Qualitativ” bedeutet methodologisch keine Bewertung im Sinne „gut” oder „schlecht”. Die Unterscheidung zwischen qualitativ und quantitativ meint zwei gegensätzliche Perspektiven Menschen bzw. Gruppen zu betrachten. Quantitative Methodik schaut von oben aus der Vogelperspektive auf die Gesellschaft und versucht, auf den Einzelnen zu schließen. Qualitative Methoden betrachten das Individuum im Detail und versuchen auf die Masse zu schließen. In der Kombination ergibt sich ein authentisches Bild.

I. Problemstellung: Streuverlust quantitativer Scheuklappen

Dinge zu testen gehört im Online-Marketing zum Standard. Wer nicht A/B-testet, weiß angeblich nichts über die Wirksamkeit seiner Maßnahmen. Dabei weiß der A/B-Tester aus methodologischer Sicht häufig ganz genauso wenig oder nur marginal mehr. In einem Test zweier möglicher Varianten sind bereits derartig viele vorgefertigte Grundannahmen verbaut, dass das Setup aus empirischer Sicht häufig nicht nur unwissenschaftlich, sondern auch völlig nutzlos ist. 

Dabei lässt sich aus einem A/B-Test durchaus ein Erkenntnisgewinn ziehen. Der Erfahrung nach äußert sich das aber häufig nur im Gegenüberstellen von zwei Varianten, deren strategische Ausrichtung rein auf Bauchgefühl und der Perspektive des Marketers beruht. Je nachdem, wie gut das Fingerspitzengefühl und die Erfahrungswerte der- oder desjenigen bzw. des Teams insgesamt sind, bewegt sich das Setup für ein quantitatives Testing leider zu häufig nur zwischen „einen kleinen Ausschnitt sehen” und reinem Raten.

Das ist insofern bemerkenswert, als dass Testings, vor allem im SEA-Bereich, mit hohem Budgeteinsatz betrieben werden. Ende 2024 saß ein Projektverantwortlicher eines Unternehmens neben mir bei einem Panel auf einer der großen SEO-Konferenzen. Er fragte den Vortragenden, warum er keine belastbaren Ergebnisse aus einem A/B-Test ziehen könne, für den 50.000 € Budget aufgewendet worden waren. Die Ergebnisse waren nahezu gleich. 

Die Antwort ist so simpel wie selbstverständlich: Wenn ich zwei Kampagnen nebeneinander lege und die Conversion-Rate tracke, habe ich nach Abschluss des Testings genau eine Sache gelernt: welche der beiden Kampagnen eine höhere Conversion-Rate aufweist. Das mag banal klingen, doch wenn man das einmal konkreter durchdenkt, ist der Erkenntnisgewinn hier doch ziemlich beschränkt. Ich weiß nun zwar, welche Kampagne besser performt, aber nicht, warum. Denn ich kann die Gesamtheit der Sinneseindrücke der Rezipienten nicht wahrnehmen, geschweige denn ihre Gedankengänge. 

Ich kann also nicht im Ansatz beurteilen, ob Testvarianten C, D, E und so weiter nicht mehr Erfolg hätten bringen können. Die Schwächen des A/B-Testings sind also die methodischen Scheuklappen, da ich nicht außerhalb meiner Grundannahmen blicken kann. Freilich könnte man nun mehrere Tests kombinieren. Da diese jedoch alle Geld kosten, ist das Vorgehen in vielen Fällen hochgradig ineffizient und verbrennt unnötig Budget. 

II. Das Dilemma der Einflussnahme des Testenden und wie es lösbar ist

Das Grundproblem liegt in der Perspektive der Marketer. Schon wenn Ideal-Zielgruppen und deren repräsentierende Personas entworfen werden, fließen Lebensrealitäten und Sichtweisen der Marketer mit ein. Der eigene Bias lässt sich nachgewiesenermaßen nicht zu völliger Objektivität ausblenden. Wir sind voreingenommen. Nicht gerade zufällig lesen sich Personas teilweise wie Sitcom-Cliches. 

Die Frage ist eigentlich nur, wie diese Fehlerquote behandelt wird. Sie kann zwar nie von vornherein ausgemerzt, aber zumindest auf ein Mindestmaß reduziert werden. Der Schlüssel dazu ist, Trigger zu setzen, die den Tester in einen freien Redefluss bringen. Jeder Fragebogen, Multiple-Choice-Antworten und vieles mehr bedingen, dass der Tester vorgefertigte Annahmen präsentiert bekommt. Testet er allerdings ohne konkrete Vorgabe beispielsweise einen Shop, werden ganz intuitiv Eindrücke verarbeitet. Die Aufgabenstellung im Rahmen eines Qualitatives User Testing könnte dann sein: “Bestelle ein weißes T-Shirt.” – Nicht mehr und nicht weniger.

Mouse- und Eyetracking verfolgen die Interaktion mit der Seite, während Audio- und Bildaufnahme die Gesamtsituation einfangen. Im Anschluss wird ein Gespräch mit dem Projektmanager geführt. Leitfadengestützt, aber grundsätzlich offen. Dabei wird der Tester zum Reden gebracht und soll seine Eindrücke schildern, und zwar ohne, dass nach irgendwelchen Kernthemen gefragt wird, die für den Testenden eigentlich relevant wären.

So schreibt beispielsweise die Kulturanthropologin Christine Bischoff über die qualitativ-methodische Ausrichtung empirischer Kulturwissenschaft: 

“Ihr Ziel ist nicht die isolierte Betrachtung von erhobenen Einzeldaten, sondern das integrative Zusammenführen und In-Beziehung-Setzen zueinander. Durch dieses integrative Prinzip ergeben sich gegenseitige Kontroll- und Verifizierungsmöglichkeiten.

”Bischoff, Christine: Empirie und Theorie. In: Methoden der Kulturanthropologie, S. 25. Bern 2014.

Übertragen ins Online Marketing heißt das: 

Positive und negative Erfahrungen im Umgang mit der Website werden durch Qualitatives User Testing sehr ungefiltert in Erfahrung gebracht. Im Vorfeld können zwar wichtige Erkenntnis-Desiderate festgelegt werden, diese werden allerdings nicht konkret abgefragt. Welche Aussagen, Reaktionen und Verhaltensweisen tatsächlich relevant, belastbar und nutzbar sind, wird beim Qualitatives User Testing erst am Ende ausgewertet und in Beziehung gesetzt. 

Das birgt zwar die Gefahr, dass man auch einen Test durchführt, der wenig Verwertbares zutage fördert. Erkenntnisse, die da sind, sind hingegen authentisch und so unverfälscht wie möglich. Der unwahrscheinliche Fall eines nutzlosen Tests wäre ohnehin finanziell verschmerzbar, da die darauf aufgewendeten Ressourcen sehr überschaubar sind. Zudem lassen sich selbst aus Dingen, die nicht gesagt werden, Erkenntnisse ziehen. 

Auf diese Weise werden mehrere Personen getestet, ihre Aussagen sowie ihr Handeln nebeneinander gestellt und daraus am Ende Schlüsse gezogen. Die gewonnenen Erkenntnisse können nun auch quantitativ getestet werden, um auszuschließen, dass es sich um Zufälle handelt. Die Kombination erzielt in der Gesamtschau ein optimiertes Preis-Leistungsverhältnis, da die Vorteile der Vorgehensweisen Synergien erzeugen können. 

Man verbindet individuelle Authentizität mit der Frage nach massentauglicher Skalierbarkeit.

III. Vorteile Qualitativer Methoden für das Testing

Für Statistiker sind im politischen, volkswirtschaftlichen und soziologischen Kontext die Fehlerquoten von Umfragen und sonstigen quantitativen Methoden eine der größten Herausforderungen. Im Marketing werden diese gern ignoriert, da man ein Ergebnis haben möchte, das einem vermeintlich evidenzbasiert eine Datenbasis für das eigene Projekt liefert – egal ob als Dienstleister oder inhouse. 

Qualitatives User Testing erfüllt dieses Desiderat schon initial bei Zielgruppen- und Marktanalyse. Eine methodologisch sauber unterfütterte Strategie macht aus Halbwahrheiten und Annahmen belastbare Empirie, die dann sukzessive erweitert werden kann.

Konkretes Beispiel:

A ist aus demographischen Kriterien als Tester ausgewählt worden. Er entspricht dem angenommenen Idealkundenprofil für einen Immobilienkredit, was Einkommen, Familienstand und Alter betrifft. Die den Kredit vermittelnde Affiliate-Website hat die relevante Landingpage bereits bis ins kleinste Detail optimiert. SEO, SEA, flankierende Multi-Channel Strategie und eine Conversion-Optimierung haben über intensives Testing bereits stattgefunden und wer einen günstigen Kredit haben möchte, klickt sich mit vergleichsweise hoher Wahrscheinlichkeit durch den Kreditrechner. 

Für Tester A ist aber gar nicht der günstige Kredit maßgeblich. Er möchte vor allem seine Familie absichern, sollte aus welchen Gründen auch immer ein Zahlungsausfall eintreten. Beispiele wären sein Tod oder Berufsunfähigkeit, in deren Fall die Familie das Haus nicht verlieren soll, weil der Immobilienkredit nicht mehr bedienbar ist. Für ihn ist es essentiell wichtig, darüber aufgeklärt zu werden, welche Möglichkeiten der Kreditgeber bietet, um gegen Kreditausfall abzusichern. Über ein quantitatives Testing wird dieses Kriterium nie zutage treten, da der Nutzen der Seite vor allem auf den Kreditvergleich zielt, also primär die Kostenfrage. 

Sowohl auf der Ebene UX als auch informational kann nun sowohl im Rechner wie im Content ein Bereich eingewoben werden, der über Ausfallversicherungen aufklärt, ohne dass ein Absprung stattfinden muss. Idealerweise hat die Seite direkt Partner aus der Versicherungswirtschaft an der Hand, die den Funnel flankieren können. 

Hierbei handelt es sich um ein sehr simplifiziertes Beispiel, das das Grundprinzip darlegt: Was User intuitiv beschäftigt und am Ende zur Conversion bringt oder davon abhält, lässt sich breiter und authentisch bestimmen. 

IV. Nachteile Qualitativer Testing Methoden

Der wesentliche Nachteil ist ein höherer Initialaufwand für Maßnahmen. Um möglichst viel Bias herauszunehmen und Tester nicht zu beeinflussen, werden Fragen und Rückfragen möglichst offen gestellt. Das führt dazu, dass die Erkenntnis über Kernthematiken mehr oder weniger zufällig zustande kommt, bzw. das entsprechende Umfeld dafür geschaffen wird, dass das passieren kann. Um die Daten qualitativen User Testing am Ende nutzbar zu machen, muss viel Material ausgewertet werden, um zu den Kernthematiken vorzudringen. Das beinhaltet auch das situative und emotionale Umfeld, abseits rein verschriftlichter Aussagen. 

“Nach dem Rückzug aus dem Feld ist ein Beobachtungs-/Gesprächsprotokoll anzufertigen, in welchem die Narrativprioritäten und Qualitäten der Erzählenden, Beobachtungen des Gesprächsortes, die Interviewsituation samt nonverbaler Äußerungen sowie die Inhalte der informellen Gespräche festgehalten werden.”

Spiritova, Marketa: Narrative Interviews. In: Methoden der Kulturanthropologie, S. 127. Bern 2014.

Man hat somit zwangsläufig einen Ausschuss, dessen Prüfung Ressourcen bindet. Das lohnt sich insofern, als die Mehrwerte, die hier gefunden werden können, auch die meiste Aussagekraft haben. Diese sind zwar nicht repräsentativ, beleuchten aber sehr authentisch und nahbar die tatsächlichen Bedürfnisse, Emotionen sowie Gedankengänge der Testenden. Die Wahrscheinlichkeit, dass andere User genauso denken, ist hoch.

Dass keine Repräsentativität hergestellt werden kann, ist indessen auch nicht einmal als Nachteil zu beurteilen. Repräsentativ sind quantitative Tests in den meisten Fällen leider ebenfalls nicht. Die Größe der Samples basiert meist nicht auf Erkenntnis aus sozialökonomischer Statistik, sondern in der Regel rein auf Budgetierung. Insofern ist besonders die sog. “empirische Sättigung” des Samples von Bedeutung.

“Das richtige Ausrichten von Kameras und Mikrofonen, die geglückte Wahl von Beobachtungszeitpunkten, ein guter Blick für die Auswahl von Dokumenten im Feld oder von Gesprächspartnerinnen für Interviews: All dies trägt zu empirischer Sättigung bei. Ein gutes Datenkorpus ist weniger eine Frage der schieren Menge als vielmehr der Systematik der Auswahl mit Blick auf die sich entwickelnde Fragestellung.”

Strübing, Jörg: Qualitative Sozialforschung. Berlin/Boston. 2024, S. 205 f.

Bei aller Kritik an quantitativer Methodik ist diese aber keineswegs überflüssig. Die teils gewaltigen Budgets können im Anschluss besser eingesetzt werden, weil die Konzeption beispielsweise eines A/B-Tests dadurch treffsicherer gestaltet werden kann. Das qualitative User Testing bereitet dann den empirischen Boden für eine sinnvolle Investition weiterer Budgets.

V. Schlussfolgerung zu Qualitatives User-Testing

Zusammenfassend lässt sich feststellen, dass eine Zusammenführung der Methoden den größten Erfolg verspricht. Der Initialaufwand, seine Zielgruppe tatsächlich authentisch und unverfälscht kennenzulernen, lohnt sich gleich auf mehreren Ebenen:

1. Treffsicheres Zuschneiden jeglicher Kommunikationskanäle auf die tatsächlichen Bedürfnisse potenzieller Kunden – und nicht nur auf die Wunschvorstellung des C-Levels.
   
2. Authentische Datenbasis für kosteneffizientes, quantitatives Testing im Anschluss
   
3. Ungefilterte Evaluation bestehender Kanäle und Strategien

Wenn du also bereits umfangreich testest oder es vorhast, dann unterfüttere das Ganze idealerweise schon bei der Marktforschung mit einem User Testing. Als Evaluationsmethode ist es ebenso tauglich und kann an jedem Punkt im Prozess eingeführt werden. Durch den hohen Grad an Individualität schneiden wir bei contify Qualitative Test-Setups ohnehin genau auf das Erkenntnisinteresse und das Profil unseres Kunden zu.