Probleme von Studien, die sich auf Social-Media-Daten stützen

Diese Grafik stammt aus einer Studie eines Facebook-Research-Teams – genauer gesagt: Sie wurde in einem Anhang versteckt. Sie zeigt zwei Profile: Ein politisch konservatives und ein liberales (um die US-Begrifflichkeit zu verwenden). Bei beiden wird gezeigt, wie stark die Position eines Artikels im Newsfeed die Wahrscheinlichkeit beeinflusst, dass auf ein Artikel geklickt wird. In derselben Studie hat Facebook dokumentiert, dass Nachrichten, welche der politischen Haltung von Usern widersprechen, vom Facebook-Algorithmus aktiv unterdrückt werden (in diesen Fällen betrifft das rund 5-8% der betreffenden Nachrichten, die von Kontakten geteilt werden).

Die Studie verweist auf zwei zentrale Probleme von Social-Media-Studien:

1. Die scheinbare Objektivität wissenschaftlicher Untersuchungen
2. Die schlechten Stichproben, die sich aus Social-Media-Daten ergeben

1. Die scheinbare Objektivität wissenschaftlicher Untersuchungen

Zeynep Tufekci hat vehement darauf hingewiesen, dass die Studie von Facebook mit einem klaren Spin versehen worden ist: Die triviale Aussage, dass sich Menschen bei ihrem Nachrichtenkonsum von ihren Überzeugungen leiten lassen, wurde als zentrales Ergebnis hervorgehoben und auf die Titelseiten zahlloser Kommentare gehoben – um zu verstecken, dass und wie der Facebook-Algorithmus diese Tendenz verstärkt.

David A. Banks analysiert das Problem, dass Wissenschaftlerinnen und Wissenschaftler oft vorgeben, keinen Standpunkt zuhaben. Er nennt es in Bezug auf Donna Haraway den Gott-Trick: »seeing everything from nowhere«. Er schlägt deshalb für solche Forschungsvorhaben vor, den eigenen Standpunkt klar auszuweisen:

Facebook researchers using a standpoint epistemology would first recognize that their position of power in relation to users, not to mention their clear biases in showing that the algorithm is benevolent if not agnostic, has profound impacts on their results. If they still wanted to conduct the study they may mitigate their own biases by selecting users to review the data as well. They might pair their quantitative data with qualitative accounts and personal stories about avoiding or seeking out opposing viewpoints. Most importantly though, a standpoint epistemology would recognize that different people avoid or seek out viewpoints for different reasons and not all echo chambers are created equal.

2. Die schlechten Social-Media-Stichproben

Verwenden Wissenschaftsteams Daten, die sie aus sozialen Netzwerken beziehen, ist die Menge dieser Datensätze oft beeindruckend hoch – weil sie maschinell bearbeitbar und abrufbar sind. Daraus ergibt sich meist vorschnell der Eindruck, auch die Qualität der Daten sei gut. (Mit Qualität der Daten ist gemeint, wie zuverlässig die Resultate sind, die aus einer Stichprobe gewonnen werden können.)

Diesem Argument widerspricht Eszter Hargittai vehement. In einer Studie (pdf aller Studien als Privatkopie per Mail erhältlich) hat sie folgende Effekte nachgewiesen:

1. Nur ein bestimmter Ausschnitt der Bevölkerung ist auf sozialen Netzwerken aktiv. Dieser Ausschnitt ist nicht zufällig gewählt: Die Entscheidung, etwa FB zu nutzen, ist eine bewusste, die von recht klar identifizierbaren Faktoren abhängt.
2. Nur ein bestimmter Ausschnitt der Aktiven wird von Untersuchungen erfasst. (In diesem konkreten Beispiel wurden rund 4 Prozent der Bevölkerung erfasst).
3. Wichtige Effekte der Kommunikation außerhalb der gewählten Plattform werden ignoriert (woher wissen wir, welche Nachrichten die Personen hinter den untersuchten Profilen auf andere Plattformen oder in den Massenmedien wahrnehmen?).

Das Problem ist, dass es sich nicht um repräsentative, zufällige Stichproben handelt, sondern systematisch verzerrte. Hargittais Fazit ist vernichtend: Der Effekt der Verzerrung kann so groß sein, dass Studien das genaue Gegenteil von dem aufzeigen, was ein ganzheitliches Vorgehen ermitteln würde.

One response to this critique may be that they are nonetheless better than having no data. That is not necessarily the case, however. In certain instances, analyses based on such data may come to the exact opposite conclusion of what may be the case were the sampling frame more representative of the larger population. (S. 74)

Hargittai selbst untersucht in ihrer Studie eine weniger große Gruppe von Studierender, die in einigen Aspekten (Geschlecht, sexuelle Orientierung, Ethnie) repräsentativ für die Bevölkerung der USA ist, in anderen sehr homogen (Alter, Ausbildung). Befragungen führt sie auf Papier durch, um zu verhindern, dass digital affine Menschen in einem größeren Ausmaß teilnehmen. Dadurch kann sie solche Schwierigkeiten umgehen.