“Aber ist es wichtig?”

Dies ist immer eine der ersten Fragen, die Wirtschafts- und Finanzforschern gestellt werden. Es ist ein interessanter Kontrast zu: “Ist das wichtig?”

Der Kult der statistischen Signifikanz von Stephen T. Ziliak und Deirdre N. McCloskey ist ein Buch, das wahrscheinlich jeder Ökonom, Research-Analyst und Investor lesen muss, aber nur sehr wenige. Die Autoren beschreiben, wie das gesamte Gebiet der Wirtschaft und Finanzen von p-Werten fasziniert wurde. Wenn ein Ergebnis bei 5% statistisch signifikant ist, wird es als gültiges Phänomen angesehen. Ein Ergebnis, das diesen Test nicht besteht, soll nicht vorhanden sein.

Offensichtlich verfehlt die 5% -Regel zwei Punkte. Erstens sollte allein durch Zufall jedes 20. Experiment diese Schwelle erreichen. Da jedes Jahr Tausende, vielleicht Millionen von Tests mit Finanz- und Wirtschaftsdaten durchgeführt werden, können wir uns vorstellen, wie viele falsch positive Ergebnisse gefunden und dann veröffentlicht werden. Schließlich ist ein positives Ergebnis viel einfacher zu veröffentlichen als ein negatives.

Ich erinnere mich an ein Seminar in meiner Studienzeit. Ein Forscher legte statistisch signifikante Beweise dafür vor, dass Unternehmensleiter den Vorstand verlassen, bevor das Unternehmen Probleme mit seinen Wirtschaftsprüfern oder Aufsichtsbehörden bekommt. Das ist alles in Ordnung und gut. Aber dann hat er uns gezeigt, dass diese Beobachtung Geld verdienen kann: eine volle Outperformance von 0,2% pro Jahr – vor Transaktionskosten.

Da der Forscher so viele Datenpunkte hatte, um seine Regression abzuschätzen, konnte er statistische Signifikanz generieren, obwohl der Effekt keine wirtschaftliche Signifikanz hatte. Am Ende war es eine rein akademische Übung.

Und zweitens hat sich im 21. Jahrhundert die Menge der verfügbaren Daten immer wieder vervielfacht. Hedgefonds und traditionelle Vermögensverwalter wenden Big Data an, um Muster in Märkten zu finden, die sie nutzen können. Sie analysieren die Daten mit künstlicher Intelligenz (KI), um „sinnvolle“ Korrelationen zu finden, die bei herkömmlichen Analysen fehlen würden. Dieser Investitionsansatz hat viele Herausforderungen zu bewältigen.

Eine wichtige und selten erwähnte: Je mehr Daten wir betrachten, desto wahrscheinlicher werden wir statistisch signifikante Effekte feststellen und je mehr zugrunde liegende Daten wir haben, desto leistungsfähiger werden unsere statistischen Tests. Mit mehr Daten können wir also immer kleinere Effekte erkennen, die wirtschaftlich sinnvoll sein können oder nicht.

In „Statistische Nichtbedeutung in der empirischen Ökonomie“ analysiert Alberto Abadie, wie viel Wissen wir mit einem statistisch signifikanten Testergebnis gewinnen. Die gestrichelte Kurve in der folgenden Tabelle zeigt die Annahme der möglichen Verteilung einer Variablen, bevor Tests durchgeführt werden. Anschließend messen wir die Daten – zum Beispiel die Rendite von Aktien mit bestimmten Merkmalen – und erhalten ein statistisch signifikantes Ergebnis. Die durchgezogene Kurve zeigt, wo der wahre Effekt von der Anzahl der Datenpunkte abhängen kann. Mit sehr wenigen Datenpunkten macht ein statistisch signifikantes Ergebnis einen ziemlich großen Teil der Verteilung aus. Wir lernen also viel mehr, wenn wir mit wenigen Datenpunkten ein signifikantes Ergebnis erzielen.

Mit 10.000 Datenpunkten ist die Ausgliederung jedoch extrem klein. Das heißt, je mehr Daten wir haben, desto weniger aussagekräftig wird ein statistisch signifikantes Ergebnis. Wenn andererseits bei einem Test mit 10.000 Datenpunkten ein Fehler von statistischer Signifikanz auftritt, lernen wir sehr viel. In der Tat würden wir wissen, dass der wahre Wert fast genau Null sein müsste. Und das allein könnte zu einer äußerst leistungsfähigen Anlagestrategie führen.

Der Einfluss eines statistisch signifikanten Ergebnisses auf unser Wissen

Dies ist ein Hauptgrund, warum so viele Big Data- und KI-Anwendungen im wirklichen Leben versagen und warum so viele Gerechtigkeitsfaktoren nicht mehr funktionieren, sobald sie in der akademischen Literatur beschrieben sind.

Tatsächlich zeigt eine strengere Definition der Signifikanz, die mögliche Data-Mining-Verzerrungen berücksichtigt, dass von den Hunderten von Eigenkapitalfaktoren nur drei weitgehend gegen P-Hacking und Data-Mining immun sind: der Wertfaktor, der Momentumfaktor und ein wirklich esoterischer Faktor Faktor, den ich immer noch nicht richtig verstanden habe.

Was ist der große Imbiss? Nur weil es statistisch “signifikant” ist, heißt das nicht, dass es wichtig ist. Und wenn es nicht wichtig ist, kann es sehr wichtig sein. Wenn Sie das nächste Mal auf ein bedeutendes neues Ergebnis stoßen, fragen Sie sich, ob es darauf ankommt.

Weitere Informationen von Joachim Klement, CFA, erhalten Sie nicht 7 Fehler, die jeder Investor macht (und wie man sie vermeidet) und Risikoprofilierung und Toleranz, und melden Sie sich für seinen Kommentar zu Klement on Investing an.

Wenn Ihnen dieser Beitrag gefallen hat, vergessen Sie nicht, den unternehmungslustigen Investor zu abonnieren.

Alle Beiträge sind die Meinung des Autors. Als solche sollten sie weder als Anlageberatung ausgelegt werden, noch spiegeln die geäußerten Meinungen notwendigerweise die Ansichten des CFA-Instituts oder des Arbeitgebers des Autors wider.

Bildnachweis: © Getty Images / fstop123

Joachim Klement, CFA

Joachim Klement, CFA, ist Treuhänder der CFA Institute Research Foundation und bietet bei Klement on Investing regelmäßig Kommentare an. Zuvor war er CIO bei Wellershoff & Partners Ltd. und zuvor Leiter des Strategic Research-Teams von UBS Wealth Management und Leiter der Aktienstrategie von UBS Wealth Management. Klement studierte Mathematik und Physik an der Eidgenössischen Technischen Hochschule (ETH) in Zürich (Schweiz) und Madrid (Spanien) und schloss sein Studium mit einem Master in Mathematik ab. Darüber hinaus hat er einen Master-Abschluss in Wirtschaft und Finanzen.