Goodharts Gesetz & Metriken

Die vielen Schlangen Indiens waren den Briten in der Kolonialzeit ein Dorn im Auge. Also begannen sie, Prämien für leblose Schlangenkörper auszuzahlen. Das Ergebnis: Schlaue Inder begannen, Schlangen zu züchten, um sie dann zu ermorden und Prämien abzukassieren.

Ein derartiges Versagen von Metriken ist kein Einzelfall und wird – in Anlehnung an den britischen Ökonomen Charles Goodhart – als Goodharts Gesetz bezeichnet.

Etwas drastisch formuliert besagt dieses Gesetz: Sobald ein statistischer Zusammenhang für Kontrollzwecke verwendet wird, kollabiert der statistische Zusammenhang.

Allerdings umfasst dieses Gesetz derartig viele Phänomene, dass eine etwas genauere Differenzierung nötig ist. Eine derartige Unterscheidung liefert Scott Garrabrant in seinem Artikel „Goodhart Taxonomy.“

Das Schlangenbeispiel illustriert die adverse Form dieses Gesetzes. Der Kontrolleur – also derjenige, der ein Phänomen auf Basis einer gewissen Metrik managen will – setzt einen gewissen Maßstab fest. Ein Akteur mit entgegengesetzten Interessen, erkennt den Fehler im Zusammenhang von Phänomen und Metrik und zerstört so die Effektivität der Kontrolle.

Eine weitere Form ist das kausale Goodharts Gesetz. Dabei versucht jemand, eine von ihm bestimmte Metrik zu optimieren, um seinem Ziel näher zu kommen. Er erkennt dabei nicht, dass zwischen Metrik und Ziel zwar eine Korrelation, aber kein kausaler Zusammenhang besteht. Ein etwas absurdes Beispiel macht das Konzept deutlich: Jemand beobachtet, dass reiche Menschen teure Autos haben. Also kauft er sich ein teures Auto, um reich zu werden.

Zu guter Letzt gibt es das ungefähre Goodharts Gesetz. Viele Metriken weisen zwar einen kausalen Zusammenhang mit einem bestimmten Phänomen auf, allerdings ist dieser Zusammenhang nicht perfekt. Wenn der Fokus ausschließlich auf die einzelne Metrik gelegt wird, werden andere wichtige Faktoren vergessen. Beispiel: Es gibt einen gewissen Zusammenhang zwischen der Größe von Basketballspielern und ihrem Erfolg. Ein Team, das nur auf Basis der Größe seine Spieler auswählt, wird allerdings mehr schlecht als recht abschneiden.

Das Goodharts Gesetz ist ein enorm potentes Konzept, das auf diverse verschiedene Phänomene angewandt werden kann. Vor allem hilft es dabei, einen kritischen Blick auf Metriken beziehungsweise Daten zu werfen und das ist in einer hochkomplexen Welt ohnehin notwendig.

Zum Weiterlesen:

https://www.lesswrong.com/posts/EbFABnst8LsidYs5Y/goodhart-taxonomy

https://arxiv.org/pdf/1803.04585.pdf