Die natürliche Evolution optimiert nach Fitness, also der Fähigkeit, sich fortzupflanzen und das eigene Erbgut weiterzugeben. Die Evolution ist damit ein System das nach einem bestimmten Kriterium optimiert – ein sogenannter Basis-Optimierer. Im Zuge dieser Optimierung ist unter anderem das menschliche Gehirn entstanden. Doch das menschliche Gehirn ist nicht nur Teil des Basis-Optimierers, sondern versucht selbst zu optimieren. Entscheidend ist, dass das Cerebrum oft ganz andere Ziele verfolgt als Fitness oder Fortpflanzung – es handelt sich um einen Mesa-Optimierer.

Aus Sicht der Evolution – die den menschlichen Denkapparat erschaffen hat, um für Fitness zu optimieren – stellt das ein Problem dar. Das Gehirn war anfangs in Übereinstimmung mit den evolutionären Zielen. Doch es handelte sich dabei lediglich um eine Pseudo-Übereinstimmung, wobei das Gehirn mehr und mehr unabhängig von den evolutionären Richtlinien entscheidet und sich auf ganz andere Faktoren fokussiert.

Ob eine Mesa-Optimierung auftritt, hängt zum einen von der jeweiligen Aufgabe ab. Zum anderen spielt die Art des Basis-Optimierers eine essentielle Rolle.

Je komplexer die Aufgabenstellung und je größer der Raum an Möglichkeiten, desto wahrscheinlicher ist ein Mesa-Optimierer. Das Leben ist hochkomplex und Menschen sehen sich immer wieder mit neuen Herausforderungen konfrontiert. Ein Basis-Optimierer betrachtet immer die gesamte Menge an Möglichkeiten, muss also im Grunde für jeden Einzelfall optimieren. Unter der Annahme einer begrenzten Optimierungsenergie, ist es bei einem ausreichend diversen System unmöglich, für alle Einzelfälle auf einmal zu optimieren.

Darum greift die Evolution auf einen Mesa-Optimierer wie das Gehirn zurück. Der Mesa-Optimierer ist in der Lage, im Moment selbst zu optimieren, während Evolution die Optimierung immer nur ex-post durchführen kann. Wenn es also viele neuartige Ereignisse gibt, ist ein Mesa-Optimierer tendenziell die effizientere Lösung.

Auch eine komplexe Umwelt begünstigt Mesa-Optimierung. Der Basis-Optimierer versucht immer, eine möglichst einfache Lösung für Probleme zu finden. Bei sehr komplexen Thematiken wird das direkte Programmieren von konkreten Lösungen für konkrete Probleme bald an seine Grenzen stoßen. Viel einfacher ist es, einen Mesa-Optimierer zu erschaffen, dem man nicht die Lösungen an sich gibt, sondern nur antrainiert, wie er in Anbetracht eines bestimmten Problems die richtige Lösung finden kann.

Während die Evolution das intuitivste Beispiel für Mesa-Optimierung ist, stammt der Begriff eigentlich aus dem Bereich der Künstlichen Intelligenz. Evan Hubinger et al. haben diese Idee erstmals im Juni 2019 in ihrem Paper „Risks from learned optimization in advanced machine learning systems“ eingeführt.

Denn auch bei Systemen der Künstlichen Intelligenz ist die Gefahr der Mesa-Optimierung hoch. Dabei spielen zum einen die bereits genannten Faktoren eine Rolle – je komplexer also die Aufgabe, desto höher die Wahrscheinlichkeit, dass sich ein Mesa-Optimierer entwickelt. Doch auch andere Thematiken sind von Relevanz.

Aktuelle Methoden im Bereich des Machine-Learning basieren auf überraschend einfachen mathematischen Konzepten. Hinter diesen Konzepten steckt im Grunde die Idee, den Algorithmus in kleinen Schritten jeweils so anzupassen, dass er dem gewünschten Ergebnis immer ein kleines Stück näher kommt. Man spricht in diesem Zusammenhang auch von einer lokalen Optimierung.

Tatsächlich ist es bei solchen Systemen unwahrscheinlich, dass eine Mesa-Optimierung auftritt. Denn ein Mesa-Optimierer reagiert tendenziell sehr sensitiv auf kleine Änderungen. Das bedeutet, dass es auf der Suche nach dem Mesa-Optimierer eine Tendenz zu einer sprunghaften Entwicklung gibt. Der Weg zum Mesa-Optimierer wird also viele Entwicklungsstufen beinhalten, die schlechter sind als eine direkte Problemlösung vonseiten des Basis-Optimierers. Da aber heutige Lernalgorithmen immer versuchen, bei jedem Schritt ein Stück besser zu werden, ist die Wahrscheinlichkeit auf diesem Weg einem Mesa-Optimierer zu begegnen eher gering.[i]

Auch stellt sich die Frage, auf welche Art der Einfachheit man das System einstellt. Wenn der Basis-Optimierer vor allem darauf aus ist, eine möglichst einfache Lösung in Form eines möglichst kompakten Systems zu finden, werden Mesa-Optimierer bevorzugt. Doch Mesa-Optimierer werden bei der Handlung selbst etwas mehr Zeit brauchen, da sie das jeweilige Problem von sich aus lösen und optimieren müssen. Ein Basis-Optimierer, der auf die Zeit der Durchführung fokussiert, wird also tendenziell keine Mesa-Optimierer entwickeln.

Auch führt die Nähe zwischen Basis-Optimierer und Handlung zu entscheidenden Unterschieden. Evolution hat nur direkten Einfluss auf das Erbgut. Aus diesem Erbgut entwickelt sich dann erst der endgültige Organismus. Es besteht hier also ein recht langer und verworrener Informationsfluss. Im Gegensatz dazu ist die Verbindung zwischen dem Basis-Optimierer und dem Ergebnis bei Machine-Learning-Verfahren viel direkter. Je länger und verworrener die Kommunikationskanal, desto höher der Bedarf nach kompakten Nachrichten. Mesa-Optimierer sind also bei Machine-Learning-Modellen mit direkten Zusammenhängen unwahrscheinlicher als beispielsweise im Bereich der Evolution.

Zum Weiterlesen:

https://www.fhi.ox.ac.uk/wp-content/uploads/1906.01820.pdf

[i] Etwas mathematischer gesprochen: Der Machine-Learning-Algorithmus hat eine Menge an möglichen Konfigurationen. Man kann sich das vorstellen, als ob jede Konfiguration einen Punkt auf einem Funktionsgraphen darstellt. Nun gilt es, auf diesem Funktionsgraphen ein lokales Minimum zu finden, denn dort zeigt der Algorithmus das beste Verhalten. Dabei sieht sich der Algorithmus nach jedem Durchgang die aktuelle Position an, und berechnet dann (mittels partiellen Ableitungen), in welche Richtung er optimieren muss, um beim nächsten Durchgang etwas näher am lokalen Minimum zu liegen. Das Argument lautet jetzt wie folgt: es ist wahrscheinlich, dass der Mesa-Optimierer zwar ein lokales Minimum darstellt, man auf dem Weg dorthin aber einige lokale Maxima (also recht schlechte Konfigurationen) durchlaufen muss. Da der Algorithmus sich aber bei jedem Durchgang in Richtung Minimum bewegt, wird er die lokalen Maxima auf dem Weg zum Mesa-Optimierer nur sehr selten (bspw. durch Zufall) überwinden.