Die erste Gefahr besteht in der Pseudo-Übereinstimmung.

Man nehme als Beispiel einen Waschroboter mit Künstlicher Intelligenz. Das eigentliche Ziel des Basis-Optimierers ist saubere Kleidung. Um dieses Ziel zu erreichen, wurde ein Mesa-Optimierer erschaffen. Dieser verfolgt allerdings das Ziel, möglichst viel Schmutz von der Kleidung zu entfernen. Im Normallfall ist das kein Problem und wenn der Mesa-Optimierer viel Schmutz entfernt, ist auch der Basis-Optimierer zufrieden. Was aber, wenn der Mesa-Optimierer einen Weg findet, die Kleidung wieder schmutzig zu machen? Natürlich würde er dann die Kleidung nach jedem Waschvorgang wieder verdrecken, denn so kann er seinen Gesamtmaß an Schmutzentfernung enorm erhöhen.

Pseudo-Optimierung zeichnet sich also dadurch aus, dass der Mesa-Optimierer mit seinem ursprünglichen Verhalten auch das Ziel des Basis-Optimierers erfüllt. Doch sobald es zu gewissen Änderungen in der Wahrnehmung des Mesa-Optimierers oder im Zustand der Umwelt kommt, kann eine plötzliche totale Divergenz zwischen den Interessen von Mesa- und Basis-Optimierer entstehen.

noah leidingerMay 16, 2020Mesa, Optimierung, Künstliche Intelligenz, KI, AI, Betrug, Roboter, Robotik, Singularität, Risiko

Mesa-Optimierer – Gehirn und Evolution

Die natürliche Evolution optimiert nach Fitness, also der Fähigkeit, sich fortzupflanzen und das eigene Erbgut weiterzugeben. Die Evolution ist damit ein System das nach einem bestimmten Kriterium optimiert – ein sogenannter Basis-Optimierer. Im Zuge dieser Optimierung ist unter anderem das menschliche Gehirn entstanden. Doch das menschliche Gehirn ist nicht nur Teil des Basis-Optimierers, sondern versucht selbst zu optimieren. Entscheidend ist, dass das Cerebrum oft ganz andere Ziele verfolgt als Fitness oder Fortpflanzung – es handelt sich um einen Mesa-Optimierer.

Aus Sicht der Evolution – die den menschlichen Denkapparat erschaffen hat, um für Fitness zu optimieren – stellt das ein Problem dar. Das Gehirn war anfangs in Übereinstimmung mit den evolutionären Zielen. Doch es handelte sich dabei lediglich um eine Pseudo-Übereinstimmung, wobei das Gehirn mehr und mehr unabhängig von den evolutionären Richtlinien entscheidet und sich auf ganz andere Faktoren fokussiert.

Ob eine Mesa-Optimierung auftritt, hängt zum einen von der jeweiligen Aufgabe ab. Zum anderen spielt die Art des Basis-Optimierers eine essentielle Rolle.

noah leidingerMay 15, 2020Künstliche Intelligenz, AI, KI, Technologie, Evolution, Erbgut, Fitness, Fortpflanzung, Fortschritt, Optimierung, Meta, Mesa, Gehirn, Anreize, Interessen, Mathematik

text