Mit Hilfe unterschiedlichster Originalobjekte können sich unsere Besucherinnen und Besucher über die historische Entwicklung der Stadt und das Leben ihrer Bewohner informieren. Darüber hinaus gibt es wechselnde Ausstellungen zu vielfältigen Themen der (Kultur-)Geschichte.
Das Museum geht auf die Initiative des Geschichts- und Altertumsvereins (GAV) zurück. Geschichtsbewusste Esslinger Bürger beschlossen 1908, Zeugen der Vergangenheit zu sammeln und zu bewahren. Seit 1926 wurde die Sammlung im Alten Rathaus ausgestellt. Das Gelbe Haus ist seit 1989 Sitz des Stadtmuseums. Der Geschichts- und Altertumsverein setzt sich bis in die Gegenwart für die Bewahrung des historischen Erbes der ehemaligen Reichsstadt Esslingen ein. Das Museum befindet sich heute in gemeinsamer Trägerschaft der Stadt Esslingen am Neckar und des GAV.