Mit einer Rede von W.G. Sebald wurde das Literaturhaus im November 2001 eröffnet. Das denkmalgeschützte Gebäude mit historischem Pater-Noster und Atrium liegt gegenüber der Liederhalle und ist Teil des neu gestalteten Bosch-Areals.
Zwei Etagen, zu denen auch das ehemalige Arbeitszimmer von Robert Bosch gehört, werden vom 1997 gegründeten Literaturhaus-Verein genutzt.Für den Erwerb der Immobilie stellte die Stadt Stuttgart, die auch für rund ein Viertel des laufenden Etats aufkommt, 2,5 Mio € zur Verfügung. 1,5 Mio € stammen aus privaten Spenden (insbesondere von Verlagen und Stiftungen), die im Zuge einer engagierten Bürgerbewegung aufgebracht wurden. Noch heute unterstützen über tausend Mitglieder und ‚Freunde’ die Arbeit des Hauses. Im Erdgeschoss finden Besucher das Literaturhaus-Lokal Vinum sowie eine kleine Buchhandlung.