Das Gebäude wurde 1591 als Wirtschaftsgebäude der unteren Burg errichtet, die Ende des 17. Jahrhunderts von Truppen Ludwigs des XIV im Zuge des Pfälzischen Erbfolgekrieges zerstört wurde.
Von 1938 bis 1973 hatte die Weingärtnergenossenschaft Besigheim hier Ihren Sitz. Nach dem Zusammenschluss mit der Weingärtnergenossenschaft Hessigheim zur Felsengartenkellerei Besigheim im Jahre 1972, wurde die Traubenanlieferung und der Weinausbau in einen Neubau unterhalb der Felsengärten verlegt.
1986 bis 1989 wurde der komplette Kelterplatz umgebaut und darunter eine Tiefgarage mit 5 Ebenen angelegt. Außerdem wurde das Keltergebäude zu einer modernen Stadthalle umgebaut. Die historischen Elemente des Gebäudes wurden, so gut es ging, erhalten. Insbesondere der große Gewölbekeller mit den historischen Holzfässern, der heute noch für Weinproben und andere Festivitäten genutzt wird, ist eindrucksvolles Zeugnis des Küferhandwerks früherer Jahre. Dort ist auch noch das große Fass mit einem Inhalt von 27.480 Litern erhalten geblieben.