Der E. V. Altes Zeughaus wurde ursprünglich aus der Idee heraus geboren, eine Heimstatt für Karnevalisten zu schaffen. Hierfür schien das alte Gemäuer, die Gebäuderuine an der Pumpe, Weiherstraße 2, geeignet, auf das Rolf Terhaag und Helmut Degen anlässlich der Übergabefeier der renovierten Pumpe im März 1974 aufmerksam wurden.

Die Befürworter des Plans, in diesem alten Gemäuer ihre Idee von der Verwirklichung eines Karnevalsmuseums umzusetzen, legten den Kaufpreis aus eigenen Mitteln zusammen. 

Am 15.11.1974 trafen sich Helmut Degen, Peter Ullrich, Heinz Mathar, Rolf Terhaag, Toni Brune, Wolfgang Esser und Heinz Rippen auf Einladung von Peter Ullrich, um einen Verein zu gründen. Sie verabschiedeten die Vereinssatzung und gaben dem Verein die Bezeichnung „Kleiner Rat – Altes Zeughaus“. Zum 1. Vorsitzenden wurde Peter Ullrich, zu seinem Stellvertreter Rolf Terhaag und zum Geschäftsführer Helmut Degen gewählt. 

Der Vereinszweck war laut Satzung die Erforschung und Pflege des heimischen Brauchtums, insbesondere des Karnevals. Zu diesem Zweck unterhält der Verein ein Karnevalsmuseum.