Vzhledem k obrovskému nárůstu návštěvnosti od poloviny 19. století již starý sál Gewandhaus nestačil. V prosinci 1884 byl proto postaven nový koncertní sál. Na rozdíl od starého Gewandhaus Hall nepatřil tento druhý Gewandhaus městu, ale koncertnímu ředitelství Gewandhaus.
Velký sál, do kterého se vešlo 1.500 lidí, byl vysoce ceněn pro svou architekturu a akustiku. Sál komorní hudby měl kontingent kolem 500 míst. V roce 1892 byl před druhým Gewandhausem odhalen pomník Felixe Mendelssohna Bartholdyho. Budova vyhořela při bombových útocích během druhé světové války. Zůstal zříceninou a v roce 1968 byl vyhozen do povětří.
V roce 1947 vytvořil Walter Arnold nový Mendelssohnův pomník, který se nyní nachází jen pár metrů od svého původního místa – na tzv. Mendelssohnově břehu obnoveného Pleißemühlgrabenu. Pět kroků symbolizuje pět hudebních linií, na kterých jsou dřevěné kostky zastoupeny první tóny Mendelssohnova houslového koncertu e moll.