Das Zweite Gewandhaus wurde erbaut, weil sich die Konzerte des Gewandhausorchesters ab Mitte des 19. Jahrhunderts zunehmender Beliebtheit erfreuten.
Der Große Saal, welcher für 1.500 Personen Platz bot, wurde wegen seiner Architektur sowie Akustik hochgelobt. Der Kammermusiksaal hatte ein Kontingent von ca. 500 Plätzen. 1892 wurde vor dem zweiten Gewandhaus ein Denkmal für Felix Mendelssohn Bartholdy enthüllt. Im Zweiten Weltkrieg brannte das Gebäude bei Bombenanschlägen aus. Es blieb eine Ruine, die 1968 gesprengt wurde.
1947 schuf Walter Arnold ein neues Mendelssohn-Denkmal, das sich heute nur wenige Meter von seinem ursprünglichen Standort befindet - am sogenannten Mendelssohn-Ufer des erneuerten Pleißemühlgrabens. Die fünf Stufen symbolisieren fünf Notenlinien, auf denen die ersten Noten des e-Moll-Violinkonzerts von Mendelssohn durch Holzkuben dargestellt werden.