Ze względu na ogromny wzrost liczby odwiedzających od połowy XIX wieku, stara sala Gewandhaus przestała wystarczać. Dlatego w grudniu 19 roku wybudowano nową salę koncertową. W odróżnieniu od dawnej Sali Gewandhaus, ten drugi Gewandhaus nie należał do miasta, lecz do Dyrekcji Koncertowej Gewandhaus.
Wielką Salę, mogącą pomieścić 1.500 osób, chwalono za architekturę i akustykę. Sala kameralna liczyła około 500 miejsc. W 1892 roku przed drugim Gewandhausem odsłonięto pomnik Feliksa Mendelssohna Bartholdy'ego. Budynek spłonął w wyniku ataków bombowych podczas II wojny światowej. Pozostał ruiną i został wysadzony w powietrze w 1968 roku.
W 1947 roku Walter Arnold stworzył nowy pomnik Mendelssohna, który obecnie znajduje się zaledwie kilka metrów od pierwotnej lokalizacji – na tzw. brzegu Mendelssohna odnowionego Pleißemühlgraben. Pięć kroków symbolizuje pięć linii muzycznych, na których pierwsze nuty Koncertu skrzypcowego e-moll Mendelssohna przedstawiono w postaci drewnianych kostek.