A belvárosi Hattyú vigadó, illetve Hattyú- vagy Fehérhattyú-ház néven is ismert épület a 19. század elejéről származik. Később eklektikus stílusban alakították át. Első emeleti nagyterme az 1800-as évek elejétől Pécs híres tánc- és színházterme volt.
Az épület történetének legnagyobb eseményére 1846. október 26-án került sor, amikor falai között Liszt Ferenc zongorázott.
Pécsre 1846 őszén, pár nappal harmincötödik születésnapja után érkezett. Barátját, Augusz Antalt meglátogatva a közelben, Szekszárdon járt, és ott adott koncertje után kereste fel pécsi muzsikusok küldöttsége, és hívták meg fellépésre. Liszt itt tartózkodása alatt Scitovszky püspök vendége volt a Püspöki Palotában.
Eredetileg egyetlen koncertet szándékozott adni a városban, ám a régi színházban (épülete ma már nem létezik) október 25-én megtartott hangversenyén olyan hatalmas volt az érdeklődés, hogy másnapra még egy fellépést elvállalt. Erre a második koncertre került sor itt, a Hattyú vigadóban.
Előadása után tiszta bevételként 350 pengőforintot adott át a püspöknek jótékony célra. Az összeget a budai-külvárosi temető kápolnájának építésére fordították (1981-ben az egyetemi kollégium megépítése miatt a közben megszüntetett temető kápolnáját lebontották).
A Hattyú vigadó további zenei eseményei közül helyi viszonylatban kiemelkedett az az alkalom, amikor 1862. február 1-jén a frissen megalakult Pécsi Dalárda itt tartotta bemutatkozó estjét. Ettől kezdve az országos viszonylatban is kiemelkedő kórus rendszeresen ebben a teremben rendezte úgynevezett „alapszabályszerű” dalestjeit.
Még néhány nagy név az emlékhely zenetörténetéből: hangversenyezett a Hattyú nagytermében gróf Zichy Géza, a félkarú zongoraművész, a Hubay-Popper vonósnégyes és Reményi Ede. Érdekesség, hogy 1891 februárjában az 52. gyalogezred zenekarának itt megtartott koncertjén a Pécsett katonaidejét töltő Kerner István, az Operaház későbbi nagyszerű karmestere és fő-zeneigazgatója játszotta Beethoven c-moll zongoraversenyét.
A Hattyú-ház két legfontosabb eseményéről Liszt profiljával díszített márványtábla emlékezik meg az épület homlokzatán.