Szatmári György püspök 1505 és 1520 között, vadaskertje közepén építtette fel reneszánsz nyári nyaralóját. Valószínűsíthető, hogy a villát egy olasz építész tervei alapján építették. Egyemeletes, U alakú épület volt, dél felé nyitott udvarral. Délkeleti oldalán torony kapcsolódott a falhoz, maradványai napjainkban is láthatóak.
A 16. században a törökök derviskolostornak használták. Erre utal a Tettye név is, hiszen a török „tekke” szóból ered, ami derviskolostort jelent.
1686-ban szabadult fel Pécs az oszmán uralom alól. A város romokban hevert az ostrom miatt, s ez a rombolás nem kerülhette el a tettyei derviskolostort sem, az építmény romos állapotba került, s csaknem lakhatatlanná vált.
1714-ben egy súlyos robbanás rázta meg a falakat, s végképp romossá tették az egykori villát. Egy ideig, az épen maradt épületrészekben a városi erdészek, majd 1830-ig a szegények húzták meg magukat.
A 19. század elején további pusztulásnak indult: köveit elhordták, díszeit letördelték.
A villa maradványait a 20. század elején konzerválták.
Az 1990-es években újrarendezték a területet, majd a 2010-ben rendezett Európa Kulturális Fővárosa rendezvénysorozat alkalmával ismét rendbe tették és új elemekkel bővítették.