A Kisfaludy Károly Gimnázium épülete a pécsi püspök egykori kastélya.A gimnázium épülete
Magyarra fordítva: Berényi Zsigmond, az előd tervezte, Eszterházy Pál, az utód fejezte be.
Az 1743. év jelentheti az első szakasz befejezését, amely Berényi nevéhez ffűződik. Az ő érdemét hangsúlyozza a kapu feletti címer is. A felíráskiemelt betűinek római számként való olvasása és az alaki érték szerinti összeadása az 1785. évet erdményezi. Ez az év lehet az Eszterházy alatti esetleges bővítési, illetve tatarozási munkák befejezésének ideje. Bizonyosnak tekinthető, hogy a kapuzat ekkor nyerte el végleges képét. Maga az épület azonban már Berényi idejében készen állhatott, egységet képezve az 1743-ban elkészült püspöktemplommal.
1931-ben a ferencesrendiek gimnáziumot szerettek volna szervezni, de
a város pénzügyi okok miatt nem tudott vállalkozni a feltételek teljesítésére.
Komoly átépítési munkálatok indultak meg Visy tervei alpján; - 1934-ben
a részben még fazsindelyes épület tetejét cseréppel fedték, - 1936-ban
a dobozgyári ideiglenes elhelyezés után a volt kastélyépületbe kerültek
az osztályok, - a külső ablakokat kicserélték és a külső homlokzatot megújították
-, 1937-ben megindult a tornaterem és felette az internátus megépítése.
Ebben az évben költözött ki az épületből minden más intézmény s ettől az
időtől szolgálja kizárólagosan a gimnázium életterét és feladatrendszerét.
A felszabadulást követően elsősorban az 1980-as végeztek nagyarányú
külső-belső felújításokat, és ezáltal külsejében is a város egyik legzsebb
épütévé vált.
Bár a többszöri átalakítások sokat elvettek az épület eredetiségéből,
a barokk építészet ismérvei ma is leolvashatók: a tér- és tömeghatás, az
alaktani jellegzetességek és díszítőelemek.
(Lénárdné Bauhoffer Gabriella szakdolgozata alapján)