A középkori Szász mezőváros vára egykor a pécsi püspök uradalmi központjaként épült. Alsáni Bálint bíboros, pécsi püspök eredetileg egy kápolnát és egy udvarházat emelt a település szélére a XIV. század utolsó negyedében.
Az udvarház egy alápincézett, három emeletes, szintenként két helyiségből álló, igényesen kialakított kőépület volt, amelynek bejáratát egy lépcsőtoronyban helyezték el. A bíboros hamarosan kibővítette egyszerű udvarházát, a Nagy Lajos király halálát követő zavaros években kettős várfallal vette körül, amelyen egy hatalmas kaputornyon át nyílott a bejárat.
Zsigmond király uralkodása idején a várudvar északi felére egy emeletes palotaszárnyat emeltek. 1439-ben már várként említi egy oklevél az épületet. A XV. század végén újabb, immár reneszánsz stílusú palotaszárnnyal bővítették a belső udvart, a kaputornyot lakótoronnyá alakították és mellette új bejáratot nyitottak a belső várudvarba. A XVI. század első felében egy nyolc toronnyal erősített új falrendszer épült, ennek ellenére 1543-ban török kézre került. A törökök közigazgatási székhelyet rendeztek be az egykori fényes püspöki rezidenciában.
A XVII. században keresztény csapatok többször támadták a várkastélyt, majd 1680-ban fel is robbantották az északi és keleti palotaszárnyat.
Ezután csaknem száz évig állt romosan a vár a falu közepén, míg az 1700-as évek végén rendbe hozták az épségben maradt nyugati szárnyat plébániaház céljára. A felújítások során a palotát jelentősen átépítették, belsejét új födémekkel és válaszfalakkal osztották meg. A ház ebben a formában érte meg a XX. századot.
A vár régészeti kutatása 1980-ban indult meg. A kisebb műemléki beavatkozások után, a 2000-es évekre már a teljes műemléki helyreállítás tervei is készen álltak. 2012-ben kezdődtek a restaurálás előkészületei és 2015 tavaszán a kivitelezés. A várkastély 2016. augusztus 20. óta fogadja látogatóit.