První stavby na Olivetské hoře

KOSTEL SV. KLIMENTA
Založený knížetem Břetislavem II.(1097-1100). Podle starších bádání měl být knížetem založen při kostele i benediktinský klášter. To se ovšem ve světle nové bádání jeví jako mylné. Benediktini měli nový kostel, který zde fungoval jako farní, pouze ve správě. Lze sice předpokládat, že si zde mniši zřídili nějaké provizorní ubytování, rozhodně se ovšem nedá mluvit o klášteru. Fragmenty kostela sv. Klimenta byly nalezeny na západním konci prvního nádvoří a přilehlou částí zámecké zahrady. 

CHRÁM PANNY MARIE
Jednalo se o románskou baziliku, jejíž východní presbyterium bylo situováno přibližně mezi dnešní jihozápadní roh zámku  a bránu pivovaru. Loď baziliky pak zasahovala do  prostoru zámecké zahrady. Pod současnou úpravou povrchu prvního nádvoří se dodnes nacházejí zbytky ostění zdí baziliky, což umožňuje vytvořit si představu o její podobě. Nad západním hlavním portálem se nacházeli dvě čtverhranné věže. Bazilika byla trojlodní, arkády bočních lodí byly nesené polosloupy.
Přesné rozmístnění  jednotlivých budov premonstrátské kanonie je dnes už zcela nečitelné, vzhledem k překrytí jejich zbytků pozdějšími budovami biskupského paláce a kapituly.

BISKUPSKÝ PALÁC
Biskupskou rezidenci je možno lokalizovat v prostoru, který se táhne na sever od dnes zakrytých základů staré románské baziliky, přes prostor dnešního francouzského parku směrem k městu, kde se nacházel hlavní vstup jak do chrámu Panny Marie tak do biskupského paláce. Dnešní severní a východní strana zámku se tak pravděpodobně nachází v líci někdejší biskupské rezidence. Tento fakt naznačuje jak nepravidelný půdorys sklepů v této části zámku, v jejichž zdech byly nalezeny zbytky gotických kleneb, tak i půdorys prvního patra zámku, jehož nepravidelnost je v ostrém protikladu ke křídlu západnímu (což je patrné zejména při pohledu ze zámecké zahrady na nepravidelné rozmístnění jednotlivých okenních os).


POZDNĚ GOTICKÝ PALÁC
Palác Kostků téměř kopíroval rozložení bývalé biskupské rezidence. Palác se tedy nacházel v místech dnešního východního zámeckého křídla. Gotická stavební fáze je zde patrná z nebývale silných obvodových zdí, nepravidelného rozvržení místností, existence mezipatra a gotické valené klenby ve sklepích. Gotické zdivo na některých místech vystupuje až do prvního patra a v případě místnosti s arkýřem až do patra druhého. Kostkovský palác dále pokračoval do prostoru dnešního severního křídla a třetího nádvoří.