Her bodde en av Norges viktigste konger, Magnus Lagabøte på 1200-tallet. På 1500-tallet ble det lensherrenes slott.

I nær tilknytning til Håkonshallen ligger Rosenkrantztårnet, som regnes som det viktigste renessansemonumentet i Norge.

Å besøke Rosenkrantztårnet er å komme nære historien. Steinveggene i soverommet til kong Magnus Lagabøte finnes fortsatt. Her er kapellet med det originale alteret der kongen brukte mye tid, og i første etasje oppholdt kongens soldater seg. Via kronglete, smale ganger og bratte trapper beveger vi oss fra kjelleren med 1500-tallets fangehull, til kanonloftet like under taket. Kanonene som sto her ble brukt en eneste dag i krig, under slaget på Vågen, den 2.august 1665. Øverst oppe kan vi komme ut på vektergangen på taket, her hadde vekterne utsikt over hele byen, og fortsatt er dette kanskje byens beste utsikt!

Tårnet var residensen til Kong Eirik Magnusson fram til han døde i 1299. Han var den siste kongen med sete i Bergen. Senere fikk tårnet mindre godt stilte beboere – i kjelleren ligger det beryktede fangehullet, som antagelig var i bruk fra slutten av 1400-tallet til et stykke ut på 1800-tallet.

Rosenkrantztårnet slik vi kjenner det i dag ble bygd som et kombinert forsvars- og residenstårn på fem etasjer av lensherren Erik Rosenkrantz. Det er første gang avbildet på Scholeus-stikket fra rundt 1580. Arbeidet ble utført av skotske murmestere og steinhoggere i 1560-årene, og det ferdige bygget fikk mange fellestrekk med befestede skotske tårnhus i samtiden. To eldre anlegg ble bygget inn i tårnet; kong Magnus Lagabøters kastell – den opprinnelige festningen fra omkring 1270 – og Jørgen Hanssøns forverk fra rundt 1520. Dette har gitt tårnet en eiendommelig grunnplan og romordning med blant annet forskyvninger i etasjehøyden. Med sin strategiske plassering i sørfløyen, og under skiftende takformer har tårnet vært en hjørnestein i borgsystemet på Bergenhus festning.