Rosenkrantztårnet ble oppført som et kombinert forsvars- og residenstårn i 1560-årene av lensherren Erik Rosenkrantz. To eldre anlegg ble bygget inn i tårnet; kong Magnus Lagabøters kastell, en mindre festning fra ca. 1270 og Jørgen Hanssøns forverk fra ca. 1520. Dette har gitt tårnet en eiendommelig grunnplan og romordning med bl.a. forskyvninger i etasjehøyden. Med sin strategiske plassering i sørfløyen, har tårnet vært en hjørnestein i borgsystemet på Bergenhus festning.