Varbergs fästning byggdes ursprungligen som skydd åt den danske greven Jacob Nielsen, som kände sig hotad efter att ha anklagats för mordet på den danske kungen Erik Klipping 1286. Fästningen började uppföras 1287 och stod färdig år 1300. Under den här perioden ordnade Nielsen även så att han fick beskydd från Norge, tack vare kontakter han knöt med den norske kungen Erik Prästhatare, och även hans efterföljare, Håkon Magnusson. Med detta beskydd blev Nielsens grevskap (Halland norr om Ätran) i princip en egen stat, och Varbergs fästning anlades till att bli Varbergs slott.
Under 1500-talet hann fästningen gå från dansk ägo, till tysk ägo, till dansk ägo, till svensk ägo, till dansk ägo igen. Borgherre år 1535 var dansken Truid Ulfstand. Det året fördes den tyske fången Marcus Meyer till Varbergs slott, efter att ha tillfångatagits under en strid i den danska grevefejden. Under sin tid som fånge fick Meyer tillfälle att konspirera med Varbergs borgerskap, som var missnöjda med Ulfstand, och genom en nattlig kupp kunde Meyer överta titeln som borgherre. Hans triumf skulle dock vara kortlivad; redan 15 månader senare återvände Ulfstand till slottet med trupper och kanoner, och hade snart återtagit Varbergs slott åt danskarna. År 1565, under det nordiska sjuårskriget, erövrades slottet av svenska trupper. Fyra år senare belägrade dock danskarna slottet, en belägring som skulle komma att ledas av självaste kung Fredrik II, och svenskarna kapitulerade sedan deras befälhavare stupat.
Mellan 1588 och 1618 utfördes en omfattande utbyggnad av slottet till en fästning. Bland annat uppfördes under 1610-talet, en period då fästningen alltså tillhörde Danmark, ett stall. Stallet skulle fortsätta att fungera som stall även en period efter att fästningen fallit i svenska händer, och fick sedermera namnet Karl XI:s stall, trots att den svenske kungen alltså inte hade någon hand i bygget av stallet. Om du själv har ett stall och är hästintresserad rekommenderas en bok av elitryttaren Peter Markne, Hästens grundarbete, där ryttare på alla nivåer får tips om hur de kan förbättra sin träning.
Genom freden i Brömsebro 1645 fann sig fästningen återigen i svensk ägo. Efter den omfattande militära utbyggnationen av fästningen var den aldrig mer delaktig i en militär konflikt. Istället användes fästningen under flera hundra år som fängelse. I de gamla cellerna kan man idag få en betydligt trevligare upplevelse än deras forna invånare, då de har gjorts om till rum i ett vandrarhem.