Castelul medieval este un reper istoric al orașului și este situat chiar în centrul său. A fost construit de regele Ludovic I în anii 1360 - 1382 pe locul vechiului castel vechi (Pustý hrad) din secolul al XII-lea. ca cabană de vânătoare. Castelul a schimbat mai mulți proprietari și a fost, de asemenea, sediul unuia dintre cei mai puternici duci din Ungaria, Ján Jiskra de Brandýs, care a lucrat mult timp în Slovacia și a apărat interesele familiei Habsburg în legătură cu tronul Ungariei. În 1500 a fost deținută de familia Thurz, care a construit fortificațiile exterioare și mai târziu bastionul de artilerie. Castelul a suferit treptat modificări suplimentare, iar ultima, renascentistă, a rămas practic până în prezent.
Este un monument cultural național și astăzi se află Galeria Națională Slovacă în el, este avanpostul său. Aceasta este cea mai bogată galerie de picturi din Slovacia. Galeria este formată din picturi ale pictorilor din secolele XIV-XIX. iar la parter și la primul etaj există o expoziție de diferite tipuri de artă, teme și stiluri. În fiecare an, în sezonul estival, în curtea castelului se desfășoară un festival de teatru numit Jocurile Castelului Zvolen. Accesul la castel este foarte bun, deoarece este situat în centrul orașului și există o parcare cu plată chiar lângă el. Mai multe informații despre castel, intrare și orele de deschidere pot fi găsite AICI.