Więzienie przy ul. Zamkowej w Kielcach powstało w latach 1826-1828 i funkcję więzienia pełniło do lat 70-tych XX wieku pod panowaniem kolejnych rządów polskich, zaborczych i okupacyjnych.
Początkowo w okresie Królestwa Kongresowego, jako więzienie polskie, obejmowało początkowo wyżej położone pawilony. Pod rosyjskimi rządami zaborczymi zostało powiększone do obecnych rozmiarów. Pod zaborem rosyjskim w latach 1863-66 oraz 1905-08 przebywało tu wielu więźniów politycznych.
Najbardziej tragicznym okresem w dziejach wiezienia były lata 1939-1956. We wrześniu 1939 r. Niemcy umieścili tu punkt zborny dla polskich jeńców. Nocą 9 września 1939 r. w masakrze sprowokowanej przez niemieckich strażników 19 jeńców zostało zastrzelonych i około 40 rannych. Później nadzór nad więzieniem przejęło gestapo. Do końca okupacji przez więzienie przeszło około 16 tys. więźniów. Jednorazowo przebywało w gmachu przy Zamkowej ok. 2 tys. ludzi, przy pojemności więzienia ok. 400 osób. Więźniowie przebywali w strasznej ciasnocie, byli głodzeni, maltretowani, zabijani na terenie więzienia, wywożeni na rozstrzelanie, wywożeni do obozów koncentracyjnych i na przymusowe roboty. Kaplicę więzienną gestapowcy zmienili na izbę tortur.
W styczniu 1945 r. przez parę tygodni więzieniem dysponowało NKWD, które osadziło tu aresztowanych Polaków, m.in. sędziów i prokuratorów, następnie do 1956 r. więzieniem zarządzały władze Bezpieczeństwa Publicznego. Osadziły one w więzieniu wielu więźniów politycznych, nie tylko takich, którzy czynnie wystąpili przeciwko powojennym władzom, lecz również takich, których jedyną "winą" była walka przeciwko Niemcom w szeregach organizacji niekomunistycznych - AK, NSZ i których szczególnie wielu znalazło się w więzieniu w pierwszej połowie 1945 r.
Nocą 4/5 sierpnia 1945 r. do sławnej akcji żołnierzy AK, dowodzonych przez majora Antoniego Hedę - "Szarego", którzy uwolnili z kieleckiego więzienia ok. 700 swoich kolegów. Upamiętnia to wydarzenie tablica na rogu budynku. Po 1956 roku w więzieniu nie przebywali w zasadzie więźniowie polityczni, a po przeniesieniu więzienia na Piaski gmach praktycznie opustoszał.
W niektórych pomieszczeniach dawnego więzienia wysiłkiem społecznym urządzono i w 1995 r. - w piątą rocznicę akcji "Szarego", otwarto Muzeum Pamięci Narodowej. W dwóch salach eksponowane są kopie dokumentów, grypsów, relacje, zdjęcia a także podobizny dowódców partyzanckich, broń, narzędzia tortur gestapo ilustrujące dzieje więzienia 1939-1956 i losy więźniów. Muzeum obejmuje również zachowane w pierwotnym stanie karcery, wieżyczkę strażniczą oraz zaułek między ścianą więzienia i zewnętrznym murem, gdzie rozstrzeliwano więźniów. W jednej z sal zachowano w sklepieniu hak służący do wykonywania wyroków śmierci przez powieszenie.