Zespół klasztorny Franciszkanów powstał w 2 poł. XIV w. Głównym fundatorem był Kazimierz Wielki.
Budowla wzniesiona jest z kamienia łamanego, w stylu gotyckim. Wokół dziedzińca znajdują się budynki oraz XVII-wieczny kamienny mur.
W XV w. kościół uległ zniszczeniu w wyniku pożaru. W latach 1581-1603 świątynia, będąc we władaniu innowierców, została poważnie zdewastowana. Po odbudowie przez starostę Stanisława Branickiego klasztor został ponownie zrujnowany przez żołnierzy Franciszka Rakoczego. Marmurowa tablica przypomina o mordzie na trzech mnichach dokonanym przez tychże żołnierzy.
Za poanowania Aleksandra I po zostali stad wypędzeni mnisi. Klasztor przeznaczono wówczas na jedno z najcięższych więzień w Górach Świętokrzyskich.
W okresie PRLu-u mieściły się tu kolejno: szkoła kamieniarska, zakłady mięsne, warsztaty tkackie, łaźnia miejska, schronisko PTTK. W latach 60. XX w. klasztor zaadaptowano na cele turystyczne - restaurację o hotel. W końcu w 1991 r. klasztor ponownie przejęli franciszkanie
