Zamek został wybudowany przez Kazimierza Wielkiego w XIV wieku. Był elementem struktury fortyfikacyjnej grodu. Urzędowali tu starostowie i kasztelani. W wyniku potopu szwedzkiego i pożaru obiekt został zniszczony, a następnie częściowo wyremontowany przez Austriaków. W czasie wojny znajdował się tu skład amunicji, a w 1945 r. doszło do wybuchu. Dziś wśród ruin można zobaczyć Basztę Kowalską.