
Prvobitno korišćen za kontrolu pristupa reci Šeldi i odbranu od vikinških napada, lokalitet je u upotrebi najmanje od 9. ili 10. veka i smatra se najstarijom građevinom u Antverpenu.
Značajno je obnovljen od 1220. do 1225. godine nove ere kao ogromno kameno utvrđenje (što je dovelo do njegovog sadašnjeg imena, što znači „kamen“), Het Sten je ponovo obnovljen oko 1520. godine nove ere.
Veći deo kompleksa zamka je srušen u 19. veku, ostavljajući malo originalne strukture sačuvane do danas. Godine 1890, Het Sten je postao muzej arheologije.
Najistaknutiji element zamka koji je sačuvan je slikovita ulazna kapija.