红毛城坐落在新北市淡水河口上方的山丘，俯瞰河海交会处，但“圣多明哥堡”这个名称可能让初访者产生疑问。西班牙人于1628年在淡水建立一座名为圣多明哥的堡垒；当地博物馆说明，他们在1642年被荷兰人驱逐以前，已经拆除了这座西班牙堡垒。因此，今天参观者看到的并不是那座西班牙建筑的遗存。荷兰人在附近建造了安东尼堡。历史博物馆以“圣多明哥堡”称呼整个历史园区，同时说明现存红色堡体实际是荷兰建造的安东尼堡。厘清这一区别，才能更准确理解遗址的多层历史。
第一代荷兰安东尼堡于1642年11月以泥土和竹材建成，但很快遭雨水冲坏，竹造房屋也曾失火。第二代工程于1644年4月开始，因海运不便和天气阻碍，直到1646年3月才完成。博物馆资料称，堡体呈方形，每边约36英尺，墙厚约6英尺；主体以石块、砖和瓦建造，石灰从台南运来，核心结构保留至今。当地俗称“红毛城”，源于居民过去用“红毛”称呼荷兰人；这个名字至今仍是台湾人熟悉的地名。
