罗本岛位于开普敦近海，但它的历史远不止港口与海岸之间的距离。数百年来，不同政权曾把被视为不受欢迎或危险的人关押在岛上。联合国教科文组织记录了它先后作为监狱、收容被社会隔离群体的医院以及军事基地的经历。岛上的建筑和遗迹共同构成一份关于南非权力、排斥与反抗的实体档案。
多数游客最熟悉的名字是纳尔逊·曼德拉，他在种族隔离时期曾被关押于此。不过，岛屿遗产还包括其他政治犯、被定罪者、病患、军人及社区。荷兰和英国殖民当局把这里用作流放地；19世纪起岛上设有麻风病人聚居区，20世纪的军事设施也留在景观之中。多重历史说明，罗本岛是集体纪念地，而不是只纪念某一个人的圣地。