奥赛博物馆位于塞纳河左岸，面对杜乐丽花园，所在建筑曾是巴黎市中心的铁路终点站。车站和旅馆于1900年7月14日为世界博览会开放。建筑师维克多·拉卢将石材立面融入庄严的城市环境，同时在内部采用当时先进的金属与玻璃结构。如今，原火车站宽阔的大厅仍是参观动线的中轴，建筑历史也成为博物馆体验的一部分。
车站建成以前，这块土地已有复杂经历。奥赛宫和骑兵营曾经坐落于此；奥赛宫在1871年巴黎公社期间被焚毁，废墟留存数十年。1897年，奥尔良铁路公司选定拉卢设计新的终点站。近四十年里，奥赛站服务长途列车；随着列车电气化和车厢加长，旧站台从1939年起不再适合长途交通。此后建筑经历战时与战后用途，一度面临拆除，最终由博物馆计划保留下来。
