A história do museu, do seu edifício, é bastante incomum.
No centro de Paris, nas margens do Sena, em frente aos Jardins das Tulherias, o museu foi instalado na antiga estação ferroviária de Orsay, construída para a Exposição Universal de 1900.
Assim, o próprio edifício poderia ser visto como a primeira "obra de arte" no Musée d'Orsay, que exibe coleções de arte do período de 1848 a 1914.