Музей, спроектированный архитекторами Горасом Трумбауэром и Джулианом Абеле, впервые открылся для публики в 1928 году. Здание получило типичный для американского неоклассицизма облик и во многом стало знаменито благодаря своей парадной лестнице.
Проект Фрэнка Гери по реконструкции здания музея получил название Core Project и завершился спустя четыре года. Как отметил сам архитектор, он работал с теми же материалами, что и первые авторы, — использовал золотистый известняк Kasota, который добывают в небольшом городке на юге Миннесоты, а также стекло и бронзу.
И хотя снаружи музей практически не изменился, здесь открыли много лет закрытый для публики северный вход, а также отреставрировали Западную террасу — теперь с нее можно любоваться панорамными видами на Филадельфию. На первом этаже здания также отремонтировали вестибюль Ленфест-холл. Каменные стены и колонны были расчищены, в коридорах установили новые светодиодные потолочные светильники, и, ко всему прочему, пространство получило две новые лестницы, а также изящные стойки администратора из древесины Дугласовой пихты и бронзы.