Церемония закладки Музея состоялась 17 августа 1898 года. Этому знаменательному событию предшествовали долгие годы огромной созидательной работы. Ко времени торжественного акта закладки Музея, совершенного в присутствии императора Николая II и членов его семьи, Московской Городской думой для строительства здания была безвозмездно передана территория бывшего Колымажного двора вблизи Кремля. Было принято Положение о Комитете по устройству Музея. Официально было утверждено название — Музей изящных искусств имени императора Александра III. Был организован архитектурный конкурс на здание Музея. Строительные работы начались за месяц до закладки и, что важно, к этому времени Комитет по устройству Музея уже располагал значительной частью коллекций.
Музей создавался на основе Кабинета (Музея) изящных искусств и древностей Московского университета как учебно-вспомогательный и публичный, где в гипсовых слепках, макетах, живописных и гальванокопиях по единой научной программе были представлены основные этапы истории искусства классических народов с древних времен до Нового времени. В этом качестве Музей становился первым в России учреждением такого типа. Проекты создания подобного музея в Москве неоднократно излагались в печати: кн. З.А. Волконской и С.П. Шевыревым (1831), проф. К.К. Герцем (1858), директором Московского Публичного и Румянцевского музеев Н.В. Исаковым (1864).
Инициатором создания (1893) и первым директором Музея (1911–1913) был заслуженный профессор Московского университета, доктор римской словесности и историк искусства И.В. Цветаев (1847–1913). Замысел Цветаева развивал основные идеи предшественников.
Объявленный в конце 1896 года конкурс на лучший проект здания музея привлек 19 архитекторов из разных городов России. Правлением Университета был избран в качестве строителя один из участников конкурса, получивший золотую медаль, московский архитектор Р.И.Клейн (1858–1924). Им был выработан окончательный вариант проекта, отвечавший требованиям Правления и Комитета для устройства Музея изящных искусств при Московском университете. Здание строилось по последнему слову музейной практики и строительной техники. Спроектировано оно было по типу античного храма на высоком подиуме с ионической колоннадой по фасаду. Во внутреннем убранстве сочетаются элементы разных исторических эпох сообразно представленным экспонатам. В сооружении участвовали инженеры И.И. Рерберг и В.Г. Шухов.