Эта земля как минимум с 70-х годов XVI века принадлежала Никите Романовичу Юрьеву, боярину, воеводе, брату первой супруги Ивана Грозного Анастасии, дворецкому царя и деду первого Романова на русском престоле, Михаила Федоровича. Никита Романович — один из богатейших феодалов своего времени, известный в народных песнях как «добрый боярин», противостоящий злодею Малюте Скуратову.
Существует несколько версий того, как эта обширная городская усадьба, занимавшая целый квартал, попала к нему. Согласно основной версии, усадьба на Варварке была в 40-е годы XVI века передана ему в качестве приданого после женитьбы на Варваре Ивановне Ховриной.
Несмотря на близкое родство с Никитой Романовичем, Иван Грозный не раз
накладывал на брата своей умершей жены Анастасии опалу. По сообщению англичанина
Джерома Горсея, в 1565 году, «выбрав одного из своих разбойников,
он послал с ним две сотни стрельцов грабить Никиту Романовича... забрал у него
все вооружение, лошадей, утварь и товары ценой на 40 тысяч фунтов, захватил его
земли, оставив его самого и его близких в таком плачевном и трудном положении,
что на следующий день Никита Романович послал к нам на Английское подворье,
чтобы ему дали низкосортной шерсти сшить одежду, чтобы прикрыть наготу свою и своих детей,
а также просить у нас какую-нибудь помощь». В конце правления Ивана Грозного
опала была снята и Никита Романович уже упоминается в числе «ближних бояр» царя.
В 1586 году, после смерти Никиты Романовича, усадьба перешла к его сыновьям. Голландец Исаак Масса так описал одного из сыновей Никиты Романовича, отца будущего царя Федора Никитича: «Красивый мужчина, очень ласковый ко всем и такой статный, что в Москве вошло в пословицу у портных говорить, когда платье сидело на ком-нибудь хорошо, „Второй Федор Никитич“; он так ловко сидел на коне, что всяк видевший его приходил в удивление».
Федор Никитич считался претендентом на престол после кончины своего двоюродного брата, бездетного царя Федора Ивановича. Но в 1598 году Романовы проиграли, и Борис Годунов венчался на царство. Через два года, опасаясь за будущее своей династии, Годунов решил расправиться с кланом Романовых и их сторонниками. Романовых по доносу обвинили в намерении отравить царя Бориса, и Годунов отдал приказ об аресте братьев. Один из членов польского посольства записал в дневнике 26 октября 1600 года: «Мы из нашего двора видели, как несколько сот стрельцов вышли ночью из замка (Кремля) с горящими факелами, и слышали, как они открыли пальбу, что нас испугало... Дом, в котором жили Романовы, был подожжен». Федор Никитич был сослан в Антониево-Сийский монастырь под Архангельск и насильно пострижен в монахи под именем Филарета. Александр Никитич сослан к Белому морю, в Луду, где вскоре погиб. Иван Никитич отправлен в Сибирь, в Пелым. Василий Никитич был приговорен к ссылке в Яренск. Михаил Никитич был сослан в Чердынский уезд, в село Ныроб, где умер. Усадьба, по всей вероятности, была «отписана на государя».
В 1613 году на престол вступил Михаил Федорович Романов, а усадьба на Варварке получила название «Старый государев двор». Очевидно, молодой царь вместе с матерью, инокиней Марфой, и отцом, патриархом Филаретом, неоднократно посещал свое родовое гнездо во время торжественных богослужений в домовом храме Знамения Пресвятой Богородицы, семья вносила в храм свои вклады.
В 1631 году после смерти матери, в память о ней, царь передал родовую усадьбу со всеми постройками Знаменскому мужскому монастырю
По другой версии, монастырь был основан чуть раньше, в 1629 году, в честь рождения наследника престола, будущего царя Алексея Михайловича. Главной святыней монастыря стала икона Знамения Пресвятой Богородицы.
На протяжении веков из-за многочисленных пожаров и перестроек внешний вид палат неоднократно менялся. Свой нынешний облик дом приобрел в середине XIX века. В 1856 году, во время своей коронации в Москве, император Александр II посетил родовое гнездо царствующей династии и был крайне удручен его состоянием. Тогда же он дал распоряжение выкупить бывшее здание казенных келий у монастыря, который сдавал их в аренду, и создать в них музей «Дом бояр Романовых». Реставрация палат была поручена академику архитектуры Федору Рихтеру.
Рихтер провел тщательные обмеры и фиксацию палат. Он обнаружил три сохранившихся этажа: белокаменный и кирпичный подвалы конца XV — начала XVI века, подклет и средний этаж XVII века.
По его проекту были построены балкон и парадная лестница, реконструирован верхний деревянный этаж, выполнена роспись на сводах, сложены изразцовые печи, изготовлены парчовые обои. 22 августа 1859 года состоялось торжественное открытие музея «Дом бояр Романовых». Последний самодержец Всероссийский Николай II посетил музей 25 мая 1913 года, во время московской части торжеств, посвященных трехсотлетию династии Романовых на российском престоле. С 1917 года музей был закрыт.