Помогли местные жители, которые спасли баржу вместе с разобранной башней и сопровождающим ее сотрудником музея Догадушкиным. К осени 1933 г. памятник был, наконец, доставлен в Коломенское, но Барановского, уже начавшего его сборку, отстранили от работы. Сборку башни перенесли на 1934г. Немногим ранее, в 1931 г., в Коломенское была перевезе на деревянная башня Сумского острога XVII в., однако Петр Дмитриевич не торопился ее собирать, так как сооружение еще на месте дважды подвергалось переборке. В результа те длительных исследований Барановскому удалось установить первоначальное положение венцов, расположение бойниц и пр. Кроме того, при сборке памятника потребовалось бы значительные дополнения из нового материала, который следовало заготавливать заранее. Отстранение Барановского от работы сказалось на судьбе и этого памятника: башня Сумского ос трога до сих хранится в музее в разобранном виде. Домик Петра I (1702 г.) также ставили в Коломенском без Петра Дмитриевича. Сам он сомневался в том, что Домик будет удачно собран, поскольку за время его длительного пребывания в разобранном виде во дворе Архангельского городского театра и во время перевозки памятник подвергался расхищению. Но в данном случае вопреки опасениям реставратора Домик Петра все-таки поставили в парке музея, воссоздав в нем интересные бытовые экспозиции. Идея Барановского о создании заповедников деревянного зодчества, вызванная единственным желанием спасти погибающие в различных местах уникальные деревянные памятники, развивалась и обогащалась, и не только в Коломенском, но и в масштабах всей страны. Самым безотрадным периодом в жизни Барановского было начало 1930-х годов. Как и многие соотечественники, он не избежал ареста, допросов и ссылки. Арест был вызван противодействием Барановского властям, желавшим лишить Москву одной из почитаемых святынь - Собора Покрова, что на Рву. Собор, как известно, сооружен на Красной Площади в 1555-1561 гг. мастерами Бармой и Постником в честь покорения Казани Иваном Грозным. Рассказывают, что Петр Дмитриевич был вызван «в одно высокое учреждение», в котором ему предложили обмерить собор Василия Блаженного и составить смету на его снос. «Это безумие! Безумие и преступление одновременно», - ответил Барановский. Ходят также легенды, что реставратор заперся в соборе, объявив, что здание взлетит на воздух только вместе с ним. Другие, близкие Барановскому люди вспоминают, что он добился встречи с Л.Кагановичем и, поняв, что последнего не удастся переубедить, отбил телеграмму на имя И.Сталина с просьбой сохранить одно из прекраснейших и любимейших архитектурных сооружений столицы.