Как и положено замку из готического кошмара, начиналась история Юсуповского кроваво. По легенде, на его месте стояли в XVI веке палаты, в которых Иван Грозный отдыхал во время соколиной охоты, мучил узников и предавался самобичеванию. Отсюда же расходилась по Москве сеть подземных ходов, позволявшая царю появляться в разных частях города, наводя ужас на подданных.
Эту легенду рассказывает в мемуарах последний Юсупов – Феликс Феликсович (младший): “В конце прошлого века родители мои обновляли дом и обнаружили тот самый подземный ход. Спустившись туда, они увидели длинный коридор и скелеты, прикованные цепями к стенам. В детстве я думал, что души замученных живут где‑то здесь, и вечно боялся встретиться с призраком”.