Başyaver ve çok zengin bir tüccar olan Yusuf Ziya Paşa, Rumelihisarı'nda bir köşk yaptırmaya karar vermiş. Dillere destan olan bu köşkün sahibi olan Yusuf Ziya Paşa çok kıskanç olduğu bilinirmiş.

İddialara göre Yusuf Ziya Paşa yaptırdığı dillere destan köşkünde eşinin kimselere gözükmemesini istiyormuş. 1910'da başlayan köşkün inşatı 1. Dünya Savaşı ve Yusuf Ziya Paşa'nın ekonomik sıkıntılar vermesi üzerine tamamlanamamış.

Çok kıskandığı, onun için saraylara benzeyen köşk yaptırmak isteyen Yusuf Ziya Paşa, eşinin ihaneti sonrası köşkün tamamlanmamasını istememiş. Uzun yıllar boyunca köşkün etrafında yaşayan insanlar geceleri köşkte uzun siyah saçlı genç bir kadının gezindiğini görürlermiş.

1990'lı yıllarda köşkte çalışan işçilerin iddialarına göre köşkün içerisindeki aynalarda eski kıyafetler giyinmiş uzun siyah saçlı bir kadının gözüktüğüne ve boş olan köşkün içinden piyano sesleri duyduklarını söylemişler. Şimdilerde köşk müze olarak kullanılıyor ve Perili Köşk olarak anılmakta.