İlk kez 2. Mahmut’un daha sonra da Abdülaziz’in ahşap olduğu gerekçesiyle yıktırarak 1865’te yeni baştan ve mermerden yaptırdığı Beylerbeyi Sarayı, Mimar Serkis Nalyan kalfanın eseridir.
Çoğunlukla yaz aylarında Abdülaziz’in oturduğu bu saray, Fransa imparatoriçesi Eugenie, Avusturya imparatoru Franz Jozef, Karadağ kralı Nikola, İran şahı Nasuriddin Şah gibi pek çok yabancı imparatoru, kralı ve şahı konuk etmiştir.
1877 yılında Türk Rus savaşının yenilgisinden sonra silahları bırakma konuşmaları sırasında Rus orduları başkomutanı Grandük Nikola da bu sarayın misafiri olmuştur.
2. Abdülhamit, tahttan indirilince önce Selanik’e gönderilerek Alatini köşkünde zorunlu tutulmuş, sonra da Balkan savaşının başlamasıyla birlikte Beylerbeyi Sarayı’na getirilerek ömrünü burada tamamlamıştır.