Das mit hohem Unterbau aus Sandstein-Quadern und Fachwerkschmuck in den oberen Stockwerken ausgebildete Gebäude hat eine mehr als 500-jährige Geschichte. Über Jahrhunderte war es Sitz der Kanzler von Schwarzburg-Sondershausen.
Das Haus wurde im Bauernkrieg 1525 von Aufständischen gestürmt und verwüstet. Im Jahr 1853 erwarb es der Fürstliche Leibarzt Dr. Carl von Bloedau (1804-1886). Das führte zu seinem heutigen Namen.
In den letzten Jahrzehnten diente das ehemalige Wohnhaus zunehmend als Verwaltungsgebäude.
