Burg Bludenz wurde zwischen 1222 und 1245 durch die Grafen von Werdenberg erbaut. Zwischen 1418 und 1420 wurde sie an Österreich verkauft. Der Stadtbrand von 1491 zerstörte die Stadt samt Burg und Kirche. Beide Gebäude wurden wieder aufgebaut.

Zwischen 1742 und 1746 ließ Freiherr Franz Andräs von Sternbach die baufäl­lige Burg niederreißen und es als Barockschloss „Gayenhofen“ neu errichten. Das Gebäude diente als Herrschaftssitz, bis es 1936 von der Stadt Bludenz erworben wurde.

Nach dem Umbau als Kaserne dient es nach dem 2. Weltkrieg bis 1953 als Unter­kunft für die französische Besatzungsmacht. Vom Land Vorarlberg im Jahre 1959 übernommen ist sie nach dreijährigem Umbau ab 1963 als Bezirks­hauptmannschaft Bludenz in Verwendung.