Wahrscheinlich war es die erhöhte Lage, die der Burg Sonnenberg ihren Namen gab. Auf einem Felsen über Nüziders wird sie als Burg Nüziders gegründet. 1258 ist sie als Besitz der Grafen Werdenburg-Sargans erwähnt. Wegen Streitereien zwischen den Grafen und dem Herzog Friedrich von Österreich wird die Burg 1404 zerstört.

Nach ihrem Wiederaufbau durch die Walgauer Herrschaft Sonnenberg wird sie auf deren Namen umbenannt und Mittelpunkt der Grafschaft.

Die neue Burg hält sich aber nicht lange. Bereits 1474 zerstört sie Herzog Sigismund von Tirol endgültig. 1934/35 wird die Ruine stark restauriert.

Trotzdem bleiben vom alten Grafensitz nur noch Reste erhalten; noch immer genug, um Dichter zu inspirieren: "Darüber grüßt die Schlossruine verträumt ins stille Tal hinein", schreibt Arthur Wolf.