1149 wird die Burg Clam erstmals urkundlich erwähnt.
Zur Zeit des Bauherrn und Besitzers Otto von Machland bestand die Burg aus dem fünfstöckigen Palas (Wohnturm) und dem Bergfried (Rundturm). Diese beiden über 40 Meter hohen Gebäude sind durch ihre exponierte Lage auf dem Granitmassiv oberhalb der Klamschlucht schon von Weitem zu sehen.
Der zweite große Bauabschnitt erfolgte in der Gotik, als der Ostteil mit der „neuen“ Burgkapelle gebaut wurde. In den unsicheren Zeiten des Dreißigjährigen Krieges litt nicht nur die Burg, sondern auch der Markt Klam, welcher immer wieder im Zuge von Belagerungen der Burg eingeäschert wurde. Die Burg wurde zwar nie eingenommen, befand sich aber um 1600 in einem sehr schlechten Zustand.

Um 1640 wurde die Burg sehr aufwendig renoviert. Dies geschah unter dem Burgherrn Freiherr Johann Gottfried von Clam, der bis heute als "Restaurator familiae" gilt. Hier war wohl auch seine Frau Sibylle Gräfin von Kagenek maßgeblich beteiligt: Sie schenkte ihm 12 Kinder und verfügte über enormes Vermögen aus der Familie Kagenek. In dieser Zeit stifteten die beiden die Ortskirche und ein Spital, sie schenkten jedem Bürger von Klam einen sogenannten Krautacker.

Im 18. Jahrhundert wurden schließlich die Wirtschaftsgebäude, Stallungen und Wagenremisen erbaut, die heute den äußeren Burghof bilden.

In weiterer Folge wurde die Burg nach und nach von einer Festung in eine bewohnbare Burg umgewandelt. Der Burggraben wurde zugeschüttet und wich Ziersträuchern und Blumen, aus der Zugbrücke wurde eine befestigte Zufahrt.
Die beiden Weltkriege des 20. Jahrhunderts überstand die Burg relativ unbeschadet. Lediglich der Kalte Krieg hinterließ seine Spuren: In den Achtziger Jahren ließ Graf Heinrich von Clam einen Zivilschutzbunker gegen atomare Strahlungen errichten.