Erstmals wurde Kaster im 12. Jh. urkundlich erwähnt. Der Ort hatte die Aufgabe, den Erftübergang an der Straße Köln - Brabant zu sichern. 

Erhalten ist der historische Stadtkern mit seinem Markplatz und den Barockbauten aus 17. Jahrhundert. Umgeben wird er von einer Stadtmauer mit 2 Toren,  außerhalb der Stadtbefestigung befindet sich eine Burgruine.

Das historische Alt-Kaster mit seinen Kopfstein-Pflaster-Straßen, Rundtürmen und den sorgfältig renovierten Bauwerken ist einzigartig und wird auch als "Perle an der Erft" bezeichnet.