La vila del Catllar fou bastida sobre un turó de 59 m d'altitud, a la riba dreta del riu Gaià i sota la fortificació que hi alçaren els primers senyors. Des del segle XIV la vila era closa per les mateixes cases que hi feien de muralla i tenia un portal que donava accés al castell. La construcció del raval i del carrer de França, a principis del segle XVII i al XVIII, respectivament, són expressió d'un notable creixement urbanístic. Tanmateix, la significativa expansió del teixit urbà la descobrim durant el segle XX.
El castell està documentat en 1066. El lloc formava part del domini de Montoliu, qui el va conservar fins l'any 1351, any en que Berenguer de Requesens casat amb Blanca de Montoliu, ven el castell i el lloc a Bernat d'Olzinelles. Sobre 1375 per causa matrimonial, passa al poder de Guerau de Queralt senyor de Santa Coloma. La guerra civil catalana deixa malparat el castell. Així i tot en el] segle XVI la restauració portada a terme per Gueran II de Queralt, torna a impulsar la seva importància. 
Novament el 1592 és novament assaltat i queda mig destruït, la qual cosa motiva l'abandonament per part dels comtes. Fins i tot finals del segle XVIII els comtes de Santa Coloma habitaven el castell. D'ell es conserven dues grans torres unides per un llarg mur. Antiguamente s'accedia al castell per un pont llevadís.
Catxé facil i molt divertit passejar pel fossat, que està excavat a la roca
