Los choques culturales entre cristianos y musulmanes acabaron por despoblar la zona.
En el año 1110 El Castellar aún no tendría carácter residencial, sería únicamente un establecimiento militar que además serviría de prisión para Doña Urraca de León y Castilla, esposa de Alfonso I el Batallador.
A mediados del siglo XV, unas disputas vecinales terminaron con la destrucción de gran parte de El Castellar, que fue deshabitándose hasta finales del siglo XV.
Esta atalaya se encuentra al borde del escarpe de yesos del Ebro. Se trata de un frente rocoso de unos 60 m de altura que en los últimos años está sufriendo un fuerte retroceso hacia el norte, debido principalmente al desplazamiento del cauce del río, lo que provoca desplazamientos, desplomes y fracturas del terreno.