El origen del castillo probablemente corresponda a las primeras épocas de la repoblación, siglo X, como fortaleza avanzada con funciones de vigilancia para prevenir los ataques musulmanes.

En 1.176 Alfonso VIII donó la villa a Pedro de Aries, prior de la Orden de San Juan de Jerusalén. A mediados del siglo XIII la esposa de Alfonso X el Sabio se la entrega a su hijo, el infante Don Fernando, que muere joven, pasando entonces el señorío a su sobrino Don Luis, hijo de su hermano del mismo nombre. Con la muerte de éste pasa a su madre doña Juana de Manzanedo quien intercambia con María de Molina temporalmente la villa por la de Astudillo.

En 1.305 Juana de Manzanedo la dona a su sobrina doña Mencía Manzanedo, casada con Arias González, señor de Cisneros. En 1.352 es lugar de solariego de su hijo mayor Juan Rodríguez de Cisneros, que dos años más tarde recibe del rey Pedro I la villa de Guardo. Tras la muerte de sus hijos varones, pasa el señorío a su hija menor Mencía de Cisneros, viuda de García Lasso de la Vega, hijo de los anteriores señores de la villa de Guardo, fallecido en 1.367.

Su hija, Leonor de la Vega, fue una de las mujeres más poderosas del reino al tener los derechos familiares de los Vega, Cisneros, Manzanedo y Padilla, a los que unió el poder adquirido por sus matrimonios con Don Juan Téllez y, posteriormente, con Diego Hurtado de Mendoza, Almirante Mayor de Castilla. La sucede su hijo Gonzalo Ruiz de la Vega casado doña Mencía Téllez de Toledo, dama de la reina. A su muerte, en 1.456, su enorme patrimonio se dispersa, haciéndose cargo de los señoríos de Castrillo y Guardo su hija mayor Leonor de Mendoza y de la Vega. Enfrentada por la herencia con su tío, el Marqués de Santillana, que creía tener derechos a la misma, ha de intervenir el rey Enrique IV para evitar la lucha familiar.

Leonor se casa con Diego de Sandoval, quien firma un compromiso con el Marqués de Santillana destinado a proteger los derechos de su única hija, doña Mencía de la Vega, que en 1.514 hace testamento a favor de su sobrino Diego Hurtado de Mendoza, tercer Duque del Infantado.

El castillo está formado por una torre protegida por una barrera circular.

La torre es de planta rectangular, de 6,30 por 6,70 metros el interior. Conserva parte del lienzo sudoeste, y completo el noroeste, mientras que al nordeste le falta una esquina, y el sureste prácticamente ha desaparecido quedando únicamente la esquina sur del mismo. Está construida con muros de cal y canto de 1,30 metros de espesor, sin que se conserven vestigios de su revestimiento de mampostería. Por los restos que quedan no es posible determinar el número de plantas con que contaba, ni en qué fachada se ubicaba la puerta de acceso.

En la parte sur del montículo se encuentran parte de una fuerte barrera de hormigón macizo, de 2 metros de espesor y varios de altura, que seguramente rodeaba la base del montículo excepto por el este donde el propio talud y el río servían de barrera natural.

El castillo se puede visitar libremente.

Éste castillo se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1.949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.