Fue construido entre 1461 y 1488 por Don García López de Ayala, señor de Ayala y Salvatierra e hijo de Don Pedro García de Herrera, primer titular del Mayorazgo de Ampudia. El sucesor de Don García, Don Pedro Ayala y Rojas, Conde de Salvatierra, se enfrentó con su propia madre, Doña María Sarmiento, por la posesión del castillo, resultando él vencedor.Ejemplo temprano de castillo-palacio señorial castellano, es una joya de la arquitectura civil de la región y presenta un magnífico estado después de la cuidadosa restauración acometida en los años sesenta por Eugenio Fontaneda. La edificación tiene planta trapezoidal, posee torreones en los ángulos, correspondiendo el del sudoeste a la torre del Homenaje, y foso salvado mediante puente levadizo. Está rodeado por un muro de barbacana con torres cilíndricas. La fachada está decorada con dos escaraguaitas o garitas ornamentales y en la puerta principal cuelga el escudo del Duque de Lerma. El Patio de Armas tiene tres pandas porticadas de tres pisos con arquería escarzana, siendo el piso superior de más exiguas proporciones.
En 1960 el empresario galletero Eugenio Fontaneda Pérez, natural de Aguilar de Campoo, lo adquirió a su penúltima dueña, la condesa de la Granja, y lo acondicionó como museo para su colección de objetos de arte y antigüedades procedentes de la cuenca del Duero.
