El edificio más emblemático y más conocido de la ciudad. No se sabe con exactitud su origen que, para unos, es musulmán, mientras que para otros es medieval (s.XIV – XV).
Se compone de tres antiguas casas palaciegas con artesonados mudéjares en algunas estancias, techos de vigas labradas y pintadas, celosías góticas esculpidas en escayola, decoraciones renacentistas en algunos arcos y pinturas murales de un gótico tardío en uno de los salones principales. Durante algún tiempo fueron casas consistoriales. Después de un periodo de abandono se restauraron de manera completa en los años 60 del siglo XX. La portada exterior, renacentista, procede de un viejo palacio de Villarejo de la Peñuela y se incorporó al conjunto tras una ampliación de los edificios.
Desde 1966 dos de ellas albergan el Museo de Arte Abstracto Español.
