Situado al comienzo de la calle San Juan Bautista, fué iniciado en el siglo XIII y remodelado en siglos posteriores, lo que confiere un aspecto ecléctico al conjunto. En él vivieron los diferentes obispos de Baeza.
Presenta un amplio patio y cuatro edificaciones, una de las cuales muestra solo sus muros con vanos abiertos de medio punto. En el ala principal destacan dos portadas gemelas adonteladas, enmarcadas por pilastras y rematadas con frontón curvo partido, en su tímpano un corazón. El edificio de la derecha, es del siglo XVIII, tiene sencillas ventanas restangulares de molduras cruciformes y de oreja.
Sus dependencias han tenido muchas modificaciones y quedan divididas en; militares (cuartel de Caballería), sociales (Correccional de mujeres) y culturales (Centro de Congresos del Instituto de la mujer en la actualidad).