El Palacio Episcopal, rehabilitado como Casa de la Cultura y ubicado en la plaza Pío XII, fue residencia de verano de los obispos. Se trata de un edificio construido en dos momentos del siglo XIX, primero el ala norte y la portada y, más tarde, hacia 1867, el otro cuerpo.
En el Palacio Episcopal conviven elementos de orden clásico y gótico. En su construcción se observan dos escudos, el episcopal y el que colocó el obispo Lluch y Garriga en 1862, en uno de los cuerpos laterales y en agradecimiento a los obispos Morán y Delgado, que se encargaron de recolectar la suscripción popular con la que se sufragaron los gastos de construcción. Las religiosas del Cister utilizaron este edificio entre 1881 y 1888, antes de trasladarse al nuevo convento.
La obra es de planta rectangular formada por dos crujías anexas de composición simétrica de huecos y se presenta con cubierta de teja sobre estructura de par e hilera, más un jardín trasero al que se abre una galería. El acceso principal es por una escalinata en el eje del edificio, donde destacan los elementos de lenguaje clásico, tales como un orden de pilastras corintias que enmarca un arco de medio punto sobre pilastras, y con la clave y el friso del entablamento ornamentado. Los cuerpos laterales se abren al descanso de la escalera y se dispone un hueco enmarcado en cantería con repisa labrada, uno de los elementos de la tradición gótica.