La Casa Ruiz de Vergara tiene un patio centrado de grandes dimensiones y galería cerrada por sus cuatro lados, aunque el cuarto lado es reciente. Los pilares del patio son de pies derechos de madera sobre basas de cantería. Hay otro patio en fachada que resulta del gradiente que configura el acceso principal. Interesa la portada de cantería en el paramento liso y que se forma con dos columnas laterales de ornamentación sogeada, que continúan en la rosca del arco rebajado. Un segundo acceso menor, adintelado y en cantería, se dispone al lado.

Sobresale la pureza volumétrica de los cuerpos cúbicos con el cuerpo de las habitaciones, compuesto por cuatro ventanas de guillotina con decoración vegetal en los antepechos. Las cubiertas son planas y los forjados de vigas de madera y tiritas de cañizo con encalado.

La ornamentación en cantería llama la atención de este edificio, que la familia Ruiz de Vergara construyó en el siglo XVII, de ahí el escudo familiar en el acceso principal, y que en la segunda mitad del XVIII pasó a ser propiedad del primer conde de la Vega Grande.