La fundación de la sociedad del Gabinete Literario se fecha en 1844. La sede actual ocupa parte del solar del convento de las Clarisas, desamortizado en 1836. Aquí se localizó el primer teatro de la ciudad, el Teatro Cairasco, según un proyecto de Santiago Barry (1842). El edificio tiene tres plantas y se organiza en dos crujías paralelas a la fachada principal y otras tres paralelas a la calle General Bravo.
El núcleo del edificio es un espacio central de altura libre, con el hall y la escalera imperial proyectada por Marrero Regalado en 1946, frente al acceso, con un cierre cenital acristalado. En la planta baja se sitúan salas de reunión y de juego; en la alta, el salón de baile; y en la última, dependencias de la biblioteca y sala de exposiciones.
Otro acceso por la calle General Bravo organiza la comunicación vertical de las tres plantas por escalera y ascensor, seguramente el primero instalado en la ciudad. En el salón de baile, y desde el punto de vista arquitectónico, sobresalen su concepción volumétrica y la decoración. La fachada principal, tardo-modernista, se muestra a la plaza de Cairasco con un esquema simétrico de arcos rebajados en el primer piso y de medio punto en los superiores, con columnas pareadas en los dos primeros, solucionándose los vanos de las esquinas curvas coronadas por torreones de remate bulboso. Las fachadas laterales se resuelven según una sucesión de huecos estrechos con balcón y poca decoración, destacando sobre todo el volumen del mirador, en la calle General Bravo.
