Llamado anteriormente palacio de Gastañaga, antigua casa señorial de los Rivero, constituye una de las escasas muestras de arquitectura civil de los siglos XIV y XV en Asturias.

Esta edificación está situada en la calle Mayor, próxima a la desaparecida puerta de San Nicolás.

El palacio se estructura en dos cuerpos independientes, que se articulan por dos pasadizos que unen las plantas nobles de ambos edificios.

Sobre la fachada principal se conservan los vanos primitivos de arco de medio punto, geminados, etcétera, y distribuidos de forma irregular.