Cuenta la leyenda que sus dueños, unos ricos burgueses, no tenían hijos. A la vuelta de un largo viaje el marido trajo un mono. Criatura que llegó a tener dormitorio, juguetes y todo tipo de mimos.
Y ocurrió que, en una de las largas ausencias del comerciante, un apuesto caballero pidió cobijo donde pasar la noche. Y la noble señora, se lo ofreció. Al poco tiempo, al regresar el esposo, su mujer le recibió con la grata noticia de que estaba embarazada.
Se dice que cuando nació el bebé, el mono, celoso, en un descuido de la familia, agarró al pequeño y lo lanzó por la ventana, causando su muerte.La Casa de los Pizarro-Espadero es de finales del siglo XV. El sobrenombre lo recibe por la escultura del mono encadenado como remate del pasamanos de la escalera principal interior.
En el exterior destacan las tres gárgolas que representan a una mujer doliente, un anciano y un joven; así como el escudo del linaje familiar flanqueado por leones.