El poder y sometimiento que ejercían los señores sobre el pueblo comienza a generara tensiones, enfrentamientos y disputas entre el señor y sus vasallos que veían menguar sus propiedades y derechos hasta el punto que se llegó a presentar una denuncia ante la Corona sobre estos sucesos. Pero a pesar de un intento de acuerdo la Corona reconoce a los señores sus derechos sobre sus dominios que incluía, incluso, la reserva de montes y dehesas por las que recibía una renta ya se que arrendaban para pastos, labor y leña

El malestar fue creciendo durante años hasta que a finales del siglo XIX y comienzos del XX como consecuencia de la fuerte crisis agraria que vivió el país los habitantes de Tábara salieron a la calle y se produjo el conocido como «Motín de Tábara» en febrero de 1911. Participó todo el pueblo incluido los niños para protestar contra Agustín Alfageme que era dueño entonces de la Casa Palacio y del monte de El Encinar

La protesta se fue recrudeciendo hasta que ya por la tarde los habitantes comenzaron a tirar piedras contra los balcones y miradores del palacio, incluso rompieron las puertas e incendiaron el edificio quedando destrozados todos los muebles. El jardín también fue destruido y talados sus árboles

A pesar de todo ello, Tábara ha conseguido mantener en la actualidad la estructura y presencia del palacio y que deja constancia de su magnitud en el pasado