Construido entre los siglos XV y XVI, el Palacio de Las Dueñas toma su nombre del desaparecido monasterio de Santa María de las Dueñas, ubicado en el solar colindante y demolido en 1868. Su origen fue la casa-palacio de los Pineda, señores de Casa Bermeja, y desde el siglo XVII el palacio pertenece a la Casa de Alba.
En el siglo XIX Las Dueñas fue convertida en casa de vecinos, sus salones compartimentados con tabiques y los artesonados cubiertos con cielos rasos.
Curiosamente, uno de los inquilinos, y administrador del Palacio, fue Antonio Machado Álvarez cuya circunstancia posibilitó el nacimiento de uno de los más grandes poetas españoles, Antonio Machado en 1875.