Aqui se instalaram vários reis, rainhas e outras figuras da corte, não só quando se realizavam cortes nesta vila, mas também por motivo de visitas régias, mais ou menos prolongadas.

Por ocasião do terramoto de 1755 o edifício sofreu graves danos. Contudo, não chegou a ser restaurado, devido ao processo que correu contra os duques de Aveiro pelo atentado ao rei D. José I, tendo sido o seu proprietário expropriado de todos os bens e títulos.

Mais tarde, por volta de 1835, foram tomadas as primeiras diligências para que o edifício passasse para a posse da Câmara e fosse adaptado a Tribunal Judicial da Comarca, o que veio a acontecer no ano seguinte, funcionando aí, até 1 de Outubro de 1979, data em que foi transferido para o actual edifício na rua 25 de Abril.

Parte do edifício do Paço que estava arrendada como palheiro foi, em 1841, cedido pela Rainha D. Maria II à Sociedade União Dramática de Torres Novas, para que aí se instalasse o Teatro Nacional, mais tarde Teatro Virgínia."