En el segundo cuarto del siglo XII, el territorio de Mogadouro fue donado a la Orden del Temple por el rey Alfonso I. En este período de afirmación del nuevo reino de Portugal, fue necesario construir nuevas estructuras militares en el territorio fronterizo. de Trás-os-Montes para la defensa contra las incursiones militares leonesas y musulmanas.
En la segunda mitad del siglo XII, los Templarios construyeron la Fortaleza, basada en un afloramiento rocoso, y aislada en el interior del recinto amurallado.
En los siglos XIII y XIV se introdujeron elementos góticos en su arquitectura para adaptarse al sistema de “defensa activa”. A partir del siglo XV, la familia Távora transformó el Castillo en su residencia palaciega hasta 1759, cuando su propiedad fue confiscada a favor de la corona. Hasta 1834 se convirtió en la residencia de los Juízes de Fora, que luego quedó en ruinas.
