El Castillo de Castrodouro, auténtico emblema del Concello de Alfoz, tuvo su origen en un asentamiento castillo de principios del siglo I después de Cristo.

De esta construcción sólo se conservan las estructuras exteriores de la torre del homenaje de la primitiva fortaleza, ya que hacia el siglo IX una familia de la meseta, apoyada por la monarquía asturiana, fundó el monasterio familiar en el siglo XI bajo el poder del diócesis de San Martiño de Mondoñedo a quien fortalece En 1220, el rey Alfonso IX concedió el título de villa y un alfoz entero a Castro de Ouro y por esta época se militarizó la infraestructura del monasterio.

En el siglo XV fue ocupada por el mariscal Pardo de Cela, quien la perdió tras su muerte y pasó a ser propiedad de la diócesis que la reconstruyó después de que los Reyes Católicos decidieran destruirla, convirtiéndola en residencia episcopal hasta el siglo XVII cuando fue abandonada.

A finales del siglo XIX pasó a manos del Ayuntamiento de Alfoz de Castro de Ouro que decidió rehabilitarlo a principios del siglo pasado, dedicándolo hasta 1990 a Casa Consistorial y sede de la Audiencia Municipal.

En 1949 y en virtud del Decreto de 22 de abril obtuvo protección legal y en 1994 fue inscrita en el Registro de Bien de Interés Cultural y adquirió, de esta forma, la mayor protección jurídica posible para un Monumento En la actualidad, el Castelo acoge varias dependencias municipales que contribuyen a su puesta en valor: punto de información turística, sala de exposiciones y sala del museo.