El conocido popularmente como Castillo de Arribalavilla se encuentra en pleno casco histórico de Zalamea, dominando desde posición preferente, el resto de la localidad. En la actualidad el Castillo aparece en su mayor parte embutido por las viviendas anexas.

Algunas fuentes aseguran que su origen debemos de buscarlo en la época visigoda, aunque lo que sí es seguro es que la actual estructura procede del siglo XIII, con la reconquista de la plaza por parte de Fernando III “El Santo”, cuando se aprovecharon los restos de la antigua fortaleza árabe.

De esta manera, actualmente nos encontramos con un recinto rectangular con torres en los ángulos y de una superficie aproximada de 45x35 m. La muralla está recorrida por un andén protegido por almenas con aspilleras. La puerta originaria se situaba en el muro sur, formado por un arco rebajado de sillería sobre el que se situaba un matacán. De las cuatro torres, tres son cilíndricas (la Higuera, la Oscura y la Mocha) y una heptagonal (la del Homenaje o también llamada de Carlos V):

- Torre de la Higuera: de base cilíndrica, está construida a base de bloques de sillería granítica.
- Torre Mocha: también cilíndrica, las puertas no se comunican directamente con el andén, sino que con fines defensivos desembocan en las escaleras que conducen a la terraza. Se remata con una espadaña añadida en el siglo XVII, y dentro se situaba el calabozo.
- Torre Oscura: es la única totalmente hueca, ya que las demás son macizas hasta el andén.
- Torre del Homenaje: es heptagonal y construida en sillería granítica. Se accede a ella a través de una puerta situada a cuatro metros de altura, como recurso defensivo.

En el centro del espacio abierto, en lo que antiguamente tuvo que ser el patio de armas, encontramos un aljibe y la entrada a una serie de túneles que debían servir de escapatoria en momentos de fuertes contiendas. Además, también encontramos restos de un antiguo cementerio, que funcionó desde el siglo XVII al XIX. En el lateral que hoy consideramos de entrada se halla el que fuera Palacio de los Zúñiga, dónde se hospedaría Elio Antonio de Nebrija el siglo XV para “dar a luz” a la Primera Gramática de la Lengua Castellana”.

Finalmente, decir que están apunto de comenzar las obras para la construcción de una Hospedería en el interior del Castillo, concediendo así a Zalamea un alojamiento de gran calidad turística.