Sie befindet sich im Herzen des historischen Stadtzentrums und überragt die alte Medina.

Obwohl heute nur noch einige Abschnitte der Mauern und Überreste mehrerer Türme erhalten sind, war die Alcazaba von Baza zu ihrer Zeit eine fast uneinnehmbare Festung. Ihre Mauern weisen drei Bauphasen auf: eine erste aus dem 11. bis 12. Jahrhundert, eine weitere aus der Zeit der Nasriden und eine letzte, bereits christliche aus dem 16. Jahrhundert. Muslimische und christliche Quellen beschreiben die Alcazaba als eine der wichtigsten und solidesten Festungen des Königreichs. Ihre Lage ermöglichte es, die Festung zu betreten und zu verlassen, ohne durch die Stadt zu gehen, und gleichzeitig diese militärisch zu kontrollieren. Sie war nicht nur eine Festung, sondern verfügte auch über eine kleine Zitadelle, in deren Inneren sich Wohnhäuser befanden, die nach der Eroberung abgerissen wurden. Seitdem erfuhr sie zahlreiche Veränderungen, die durch das Erdbeben von 1531 noch verstärkt wurden, das einen Teil der Stadtmauer, die Zinnen und die Residenz des Burgvogts beschädigte, sodass sie im Laufe der Zeit schließlich verfiel. An einer ihrer Seiten befindet sich der Kreuzgang des ehemaligen Klosters San Francisco. Von der Alcazaba aus hat man einen schönen Blick auf die Stadt und die gesamte Hoya de Baza.