Elle se trouve au cœur du centre historique de la ville, dominant l'ancienne médina.

Bien qu'il ne reste aujourd'hui que quelques pans de murs et des vestiges de plusieurs tours, l'Alcazaba de Baza était autrefois une forteresse presque imprenable. Ses murs présentent trois phases de construction : une première au XIe-XIIe siècle, une autre nasride et une dernière, déjà chrétienne, au XVIe siècle. Les sources musulmanes et chrétiennes décrivent l'Alcazaba comme l'une des principales et des plus solides forteresses du royaume. Son emplacement permettait d'entrer et de sortir de l'alcazar sans passer par la ville tout en la contrôlant militairement. Ce n'était pas seulement une forteresse, mais aussi une petite citadelle à l'intérieur de laquelle se trouvaient des habitations, qui ont été détruites après la conquête. Depuis lors, elle a subi de nombreuses transformations, accentuées par le tremblement de terre de 1531 qui a endommagé une partie des remparts, des créneaux et la résidence du gouverneur, avant de tomber finalement en ruine au fil du temps. Sur l'un de ses côtés se trouve le cloître de l'ancien couvent de San Francisco. En montant à l'Alcazaba, on peut contempler la vue sur la ville et toute la Hoya de Baza.