La kasbah élève ses remparts au dessus de la médina : on y accède pour la belle vue sur la ville, le port, le lac et la mer. Les origines de cette forteresse remonteraient au temps de l'occupation byzantine : de forme rectangulaire, une tour occupe chaque angle. L'entrée de la kasbah est un passage voûté étroit en chicane destiné à ralentir à l'époque tout envahisseur tentant d'y pénétrer. L'intérieur de la forteresse est un dédale de petites ruelles bordées d'habitations. Au pied du rempart nord-ouest, la place du marché s'anime fortement du cri des marchands, et les étalages donnent l'impression d'un fouillis organisé. Au-delà s'étend le quartier des Andalous, où des Maures d'Espagne venaient se réfugier au XVIIe siècle. On aperçoit plus loin relié par un rempart de la kasbah la silhouette du fort d'Espagne, qui surplombe Bizerte à une quarantaine de mètres d'altitude sur une hauteur au nord. Ce fort date de 1573, édifié du temps de la domination turc, par le pacha d'Alger. Il est construit de façon à pouvoir faire face à l'artillerie, composé de treize côtés à angles rentrant. Désormais loin de toute menace, Le fort a depuis été réaménagé en théâtre à ciel ouvert, qui accueille notamment le Festival international de Bizerte.