Au ixe siècle, comme dans les autres villes alors sous le contrôle des Aghlabides récemment installés, une kasbah est bâtie au sein de la médina de Sfax, directement en face de la mer pour assurer une meilleure surveillance côtière.
Au début, elle est constituée de deux tours, destinées à la surveillance de la mer et à la communication avec le reste des tours environnantes par l’échange de signaux lumineux, de deux mosquées et d’une installation souterraine .
Au début, elle est constituée de deux tours, destinées à la surveillance de la mer et à la communication avec le reste des tours environnantes par l’échange de signaux lumineux, de deux mosquées et d’une installation souterraine .
Avec l’arrivée des Ottomans, la structure du système de gouvernance change. Le gouverneur devient un représentant local et la kasbah perd son rôle de centre de l’administration.
Pendant les années 1980, et après près de vingt ans d’abandon, la kasbah est convertie en un musée consacré à l’architecture traditionnelle.