Cet ancien village de marabouts fut jadis voué à la religion. En 1207, un mystique nommé Abou Saïd Khalafa ben Yahia s'y installa afin de développer le soufisme. La mort en fit un saint et la colline de Sidi Bou Saïd et devint un haut lieu de la spiritualité. 

Autrefois village paisible de pêcheurs, il doit sa renommée internationale au baron anglais Rodolphe d'Erlanger qui s'y installa en 1912 et y fit construire un somptueux palais.