Le cimetière juif est inauguré en 1894 par le grand-rabbin de Tunisie, Élie Borgel. Décédé en 1898 et inhumé dans ce même cimetière, celui-ci lui a donné son nom. Le cimetière juif se divise en deux parties divisées par un mur mais communiquant l'une avec l'autre ; l'une regroupe les Juifs d'origine tunisienne (Twânsa), l'autre les Juifs d'origine européenne (Granas). Le terrain reste à ce jour la propriété de la communauté juive de Tunis dirigée par Roger Bismuth.

Le cimetière juif regroupe plus de 20 000 tombes, réparties sur 24 carrés portant les noms de personnalités célèbres, dont celles de plusieurs grands-rabbins.