Attacken inträffade vid den 2 500 år gamla synagogan El Gribha, som var fylld av pilgrimer under attacken.
Över 5 000 judar från hela världen deltar i den årliga pilgrimsfärden till synagogan på Djerba, som hör till de äldsta i Afrika.
Motivet är tillsvidare oklart och utreds som bäst. Tunisiens inrikesministerium uppger att en av de dödade pilgrimerna var tunisisk medan den andra var från Frankrike.
Videor som har lagts ut på nätet visar hur folk flyr i panik då det hörs skottlossning vid synagogan, där den årliga vallfärden skulle avslutas på tisdag kväll.
– De skjuter med skarpa skott, hjälp oss, vädjade den tunisiska minoritetsaktivisten Ghayda Thabet som var på plats då skottlossning utbröt.
”El Gribha” har tidigare utsatts för attacker
Vakten öppnade eld då han närmade sig synagogan men sköts ihjäl av andra vakter innan han nådde ända fram.
Synagogan tömdes och stängdes genast efter attacken
Djerba som är ett populärt turistmål, har 1 500 judiska invånare och samma synagoga har även tidigare utsatts för terrordåd.
År 2002 dödades 20 människor, inklusive gärningsmannen, i en självmordsattack. Det fanns 14 tyska och två franska turister bland dödsoffren.
Tunisien, som för närvarande lider av ekonomiska och politiska problem, har tidigare utsatts för flera terrordåd, bland annat år 2015 då 38 personer dödades i semesterorten Sousse. De flesta av dödsoffren var brittiska turister.