Le site, dont le nom signifie « l’oliveraie », est construit sur la grotte du Pater, dans laquelle, selon le christianisme, Jésus se serait retiré avec ses disciples. Plusieurs édifices religieux ont été bâtis autour de cette grotte à partir du IVe siècle pour commémorer l’Ascension du Christ.
Le domaine entre dans le giron de la France grâce à Aurélie de la Tour d’Auvergne. L’aristocrate française l’achète au XIXe siècle et y fait construire un cloître dont les plans sont attribués à Eugène Viollet-le-Duc, le fameux architecte qui avait fait construire la flèche de Notre-Dame. En 1868 Aurélie de la Tour d’Auvergne fait don d’une partie du terrain à la France. Il est depuis administré par le consulat général de France à Jérusalem.