أقيم في الموقع الذي كان سيشهد بناء الجامع، معبد مخصص للإله جوبيتر منذ القرن الأول أنشئ ضمن نطاق مزدوج. عندما أمر الوليد الأول ببناء المسجد الكبير عام ٧٠٥، أعيد استخدام هيكل المعبد إضافة إلى عدة مواد بناء عثر عليها في الموقع، مثل الواجهة المثلثة المزخرفة والمحمولة على أعمدة.

Philibert-Joseph Girault de Prangey, 1843