Şehrin simgesi Ulu Cami, Mardin'in en önemli ve en eski mabedidir. Cami, yaklaşık dokuz asırdır ayakta olan bir kültür mirası. Tarihî dokunun yoğun olduğu kent merkezinde, kentsel sit alanı içinde yer alan Cami, üstündeki yazıta göre 1176 yılında Artuklu Sultanı Kutbettin İlgazi zamanında inşa edilmiş. Artuklu Dönemi mimari özelliklerini taşıyan, dilimli kubbesi ve minaresiyle şehrin sembolü olan Ulu Cami, kayıtlara göre iki minareli inşa edilmiş, ancak bir minaresi günümüze ulaşmamış. Anadolu'daki çifte minareli camilerin ilk örneklerinden olan yapının bugünkü silindirik gövdeli süslü minaresi de 19. yüzyılda yapılmıştır.
Şehrin hemen her köşesinden dikkat çeken minare, Mardin denince akla ilk gelen görüntüler arasında. Bazı kaynaklarda buranın kiliseden camiye dönüştürüldüğü veya yerinde daha önce bir kilise olduğu belirtilmektedir. Erken dönem de özellikle güneydoğuda görülen mihrap önü kubbeli enine gelişen cami plan ve formunun çok önemli bir örneğidir. Yapının malzemesi düzgün kesme taştır. Ulu Cami'nin kubbesi dıştan yivle me tekniğiyle yapılmıştır. Bu teknik, ilk olarak bu yapıda kullanılmış ve sonra Mardin'de gelenekselleşmiştir.
Avlunun kuzeyinde bulunan eyvan içerisindeki Artuklu çeşmesi insan ömrünü simgeliyor. Çeşmenin şekli, suyun geniş ve dar kanallardan akışıyla insan ömrü anlatılıyor. Doğum, çocukluk, yetişkinlik ve ölümün tasvir edildiği mistik bir atmosfere sahip avlu âdeta yaşamınızı yeniden sorgulamanıza neden oluyor. Ulu Cami'yi özel kılan sebeplerden biri de Hz. Muhammed'in "Sakal-ı Şerif" inin burada bulunması. Ulu Cami hâlen ibadet ve ziyarete açıktır.
