M.Ö. 4000 sonlarına tarihlenen Geç Uruk Devri, Gırnavaz kalıntılarının en alt kültür tabakasını oluşturmaktadır. Bu kültür tabakasının üzerinde yer alan Er Hanedanlar Devri mimari tabakaları, daha çok ölü gömme adetleri açısından araştırılmış ve değerlendirilmiştir. Tespit edilen mezarlara göre, ölüler bu devirde eski Mezopotamya geleneklerine göre açılan çukurlara, dizleri karınlarına çekik olarak yatırılmakta, daha sonra yakılan hafif ateşle manevi temizlik sağlanarak dünyevi ilişkileri kesilip, çukurlar kapatılmaktaydı. Mezar içinde şahsi eşya olarak metal silahlar ve süs eşyaları, mühürler,  kült ve seramik kap örnekleri çok sayıda tespit edilmiştir…

Sümer Kralı Lugarzergiz, M.Ö. 2850 yılında Akdeniz'e kadar uzandığı seferinde Mardin'i hükmü altına almıştır. Şehircilik, sulama ve tarım alanlarında ileri bir seviyeye ulaşan Sümerler, geniş fetihler sonucu güçlerini kaybedince, 30 yıl sonra, M.Ö. 2820’de Mardin'i Akadlar'a bırakmışlardır. Akadlar, M.Ö. 2500 yıllarında Sümerler'le anlaşarak, Akad-Sümer Devleti’ni kurmuşlardır. Amuri ailesinin altıncı ferdi olan Hamurabi, Sümer topraklarını Babil'in idaresi altına alınca bu kez Babil Devleti'ni (M.Ö. 2200-1925) kurmuş, ardından yukarı Mezopotamya'ya saldırınca, Mardin'i istila ederek topraklarına katmıştır
M.Ö. 1925 yılında Mardin'i işgal eden Hititler, bir yıl sonra şehri terk etmişlerdir. Daha sonra, İran dolaylarından gelen Ari ırkından Midiller, Mardin ve çevresini ele geçirmiştir. 500 yıl hüküm süren Midiller, bilinmeyen bir sebepten Mısırlılara vergiye bağlanmışlar, ve bir Midil prensesini de Mısır firavunu ile evlendirmişlerdir. M.Ö. 1367 yılında Midiller arasında iç savaş çıkmış, bunu fırsat bilen Asur Kralı Asuri Balit, Mardin ve çevresini topraklarına katmıştır.

M.Ö. 1190'da Anadolu'dan gelen bazı Ari ırkı kavimleri Mardin'i almışlardır. 60 yıl sonra Asurlu I. Tıplalpalasır;  Sincar, Nusaybin ve Mardin'den geçerek, 20 bin Maşiki kuvvetinin koruduğu Kemecin'e saldırıp onları yendikten sonra, Mardin ve çevresini tekrar ele geçirmiştir. M.Ö. 1060'da, I.Asurnasırbal zamanında Hititler birleşerek Gılganuş yakınlarında Asurlular'ı yenmişlerdir. Mardin, Asurlular’ın tekrar kuvvetlenmeleri üzerine Asur hâkimiyetine girmiştir. M.Ö. 800 yılına kadar Asurlular’ın elinde kalan Mardin, daha sonra Urartu Krallığı egemenliğine geçmiş olup, Kral Mimes zamanında 50 yıl Urartu idaresinde kalmıştır.

Büyük İskender Mısır'ı aldıktan sonra, M.Ö. 335 yılında İran'a gitmek için Mezopotamya'ya gelerek Mardin'den geçer. Buraları da istila eden İskender'in, M.Ö. 28 Mayıs 323 tarihinde Babil'de ölümünden sonra, devlet İskender’in komutanları arasında pay edilir. Mardin doğu bölümünde kaldığı için M.Ö. 311’de Nikanır denilen General Slevkos'un eline geçmiş olur…

M.Ö 131’de, Mardin ve çevresi, Urfa Krallığı (Abgarlar) topraklarına katılmıştır. M.S. 249'da Roma Hükümdarı Filibos, saltanatının beşinci yılında bir isyan başlatıp, IX. Abgar'ı memleketten kovmuş, ve şehrin valiliğine de Hapsioğlu Uralyonos tayin edilmiştir. Bu arada Mardin de Urfa'ya bağlı olduğu için Roma egemenliğine girmiştir.M.S 250 yılında Dakiyos, Pers ülkesini zaptetmiş, bu sırada tahribat gören Nusaybin'i onarmıştır. 330 yılında ateşe ve güneşe tapan Kral Şad Buhari, rahatsızlığı nedeniyle Mardin Kalesi’nde kalır. Kalede kaldığı süre içerisinde iyi olunca, kendisine kasır yaptırıp 12 yıl boyunca burada yaşar… Daha sonra Kral, memleketi Pers'ten birçok asker ve sivil getirip onları Mardin'e yerleştirir. 442 yılına kadar getirilen insanlar vasıtasıyla şehirde birçok gelişme olur. 442 yılında halkı kasıp kavuran amansız bir veba salgını ise şehri yaşanmaz hale getirir.

Yaklaşık 100 sene sonra Ursiyanos adlı Romalı bir kumandan, büyük bir ekiple Mardin'i 47 yılda inşa etmeyi başarır ve halkın tekrar buraya gelmesini sağlar. Bu süre içinde Persler'in ünlü merkezleri olan Dara yeniden inşa edilmiştir. Bizanslılar 640 yılında Hazreti Ömer'in kumandanlarından İlyas Bin Ganem'in işgaline kadar varlıklarını devam ettirmişlerdir.
Mardin ve çevresi, 692'de Emeviler'in, 824'te Halife Memnun zamanında Abbasilerin hakimiyetine girmiştir. Bu dönemde İslamiyet hızla yayılmıştır. 885-978 yılları arasında buralarda hüküm süren Hamdaniler'in kaleyi kesin olarak zaptedişleri 895 yılına rastlar. Doğal olan kalenin bazı yerlerine surlar yaptırarak bazı yerlerini de onararak günümüze kadar dimdik kalmasını sağladılar…

990 yılında ancak Musul'da tutunabilen Hamdaniler'in topraklarını birer birer ele geçiren Mervaniler, Mardin'i zapt ederler. Mardin ve çevresinde çarşılar, camiler yaptırarak, onarımlarla İpek Yolu üzerinde bulunan bu önemli şehri ticari açıdan canlandırırlar. Alparslan'ın Malazgirt zaferinden sonra Türkler'in Anadolu'ya ulaşan akınları neticesinde gittikçe zayıflayan Mervaniler Devleti, Nusaybin'de 1089'da Selçuklular'a yenilerek onların hakimiyeti altına girer.

Artuklular'dan İl Gazi Bey Mardin'i 1105'te ele geçirerek devletin başkenti yapar. Halep'i aldığı gibi, Haçlılara karşı giriştiği mücadeleler dolayısıyla ile de İl Gazi Bey büyük ün kazanır. Bu mücadeleler sırasında, Antakya Haçlı Prensi Roger'i yenerek Silvan'ı ele geçirir. İl Gazi'nin ölümünden sonra oğulları ve yeğenleri devletin basına geçerek Diyarbakır ile Harput Kalesi ve civarına hakim olup, Haçlıları, Frankları, Urfa Kontu'nu, Bilecik Haçlı Senyör'ünü ve Kudüs Kralı Bodven'i yenerek büyük başarı kazanırlar. Böylece Artuklular bölgede büyük bir devlet kurarlar. Bu devletin 304 yıllık egemenliği sürecinde çok sayıda cami, medrese, hamam ve kervansaray yapılmış olup, birçok cami, medrese ve manastır onarılmıştır.
Timur, Artuklular döneminde 1393'te Mardin Kalesi’ni kuşatıp işgal etmeye çalışsa da başarılı olamaz. Timur 1395 yılının Ramazan ayında Mardin'i almak için yeni bir kuşatma hazırlığına Kızıltepe'de otağı kurarak başlar. Mardin halkı kaleye sığınarak Timur'un şiddetli hücumlarına karşı koymak suretiyle o zamanın en büyük ordusu ve hükümdarını başarısızlığa uğratır. Artuklular halkın bu başarısından dolayı Mardin'i onarma faaliyetine girişirler. 15. yüzyılda güçlenen Karakoyunlular'ın, bu devleti ortadan kaldırmak için Mardin'i kuşatması bu girişimleri aksatır. 1409'da halk bu kuşatmaya daha fazla dayanamayarak yapılan anlaşma gereği şehrin kalesini Karakoyunlulara teslim eder.

Mardin Karakoyunlular'ın egemenliğinde 61 yıl kalır. Bu süreç içerisinde aşiretler ayaklanarak Karakoyunluların rejimine karşı koyarlar ve zaman zaman devlet yönetimini ele geçirirler. Karakoyunlular’ı 1462 yılında yenen Akkoyunlular kalenin egemenliğini de ele geçirirler. Bu dönemde Mardin'e Paşa olarak gelen Kasım Bey, Timur'un yakıp yıktığı şehri ve kaleyi onarmaya girişir, bu başarılı çalışmasını taçlandıran, bu güne kadar ihtişamla ayakta durmayı başaran Kasım Paşa Medresesi’ni yaptırır.
16.yüzyılın başında Akkoyunlular'ı egemenliğine alan Şah İsmail, güçlü bir Şii devleti kurmayı başarır. Bu dönemde Anadolu'ya girip Şiiliği kabul etmeyenleri zalimce öldürmekten geri kalmaz. Bu durumu gören Mardin hakimi, şehri ve halkı zulme ve yağmaya karşı korumak için kalenin anahtarını kan dökmeden Şah İsmail'e teslim eder.

Mardin'in kesin olarak Osmanlılar'ın eline geçmesi Mısır seferini düzenleyen Yavuz Sultan Selim döneminde gerçekleşmiştir. Diyarbakır (Amid) Valisi Bıyıklı Mehmet Paşa ve Kürt Bilgini İdris-i Bitlisi, Yavuz Sultan Selim'in emriyle 1516'da Mardin ve kalesini dokuz aydan fazla kuşatmış, çeşitli illerden gönderilen Osmanlı takviye kuvvetleri, Doğu Anadolu'dan gelen Kürt Beyleri’nin kuvvetleriyle birleşerek kaleye defalarca saldırılar düzenlemiştir. Ancak halkın kahramanca karşı koyması, iki tarafın da zor günler geçirmesine neden olmuştur. Kartal Yuvasına yardım beklentisi boşa çıkınca, Bıyıklı Mehmet Paşa ve İdris-i Bitlisi 7 Nisan l5l7’de Mısır'da bulunan Yavuz Sultan Selim'e kaleye girmiş olduklarının müjdesini vererek Osmanlı Devleti’nin ilk halifesini çok sevindirmişlerdir.

1517 yılında Mardin ve yöresi Osmanlı topraklarına katılmış, bir sancak durumunda Diyarbakır Beylerbeyliği’ne bağlanmıştır. 1518’de Mardin Sancağı, Merkez kazası ile Savur ve Nusaybin nahiyelerinden oluşmaktaydı. Mardin, uzun müddet Diyarbakır-Bağdat ile Musul'un Sancağı durumunda kalmıştır. Mardin sancağında halk göçebe ve yerleşik olarak iki bölüme ayrılmaktaydı. Yerleşik halk inançları açısından Yahudiler, Hıristiyanlar (Ermeniler, Süryaniler ve Keldaniler), Müslümanlar ve bir kısım Şemsilerden (Güneşe tapanlar) oluşuyordu.