Ergani çok eski bir şehir olup kuruluş tarihi belli değildir. Yunus Peygamber’in kurduğu rivayet edilirse de bu söz esaslı bir kaynağa dayanmamaktadır. İlçeye 6km uzaklıkta bulunan Hilar şehri harabeleride yapılan bir kazıda M.Ö.7000 yılına varan kalıntılar çıkmıştır. Buna dayanarak Ergani’nin 9000 yıllık bir tarihi bulunduğunu söyleyebilriz. Tarihte bölgenin ilk yerleşim yeri olan Ergani ilk zamanlardan bu yana Akranya ,Erkenin,Erkanikana,Yanari,Zülkarneyn ,Arsania,Urhana,Aşat isimleri ile anılmıştır.

          Yukarı mezopotamya’nın sayılı yerleşim birimlerinden biri de Ergani’dir. M.Ö.1220 tarihinde Büyük Eti İmparatorluğu dağılınca büyüklü küçüklü beyliklere ayrıldı. Asur Krallığı devrinde Ergani Asur devletine bağlı kendi başına egemen bir şehir olarak kalmıştır.

          İslamiyet döneminde Halife Osman zamanında Ergani, Elcezire’nin merkezi haline getirilen Harran’a bağlandı. Kerbela olayından sonra bütün Elcezire gibi Ergani de Emevilere bağlandı. Osmanlılar döneminde uzun zaman sancak beyliği olan Ergani, 1846 yılında sancak beyliğinin Meden’e nakledilmesi üzerine nakliye merkezine dönüşmüştür.

          Şimdi Diyarbakır-Elazığ karayolu üzerinde bulunan ilçe, Dicle nehrinin sağ kıyısına 10 km uzaklıkta ve 1526 m yüksekliğinde bulunan yarı sönmüş volkanik Zülküfil Dağının, derin bir sel yatağına bakan güney doğu tarafı eteklerinde 955 m yükseklikte kurulmuştur.

          Şehrin en üst kısmında Yüce Meryem adını taşıyan Kargir ve Kubbeli bir kilise vardır. Mucize yaratan eski bir mabed olduğu rivayet edilir.Bunun dışında Kızılca köyünde Enüş Peygamber Mezarı,Zülküfil Peygamber Makamı hala önemini koruyan tarihi yerlerdendir.

         Halkının tarım,hayvancılık ve meyvecilik ile geçindiği Ergani’nin Kemaliye,Saray,Namık Kemal,Kemertaş,Şirinevler,Fevziçakmak,İsmetpaşa,Aziziye malleleri olmak üzere 8 mahallesi vardır.