M.Ö. ikinci bin yılın başlarında bu bölgede Hurri halkının yaşadığını, aynı dönemin ilk yarısında ise Hayaslılar ve Azzilerin bu bölgede hüküm sürdüğünü belirtmektedir.
M.Ö. 1050-1180 yılları arasında Hattuşaş'ı başkent yaparak büyük bir imparatorluk kuran Hititler, Yakın Doğu'nun büyük bir kısmını egemenlikleri altına almıştır. Erzincan'ın da bu dönemde Hititlerin yönetimi altında olduğu kabul edilir. Her ne kadar Erzincan ve çevresinde Hititlere ait bir yerleşim yeri henüz bulunamamışsa da, bu bölgenin Hitit egemenliğinde olduğuna dair şüphe yoktur.
Doğu Anadolu'da kurulan ilkçağ devletlerinden biri de Urartulardır. M.Ö.900 yıllarında kurulan bu devlet Vanı2 (Tuspa) başkent yapmış, sınırlarını Hazar Denizinden Malatya'ya, kuzeyde Erzurum-Erzincan'dan güneyde Halep-Musul'a kadar genişletmiştir.
Erzincan yakınlarında Altıntepe'de Prof Dr. Tahsin ÖZGÜÇ tarafından yapılan kazıda (1953) Urartular'a ait bir çok eser çıkarılmış, bu yörenin Urartu egemenliği altında kaldığı kanıtlanmıştır.
Çeşitli saldırılara maruz kalan Urartu şehirleri, teker teker tahrip edilirken Medler'in Anadolu'yu istilası sırasında M.Ö. 600 yıllarında tamamen ortadan kaldırılmıştır. Erzincan ve yöresi, Urartular'ı yenerek Anadolu'yu istilaya başlayan Med'lerin (M.Ö. 612) eline geçti. Med Krallığı'nın Kyaksar döneminde Lidyalılar'la yapılan savaşlar, muhtemelen Erzincan ve civarında cereyan etmiştir. Bu yöreler M.Ö.550 tarihlerinde Persler'in eline geçmiştir.
Hititler'in Anadolu'yu istila ettikleri sırada, İran yaylasını da Persler ele geçirdiler. Persler'in yükselişi daha çok Ciroz (550-530), Kampis (530-520) dönemlerine raslar. Bu dönemde Erzincan ve çevresinde Persler'in eline geçer. Persler'den sonra Anadolu Makendonyalılar'ın eline geçmiştir.
Roma ordusu M.Ö.70 tarihinde Doğu Anadolu'yu ele geçirmeye başlıyarak Elazığ yöresindeki Safen (Harput) Kralığı'nı yıktıktan sonra, Tigran Ordusunu da yenilgiye uğratmıştır. Bu sırada (M.Ö. 68) Pontuslular da Erzincan yörelerinde Roma üstünlüğüne son vermişlerdir. İran ile Bizans arasında sürekli savaşlara sahne olan Erzincan ve yöresi, en son Bizans imparatoru Heraklius tarafından 629 tarihinde yenilgiye uğratılan İran'dan geri alındı.
Halife Hz. Osman (644-656) zamanında Habib bin Mesleme 35/655 senesinde Erzincan ve yöresini ele geçirerek, bu bölgeyi tamamen Müslümanların yönetimine kattı. Erzincan ve yöresi Abbasiler döneminde de çeşitli saldırılara maruz kaldı. Halife Mütevekkil Alallah (847-861) döneminde Malatya Valisi Ömer bin Abdullah, Arapgir, Eğin, Kemah, Erzincan ve Trabzon kentlerini Bizanslılar?dan geri aldı. (859) Böylece Erzincan tekrar Arapların hakimiyetine geçti.
Türklerin Anadolu'ya akınlar yaptığını daha önce belirtmiştik. Fakat, Türklerin Anadolu'yu vatan edinmeleri genel kanaate göre Malazgirt (1071) zaferinden sonradır. Malazgirt zaferi kazanılınca Alparslan, Karasu ve Çatlı nehirleri vadilerinin fethine Mengücek Ahmet Gazi'yi görevlendirmiştir.
Alparslan'ın komutanlarından olan Mengücek Ahmet Gazi, Erzincan, Kemah, Divriği ve Şebinkarahisar yörelerini hakimiyeti altına aldı. Kemah'ı merkez yaptı. Ahmet Gazi'nin ölümü üzerine (1114) yerine oğlu İshak Bey geçti. Bu beyliği uzun süre yöneten İshak Bey ölünce (1124) yerine Melih Mahmut geçti. İshak Beyin oğulları onu tanımayınca, Mengücek devleti parçalandı. Kemah Melih Mahmut'a Erzincan Davut Şah'a, Divriği'de Süleyman Şah'a düştü. Davut Şah'ın öldürülmesi üzerine (1151) Erzincan'a 13 yıl Süleyman Şah'a sahip olmuş; Davut Şah'ın oğlu Fahrettin Behram Şah (1165) yılında babasının tahtında oturunca, Mengücek Beyliği tekrar güçlenmiştir. Fahrettin Behram Şah, Kılıçarslan'ın damadı olması da göz önünde bulundurulursa, Mengücek Selçuklu münasebeti daha iyi anlaşılır.
Behram Şah zamanında, Erzincan çok ilerlemiş, ticaret ve sanayi gelişmiştir. Zelzeleler sebebi ile o dönem ait eserler maalesef günümüze ulaşmamıştır. Behram Şah 1225 tarihinde Erzincan'da ölmüş, aşağı Urla (Ula) köyünde defnedilmiştir.
Behram Şah ölünce yerine oğlu Davut Şah geçti. 1228 tarihinde Selçuklu sultanı Alaaddin Keykubat Erzincan ve Kemah'ı işgal ederek Mengücek Beyliğine son verdi. Alaaddin Keykubat ile Celalettin Harzem Şah arasında Erzincan yakınlarında, Yassı-Çemen denilen yerde 1230 tarihinde savaş oldu ve Celalettin Harzem Şah yenildi. Alaattin Keykubat'ın ölümü (1237) üzerine, yerine oğlu II. Gıyasettin Keyhüsrev geçti. Onun zamanında devlet Moğolların istilasına uğradı. 1240 tarihinde Erzurum'u işgal eden Moğollar Erzincan'ı geçerek 1243 tarihinde Kösedağ savaşında Anadolu Selçuklu Devletini hezimete uğrattı. Böylece Erzincan ve yöresi İlhanlıların eline geçti. İlhanlılar yöreyi beylerle (Vali) yönettiler. Timur-Taş Bey Mısır'a kaçarken yerine Alaaddin Eretna'yi bıraktı.
Timur-Taş'ın Mısır'a sığınmasından sonra valiliğe gelen Alaaddin Eretna ilhanlı hükümdarı Ebu Sait Bahadır Han'ın ölümü (1335) üzerine İlhanlılarla olan bağını keserek görünüşte Celayırlı Hükümdarı Büyük Şeyh Hasan Han'a bağlı kalarak bağımsızlığını ilan etti.
Bir ara Çoban Oğulları Hükümdarı Küçük Şeyh Hasan, Erzincan ve yöresi kendi beyliğine kattıysa da 1338'de Memluk Sultan Nasreddin Muhammed'in yardımı ile Erzincan ve yöresi Küçük Şeyh Hasan'dan kurtuldu. Erzincan bu beylik döneminde de el değişmiştir. Alaaddin Eratna 1352'de öldükten sonra yerine oğlu Gıyasettin Mehmet getirildi. Çıkan anlaşmazlıklar sonunda Erzincan bağımsız olarak, Burak Bey'e bırakıldı. Sırası ile Ahi Ayna Bey (öl. 1362), Pir Hüseyin (öl. 1379), Mutahhareten Bey yönetimi ele aldı. Mutahhareten döneminde, Kadı Burhanettin Erzincan'a ve yöresine birkaç kez saldırı düzenledi. Bu saldırılar Akkoyunlu Hükümdarı Kutlu Bey'in yardımı ile atlatıldı.
Bu dönemde Erzincan üzerinde Akkoyunlular'ın etkisini görmekteyiz.
Erzincan Emiri Mutahhareten'in Timur'a bağlanması Osmanlı Padişahı Yıldırım Beyazıt'ı kızdırmıştı. Beyazıt da Erzincan'ı muhasara etti.(1401) Fakat çok geçmeden Ankara Savaşı patlak verince, yöre tekrar Timur'un eline geçti.(1402)
Yörede Fatih Sultan Mehmet dönemine kadar Osmanlılar etkili olamadılar. 1419'da 1. Mehmet zamanında Karakoyunlu Beyi Kara Yusuf Erzincan'ı zapt etti Pir Ömer'i vali tayin etti.
1455'de de, Akkoyunlu hükümdarı Uzun Hasan Erzincan'ı aldı. Kaleyi yeniden onardı. Yöre Fatih ile Uzun Hasan arasında çıkan Otlukbeli savaşına kadar (11 Ağustos 1473) Akkoyunların elinden kaldı. Bu savaştan sonra Osmanlıların denetimine geçti.
1502 tarihinde Safevi tahtına gecen Şah İsmail Erzincan'ı karargah yapmıştı. Anadolu'yu eline geçirmek isteyen Safeviler'e Yavuz Sultan Selim 23
Ağustos 1514'te Çaldıran Savaşıyla dur deyince, Erzincan tekrar Osmanlılar'ın yönetimine geçti.
Kanuni Sultan Süleyman 1534'te Tebriz Seferi, 1540'da İran Seferi sırasında Erzincan'a uğramıştır.
Birinci dünya savaşından 11 Temmuz 1916 tarihinde Ruslar tarafından şehir işgal edilmiş, bunu fırsat bilen ayrılıkçı Ermeniler'de silahlı birlikler oluşturarak faaliyete geçmişlerdir. 18 Aralık 1917 de Sovyet hükümeti ile yapılan Erzincan Mütarekesi ile 11 Ocak 1918 de rus askerleri bölgeden çekilmiş ancak, ermeni çeteleribir çok kanlı olaya neden olmuştur. Kazım Kara Bekir komutasındaki askeri birlikler 13 Şubat 1918 de Erzincan'ı ermeni silahlı güçlerinden kurtarmışlardır. Kurtuluş savaşında ve hareketli geçen Cumhuriyetin ilk yıllarında Erzincan halkı Büyük Atatürk'ün yanında olmuştur.
Kentin adının Eriza veya Aziriz kelimelerinden geldiği, ilk önce Erziricin daha sonrada bugün ifade edildiği şekilde Erzincan'a dönüştüğü rivayet edilmektedir.
1923 yılında kurulan Türkiye Cumhuriyeti'nin bir ili olan Erzincan, 1939'da şiddetli depreme maruz kalmış, şehir harabeye dönmüştür. Şehirde taş taş üstünde kalmamış, onbinlerce insan hayatını kaybetmiştir. Depremden sonra demiryolundan yukarı yeni bir şehir inşaatına başlanarak bugünkü Erzincan şehri meydana getirilmiştir.
