24 Haziran 1938 tarihinde Nahçıvan Özerk Cumhuriyeti'nin Ordubad ilinin Keleki köyünde doğdu. İlkokul ve liseyi Nahçıvan'da okuyan Elçibey, 1957'de Azerbaycan Devlet Üniversitesi Doğu Bilimler Fakültesi Arap Filolojisi Bölümünü kazandı. Elçibey, buradan mezun olduktan sonra 1963-1964 yıllarında ise Mısır'da tercüman olarak görev yaptı. 1965'te ülkesine dönerek mezun olduğu üniversitede akademik kariyerini sürdüren Elçibey, 1969'da "Tolunoğulları devleti (868-905)" konulu doktora tezi yazdı. Elçibey, 1968-1975 yıllarında Azerbaycan Devlet Üniversitesi Asya ve Afrika Ülkeleri Tarihi Bölümünde öğretim görevlisi olarak çalıştı.
Elçibey, öğretim görevlisi olarak çalıştığı dönemde öğrencilerine Türkçülük ve bağımsızlık duygusu aşılamaya çalıştı. Bu durum Devlet Güvenlik Servisinin (KGB) dikkatinden kaçmadı ve gözaltına alındı. 1975'te Sovyetler Birliği karşıtı propoganda yapmak suçundan tutuklandı. Bir yıl 7 ay siyasi tutuklu olarak hapis hayatı yaşadı ve taş ocakları gibi ağır işlerde çalıştırıldı.
Elçibey, hapisten çıktıktan sonra Azerbaycan Bilimler Akademisi Elyazmalar Enstitüsünde araştırma görevlisi olarak çalıştı. 1988'de Azerbaycan'da Sovyetler Birliği karşıtı halk hareketi başladı ve Elçibey bu hareketin önderleri arasında yer aldı. Halk hareketi 1989'da Azerbaycan Halk Cephesi (AHC) ismi altında kurumsallaştı ve Elçibey AHC başkanı oldu.
7 Haziran 1992'de yapılan seçimlere AHC adayı olarak katılan Elçibey yüzde 60.9 oyla Azerbaycan Cumhurbaşkanı seçildi. Cumhurbaşkanı seçildikten sonra milli devlet kurma yolunda çalışmalara başlayan Elçibey, Sovyet Rus ordusunu Azerbaycan'dan çıkarmayı başardı ve milli ordu kurdu. Elçibey'in cumhurbaşkanlığı döneminde milli para basılarak devreye sokuldu, Kiril alfabesinden Latin alfabesine geçildi. Ebülfez Elçibey, cumhurbaşkanlığı döneminde Türkiye ile yakınlaşmayı Azerbaycan dış politikasının önceliği haline getirdi.
Cumhurbaşkanı olduktan sonra ilk yurt dışı ziyaretini 24-27 Haziran 1992'de Türkiye'ye gerçekleştiren Elçibey, TBMM'de yaptığı bir konuşmada takip ettiği yolun "Mustafa Kemal'in yolu" olduğunu vurguladı. Anıtkabir'e gerçekleştirdiği ziyarette de hatıra defterine, "Ey büyük Türk, büyük komutan. Sizi ziyaret etmekle kendim ve milletim adına onur duydum. Senin askerin Elçibey" ifadelerini yazdı.
Ermenistan ordusunun Dağlık Karabağ'da gerçekleştirdiği saldırılar ve iç karışıklıklar nedeniyle Elçibey'in cumhurbaşkanlığı uzun sürmedi. Haziran 1993'te Albay Suret Hüseynov'un Gence'de isyan çıkarması üzerine ülkede iç savaş tehlikesi doğdu ve Elçibey bu durumu önlemek için görevini bırakarak doğduğu Keleki köyüne gitti.
Elçibey yaklaşık 4,5 yıl Keleki'de yaşadıktan sonra 1997'de Bakü'ye döndü ve artık siyasi partiye dönüşen Azerbaycan Halk Cephesi Partisi genel başkanı olarak mücadelesi sürdürdü.
Yaşamının son dönemlerini ağır hastalıkla mücadele ederek geçiren Elçibey, 22 Ağustos 2000'de tedavi gördüğü Gülhane Askeri Tıp Akademisi Hastanesi'nde hayatını kaybetti.
