Cevdet Yılmaz, 1967’de Bingöl’de doğdu. Lise öğrenimini Bingöl'de tamamladı. 1983 yılında ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'ne girerek bu bölümden 1988 yılında birincilikle mezun oldu.
1989 yılında Devlet Planlama Teşkilatı'nda çalışmaya başladı. 1992-1994 yılları arasında ABD'ye giderek Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde yüksek lisans eğitimini tamamladı. 1995-2003 yıllarında DPT'deki görevine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi bölümünde doktora eğitimi aldı. 2003 yılında doktora tezi kabul edildi.
SİYASİ HAYATI
2003’deteşkilatın AB İlişkiler Genel Müdürlüğü görevine getirildi. Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde bulundu. 23. Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu.
2007 seçimlerinde ve 2011 seçimlerinde AK Parti Bingöl milletvekili olarak TBMM'ye girdi. 1 Mayıs 2009'da gerçekleşen II. Erdoğan Hükümeti (60. Hükümet) kabine değişikliği sonucu GAP-DAP Projesi ve Kalkınma'dan Sorumlu Devlet Bakanlığı görevine getirildi. 12 Haziran 2011 tarihinde Hükümet’te yeni kurulan Kalkınma Bakanlığı görevine getirildi.
29 Ağustos 2014 tarihinde Ahmet Davutoğlu başkanlığında kurulan 62. Hükümette bu görevini korudu. 28 Ağustos 2015 tarihinde Başbakan Ahmet Davutoğlu tarafından Başbakan Yardımcılığı görevine atandı.