Cevdet Yılmaz 1 Nisan 1967’de Bingöl’de dünyaya geldi. Babasının adı Kemal, annesinin Fatmadır. Lise öğrenimini Bingöl'de 1983 yılında tamamladı. ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'ne girerek bu bölümden 1988 yılında birincilikle mezun oldu. 1989 yılında Devlet Planlama Teşkilatı'nda çalışmaya başladı.
1992-1994 yılları arasında ABD’ye giderek Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde yüksek lisans eğitimini tamamladı. 1995-2003 yıllarında DPT'deki görevine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi bölümünde doktora eğitimi aldı. 2003 yılında doktora tezi kabul edildi. Aynı yıl, teşkilatın AB İlişkiler Genel Müdürlüğü görevine getirildi. Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde bulundu. 23. Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu.
Siyasal yaşamına AK Parti'de başlayan Yılmaz, ilk defa 2007 Türkiye genel seçimleri'nde AK Parti Bingöl milletvekili olarak TBMM'ye girdi. 1 Mayıs 2009 tarihinde gerçekleşen 60. Türkiye Hükûmeti kabine değişikliği sonucu GAP-DAP Projesi ve Kalkınma'dan Sorumlu Devlet Bakanlığı görevine getirildi. 2011 genel seçimlerinde tekrar AK Parti Bingöl milletvekili olarak meclise girdi. Recep Tayyip Erdoğan tarafından kurulan 61. Türkiye Hükûmeti'nde Kalkınma Bakanı olarak yer aldı. Erdoğan 2014 yılında Cumhurbaşkanı seçilince hükûmet kurma görevi Ahmet Davutoğlu'na verildi. Davutoğlu tarafından 29 Ağustos 2014 tarihinde kurulan 62. Türkiye Hükûmeti'nde Kalkınma Bakanlığı görevini korudu.
Haziran 2015 Türkiye genel seçimleri'nde Diyarbakır milletvekili olarak meclise girdi. Bu seçimlerde hiçbir parti tek başına iktidar olmak için gereken sandalye sayısına ulaşamayınca ve koalisyon görüşmelerinden sonuç alınamayınca erken seçime gidilme kararı alındı. Davutoğlu başkanlığında kurulan Seçim hükümeti'nde 28 Ağustos tarihinde Başbakan yardımcısı olarak görevlendirildi. Bu görevini 24 Kasım 2015 tarihinde kadar sürdüren Yılmaz, Kasım 2015 Türkiye genel seçimleri'nde Bingöl milletvekili olarak meclise girdi.