Başbakanlık DPT Müsteşarlığı AB ile İlişkiler Genel Müdürlüğü görevini yürüten Cevdet Yılmaz, Ulusal Ajans, ATAUM ve Sümer Halı’da Yönetim Kurulu üyeliklerinde bulundu. Yılmaz, 23, 24, 26 ve 27. Dönemde Bingöl, 25. Dönemde Diyarbakır Milletvekili seçildi. Parlamentolar arası Birlik (PAB) Türk Grubu Başkanlığı yaptı. 60. Hükûmette Devlet Bakanı; 61, 62 ve 64. Hükûmetlerde Kalkınma Bakanı, 63. Hükûmette Başbakan Yardımcısı olarak görev aldı.