1989 başlarında Kara Kuvvetleri Komutanlığı'nın başına getirildi. Nisan 1989'da orgeneralliğe yükselen Powell, ağustos 1989'da başkan George H. W. Bush tarafından genelkurmay başkanlığına denk düşen Birleşik Kurmay Başkanları Kurulu'nun başkanlığına (Chairman of the Joint Chiefs of Staff) atandı. 1 Ekim 1989'dan 30 Eylül 1993'e kadar Savunma Bakanlığı'nın en yüksek askeri pozisyonu olan Genelkurmay Başkanlığı’nı yapan Powell, bu süre zarfında 28 tane krizi yönetti.
Bu görevi sırasında General Manuel Noriega'nın devrildiği Panama'ya yönelik ABD işgalinin (1989) ve Körfez Savaşı'yla ilgili Çöl Kalkanı ve Çöl Fırtınası harekatlarının (1991) planlanmasında önemli rol oynadı. Bütün bu askeri harekatlara rağmen uluslararası krizlerde askeri müdahaleyi nadiren ilk seçenek olarak savunması nedeniyle "The Reluctant Warrior" (Gönülsüz Savaşçı) lakabını aldı.
35 senelik profesyonel asker olan Powell, bu süre zarfında, sayısız kumanda ve kurmay pozisyonunda bulundu ve 4-yıldız general oldu. Bu süre zarfında 28 tane krizi yönetti.
1995'te Cumhuriyetçi Parti'ye yakın olduğunu açıklayan Colin Powell, 2000 ABD başkanlık seçimleri öncesinde Cumhuriyetçi Parti önseçimlerinde John McCain'i destekledi. Ancak önce önseçimleri kazanan ardında da başkan seçilen George W. Bush tarafından 16 Aralık 2000'de Dışişleri Bakanlığı'na aday olarak gösterildi ve ABD Senatosu tarafından oybirliğiyle onaylanmasının ardından, 20 Ocak 2001'de 65. Dışişleri Bakanı olarak yemin etti.