Fatih Sultan Mehmet, 29 Mayıs 1453’te İstanbul’da ilk kez bu semte ayak basmıştı. Şehrin deniz gümrükleri Marmara ve Haliç kapılarında, en önemli kara gümrüğü ise bu bölgedeydi. Osmanlı döneminin en gözde semtlerinden biriydi. Abideleşecek eserler yaptırıldı. Karagümrük 1950’lere kadar, semte renk katan Balkan göçmenleriyle, başarılı spor kulüpleriyle anılırdı.