Cowell, Carmen Electra ile birlikte olduğu sırada arkadaşının karısı Lauren Silverman ile de ilişki yaşıyordu. Cowell, Lauren Silverman'ı "arkadaşı" olarak tanıtsa da Electra buna ikna olmadı. İkisini, aşk yaşadıklarını inkar edemeyecekleri bir şekilde Cowell'ın evinde yakaladı. Sonunda da sevgilisini terk etti.
Silverman da yasak aşkının ortaya çıkmasının ardından işadamı eşinden boşanıp Cowell ile birlikte olmaya başladı.