The X Factor được xem là cách thức để Cowell ghi dấu ấn trong mảng truyền hình thực tế Mỹ. Tuy nhiên, gameshow này đã không thể lặp lại thành công về mặt tỉ suất người xem như “người anh em” American Idol, cũng do Fox phát sóng. 

Phiên bản Mỹ của chương trình này đã phải rất chật vật để tìm ra một ban giám khảo đủ sức hấp dẫn. 
Năm 2012, Fox đã chi ra đến 15 triệu USD để thuê Britney Spears làm giám khảo nhằm cứu vãn rating ngày càng đi xuống song vẫn thất bại. 

Theo thống kê, The X Factor chỉ thu hút được 6,2 triệu người xem trong đêm chung kết ở mùa giải thứ 3 phát sóng hồi tháng 12 vừa qua. Con số này chỉ bằng một nửa thành tích của chính chương trình tại mùa phát sóng đầu tiên.