Joe Cole chuyển đến Chelsea vào năm 2003 sau khi Roman Abramovich lên làm chủ tịch đội bóng và thực hiện hàng loạt vụ chuyển nhượng với nhiều ngôi sao. Giá chuyển nhượng của anh là 6,6 triệu bảng Anh. Tuy nhiên vì không được huấn luyện viên Chelsea, lúc đó là Claudio Ranieri, tin dùng nên Joe Cole thi đấu không thành công ở mùa bóng 2003/2004 mặc dù đã cùng Chelsea vào đến bán kết Champion League và hạng nhì giải Premier League.

2004/2005

Sau mùa bóng 2003/2004 không thành công, Chelsea thay đổi huấn luyện viên Claudio Ranieri bằng huấn luyện viên người Bồ Đào Nha Jose Mourinho. Dưới sự dẫn dắt của Jose Mourinho, Joe Cole hoàn toàn lột xác so với mủa bóng trước bằng một phong độ tuyệt vời khi được ông Mourinho đẩy ra hai cánh để thay thế Arjen Robben bị chấn thương dài hạn. Ở mùa bóng 2004/2005, Joe Cole đã cùng Chelsea giành được danh hiệu Premier League sau hơn 50 năm chờ đợi, cúp Liên Đoàn Anh và lọt vào đến bán kết Champion League trước khi bị loại bởi Liverpool F.C.. Kết thúc mùa giải, Joe Cole trở thành một trong những cầu thủ thi đấu tốt nhất của Chelsea mùa giải 2004/2005 và anh đã ghi đơợc 10 bàn thắng cho Chelsea trong mùa giải này.

2005/2006

Sự xuất hiện của tiền vệ Shaun Wright-Phillip đã khiến Joe Cole và những cầu thủ chạy cánh khác trong đội hình hiện tại Chelsea như Arjen Robben, Damien Duff phải cạnh tranh quyết liệt cho việc được ra sân chính thức. Nhờ thế mà mùa bóng 2005/2006 Joe Cole đã thi đấu rất ấn tượng và được xem như cầu thủ thi đấu sáng tạo nhất trong đội hình Chelsea. Mặc dù Chelsea sớm bị loại ở Champion Legue bởi Barcelona FC nhưng ở giải trong nước, Joe Cole đã giúp Chelsea bảo vệ thành công danh hiệu vô địch Premier League với việc góp công lớn vào chiến thắng 3-0 trước Manchester United khi ghi bàn thắng nâng tỉ số 2-0. Cuối mùa giải, Joe Cole được đưa vào đội hình tiêu biểu của mùa giải 2005/2006 và gia hạn hợp đồng thêm 4 năm với Chelsea.

2006/2007