Joe ha tenido relaciones sentimentales con Camilla Belle, Demi Lovato y Taylor Swift, la última de las cuales anunció al mundo en el Show de Ellen que Joe se había deshecho de ella mediante una llamada telefónica de 27 segundos. Sin embargo, Joe insiste en que él no es el galán de revistas en una entrevista con The Toronto Star: "Sé que hay gente ahí fuera que dice que he estado rompiendo corazones, pero escuchen nuestras canciones. Ellas hablan la verdad. Si algunos corazones se han roto, por lo general son los nuestros. Lo que sucede en nuestras relaciones se refleja en nuestras canciones y los antis serán antis".

Esta no es la primera vez que Joe se ha defendido contra los reclamos de ex-novias: Tras su separación de Taylor, el cantante insistió en que él no era un tramposo y que la relación tuvo dificultades: "Nunca engañé a una novia. Podría hacer que alguien se sienta mejor asumiendo o implicando que he sido infiel pero simplemente no es verdad. Tal vez había razones para una ruptura. Tal vez el corazón cambió de sentimientos. Tal vez los sentimientos cambiaron. Estoy verdaderamente entristecido que cualquier cosa podría potencialmente causar [mis fans] a pensar mal de mí".