La mañana del 3 de julio de 1971 Pamela Courson lo encontró muerto en la bañera de su piso del barrio de Le Marais en París, Francia, donde vivían juntos (aunque existen muchas otras versiones sobre su muerte, incluyendo la idea de un suicidio y de un asesinato). Se declaró que murió por un paro cardíaco, según su acta de defunción.
Existen personas que ponen en duda la versión oficial, afirmando que las circunstancias fueron algo extrañas. Se dijo que el padre de Jim sacó el cuerpo de su hijo del cementerio para llevarlo a Estados Unidos, pero fuentes del Père Lachaise, el famoso cementerio donde fue enterrado, aseguran que nadie se puede llevar un cuerpo sin que la administración lo sepa. Incluso se puso en duda el hecho mismo de su muerte. Otras versiones afirman que sufrió una sobredosis de heroína (a la que no era aficionado) en los lavabos del club nocturno parisino Rock ‘n’ Roll Circus y fue posteriormente trasladado a su casa.