En septiembre de 1976, Rossington estuvo implicado en un accidente de coche. Compró un coche nuevo y se estrelló contra un roble. Conducía bajo los efectos de las drogas y el alcohol. La banda estaba a punto de salir de gira en un par de días, pero tuvieron que posponerlo a causa del accidente de Rossington. Los miembros de la banda estaban decepcionados por Rossington y le multaron con 5000 dólares por el retraso que produjo en la agenda de la gira. Ronnie Van Zant y Allen Collins escribieron la canción «That Smell» basándose en el accidente de coche y en la influencia de los efectos de las drogas y el alcohol en Rossington. La canción se convirtió en un éxito masivo entre los fanes de Lynyrd Skynyrd. Tras el incidente, Van Zant se dio cuenta de lo mucho que las drogas y el alcohol estaban afectando a la banda y reforzó un estricto rol de ‘NO DROGAS/ALCOHOL’ durante las giras futuras del grupo.
Rossington fue uno de los seis miembros que sobrevivieron el 20 de octubre de 1977 al accidente de avión cerca de Gillsburg, Misisipi que se llevó las vidas de Ronnie Van Zant, el guitarrista Steve Gaines, la corista Cassie Gaines (hermana de Steve) y otras tres personas. A pesar de romperse ambos brazos, piernas, tobillos, muñecas y la pelvis, Rossington finalmente se recuperó de sus heridas y volvió a tocar otra vez (aunque con placas de metal en su brazo derecho y en una de sus piernas).