Nacido en West Medford, Massachusetts el 6 de septiembre de 1907 en una familia de diez hijos, desde muy joven Johnny Kelley corrió atletismo y cross country en Arlington High School en Massachusetts. A sus 21 años decidió participar en el Maratón de Boston, y pese a que en ese momento no pudo terminar la prueba durante las 61 siguientes ediciones sí lo haría, marcando un récord prácticamente imposible de igualar en la historia de esta carrera, y convirtiéndose en una verdadera leyenda del maratón.
Pero la historia de Kelley con esta carrera no es sólo una cuestión de cantidad. También tuvo actuaciones memorables como en las ediciones de 1935 y 1945 las cuales ganó. También terminó en segundo lugar siete veces lo que es otro récord de la prueba. Entre 1934 y 1950, terminó 15 veces entre los cinco primeros puestos del Maratón de Boston, corriendo constantemente en torno a un tiempo de 2:30 horas. Corrió su último maratón completo en esta ciudad en 1992, a la edad de 84 años, su participación número 61 en el evento.
También fue miembro del equipo olímpico de Estados Unidos en los Juegos Olímpicos de Berlín de 1936, donde terminó en el puesto 18 en la maratón, y Londres 1948.
Kelley fue nombrado "Runner of the Century" por la revista Runner's World en 2000. Otro homenaje que tuvo en vida fue en 1993, cuando se erigió una estatua de Kelley para conmemorarlo cerca del Ayuntamiento de Newton, Massachusetts, en el recorrido del Maratón de Boston, justo en una colina y aproximadamente una milla antes del pie de Heartbreak Hill.
Johnny falleció el 6 de octubre de 2004 en South Yarmouth, Massachusetts, a la edad de 97 años, pero su leyenda permanece intacta en cada metro del Maratón de Boston.