Le retour à la vie civile de Earl débuta en 1951. Il dut faire un séjour contraint en Arkansas avant d’être libéré. Le gouvernement fédéral l’avait confié aux autorités de l’Etat, en détention provisoire de deux ans pour le cambriolage d’un cynodrome en 1944. Par chance pour Earl, les autorités de l’Arkansas étaient des gens raisonnables. Deux de ses amis firent parvenir six cents dollars au chef de la police, et il fut relâché au bout de six semaines. «Si vous vous faites arrêter avant juin 1953, vous serez considéré comme un prisonnier en cavale», lui avait-on dit à sa sortie. 

Earl Johnson prit cette menace au sérieux. Il trouva du travail en tant que garde-frein au New York Central, surfant sur les rails pendant dix ans. Earl se sentait bien, tellement bien qu’il en devint présomptueux.

Pendant les trajets, il commença à refourguer des tickets volés, mais il ne fut pas assez prompt à voler l’un d’entre eux. Cela lui valut, en août 1961, trois ans de prison supplémentaires ajoutés à son palmarès par le département de la Justice, ainsi qu’un billet retour pour Atlanta. Après avoir vécu en liberté pendant dix ans, se retrouver à nouveau en prison s’avéra difficile. Le corps de Earl commença à lui poser problème, et il ne pouvait plus suivre le train de vie qu’il avait auparavant. Il était suspicieux, et à juste titre. A chaque fois qu’il avait été incarcéré, les charges retenues contre lui étaient confirmées par un mouchard à la barre des témoins de l’accusation, ce qui le rendit peu causant. Il était devenu assez solitaire dans son genre, n’adressant la parole qu’à l’arrière de son crâne. C’est certainement ce qui le rapprocha de Rudolf Abel, car Abel était du même genre.