Petty ble født i 1950 i Gainesville, Florida, og hadde en barsk barndom, men et håndtrykk fra Elvis i en alder av 17 vakte en interesse for rockemusikk. David Rolland fra Broward Palm Beach New Times dro på trek for å besøke steder som er viktige for Petty tilbake i 2014, inkludert barndomshjemmet:
Petty sitt første band, Mudcrutch, bodde på en gård i Gainesville som var "skitt billig" og "langt fra noen naboer som kan klage på støyen," Gainesville Sun skrev i 2008.
Red Slater, en venn av bandet som bodde på gården i noen år, fortalte solen:
Bandet flyttet til California i 1974 for å gjøre det stort, men bandet brøt opp, og noen få tidligere medlemmer kom sammen for å danne Tom Petty and the Heartbreakers, og resten, som de sier, er historie (selv om Mudcrutch ble gjenforent i 2007 og ga ut to album).
Petty's Encino, California, har historien. I 1987 — ett år før Travelling Wilburys (supergruppen Petty dannet med George Harrison, Bob Dylan, Roy Orbison og Jeff Lynne) ga ut sin debut - en
brannstolper satte eiendommens tretrapper i brann, og nesten alt bortsett fra i kjelleropptaksstudioet gikk tapt. Små og familie gjenoppbygde stedet og ifølge Realtor.com:Og vi kommer til Petty's Lake Sherwood retrett. Det var børsnotert til salgs i mai, og er fremdeles på markedet for 5,895 millioner dollar. Stedet ble kalt Casa Della Madonna, og ble bygget i 1931 og føles mer som Comosjøen enn California. Den 3300 kvadratmeter store eiendommen ligger på nesten en dekar med en privat brygge. Stuen har vegger laget av lokal feltstein, og et tillegg i 2004 la til en rolig master suite med et dypt steinkar og en balkong med peis.