2002-ben az akkor 13 éves Hayley Williams elköltözött szülővárosából, Meridianból Franklinbe ahol találkozott Josh Farro és Zac Farro testvérekkel miközben egy magániskolába járt. Nem sokkal a költözése után Hayley Brett Manningtől vett énekórákat. A Paramore megalapítása előtt Hayley és Jeremy Davis basszusgitáros barátjukkal, Kimee Read-del egy funk együttesben, a The Factory-ban játszottak, míg Josh és Zac Farro együtt gyakoroltak az iskola után. A Paramore többi tagja „ideges volt ezzel az egész női dologgal” miszerint Hayley lenne az énekesük, de mivel nagyon jó barátok voltak ezért Hayley elkezdett nekik dalokat írni. Az együtteset hivatalosan Josh Farro (gitár/háttér ének), Zac Farro (dob), Jeremy Davis (basszusgitár) és Hayley Williams (ének) alapította 2004-ben, majd később csatlakozott hozzájuk Hayley szomszédja,Jason Bynum (ritmikus gitár). Hayley állítása szerint a „Paramore” név az első basszusgitárosuk leánykori nevéből ered Miután megtudták a paramour homofon jelentését („titkos szerető”), úgy döntöttek, hogy ezt a nevet fogják használni Paramore betűzésse

Az együttes első száma amit együtt írtak a Conspiracy volt, amit később a bemutatkozó albumukon adtak ki. A következő években a Paramore Nashville területén kívül is koncertezett, többek között a Purple Door és a Warped Tour fesztiválokon. John Janick a Fueled by Ramen vezérigazgatója és alapítója megkapta a Paramore demóit, majd elment a Taste of Chaos fesztiválra Orlandoba, hogy élőben is láthassa őket. Egy kisebb privát koncert után amit egy raktárban tartottak az együttes aláírt egy szerződét a kiadóval

Ezután a Paramore visszautazott Orlandoba, de megérkezésük után nem sokkal Jeremy Davis kilépett az együttesből személyes okokra hivatkozva. A Paramore megmaradt négy tagja folytatták az albumot, megírták az All We Know-t ami Davis kilépéséről szólt, majd kitalálták az All We Know Is Falling koncepció alapjait. Az album borítója is a Paramore bánatát szimbolizálja, amit Hayley Williams így magyarázott meg: „Az All We Know Is Falling borítóján a kanapé és a távozó árnyék, mind arról szól, hogy Jeremy elhagyott minket és egy űrt hagyott maga után”.A felvételek három hétig tartottak és az album promóciós anyaga csak a megmaradt mégy tag közreműködésével jött létre

A koncertek előtt felvették az együttesbe John Hembree-t (basszusgitár) Jeremy Davis helyére. 2005 nyarán a Paramore a Shira Girl színpadon lépett fel a Warped Tour-on. Az együttes kérésére öt hónappal a távozása után Jeremy Davis visszatért az együttesbe Hembree helyére. Az All We Know Is Falling-ot 2005. július 24-én adták ki és a 30. helyezést érte el a Billboard Heatseekers slágerlistáján. A Paramore első kislemezének, a Pressure-nek aminek videoklipjét Shane Drake rendezte, nem sikerült felkerülnie a slágerlistákra. A videoklipben egy raktárépületben zenélnek, majd a klip végén vízzel permetezik le őket. Júliusban kiadták a második kislemezüket, az Emergency-t. Ennek a videoklipjét is Shane Drake rendezte és Hunter Lamb (ritmikus gitár) is szerepel benne Jason Bynum helyett Az Emergency klipje is egy Paramore koncertről szól amiben véres kosztümökben zenélnek. A harmadik kislemez, az All We Know videoklipje koncertfelvételeket és háttérfelvételeket tartalmaz

2006 januárjában az együttes a Winter Go West turnén vettek részt ahol az Amber Pacific és a The Lashes seattlei bandákkal zenéltek együtt. Februárban Hayley Williams énekelt az October Fall Keep Dreaming Upside Down című számában. 2006 tavaszán a Paramore volt az előzenekara a Bayside-nak, majd nem sokkal később a The Rocket Summer-nek is. 2006. október 5-től október 15-éig az Egyesült Királyságban turnéztak, ahol az utolsó turnéállomás a londoni Mean Fiddler volt. Ezután előadták a Foo Fighters My Hero című dalát amit a Sound of Superman című albumon adtak ki 2006. június 26-án

2006 nyarán a Paramore ismét részt vett a Warped Tour-on, elsősorban a Volcom és a Hurley színpadokon, és amikor először felléptek a főszínpadon az megegyezett szülővárosuk, Nasville alapításának napjával. A Paramore első Államokbeli turnéja 2006. augusztus 2-án kezdődött, ezen az összes jegyet eladták, a This Providence, a Cute Is What We Aim For és a Hit the Lights támogatásával az utolsó állomáson Nashvilleben. Ebben az évben jelöltek voltak az „Év legjobb új bandája” címre, és Hayley Williams lett a 2. „legszexibb nő” a brit Kerrang! magazin olvasó alapján.

2007-ben Hunter Lamb elhagyta a csapatot és megházasodott, a Paramore négyesben folytatta tovább. A Paramoret a brit NME magazin az „2007 új zajának” nevezte.Januárban ők játszották a Warped Tour akusztikus nyitányát a Rock and Roll Hall of Fame-ben,és Hayley Williamsen az Emergencycímű videoklipben látható ruhát viselte.

A Paramore még egyszer feltűnt a Kerrang! magazinban, azonban Hayley Williams úgy gondolta, hogy a cikk hamis képet fest a bandáról, elsősorban azért mivel úgy fókuszált rá mintha ő lenne a „főszereplő”. Ezek után Hayley a banda LiveJournalján ezt írta: „Címlapsztori nélkül is sikerült volna. Sajnálom ha ez bárkit is megbántott a Kerrang!-nál, de nem hiszem, hogy egy árva szó is igaz lenne a cikkből.” Áprilisban Hayley Williams énekelt a The Chariot Then Came To Kill című számában. 2007 elején újabb turnéba kezdtek a This Providence-el, a The Almost-al és a Love Arcade-dal.