19. ja 20. sajandi vahetusel elas tsaariaegses Rakveres vaid 7000 inimest. Võim linnas kuulus vene ametnikele ja saksa soost kaupmeestele ning käsitöömeistritele. Pea kõik Rakvere koolid olid tol ajal vene õppekeelega. Võitlust eestluse esiletõusu eest juhtis Rakvere Eesti haridusselts, mis loodi 1907. aastal. Selts seadis oma peaeesmärgiks emakeelse kooli asutamise. 6. juunil 1909. aastal andis Riia õppekonna kuraator loa emakeelse kooli avamiseks. 5. septembril 1909.a. alustas Rakvere Eesti Haridusseltsi III järgu Algkool tööd 32 õpilase ja 2 õpetajaga. Algul tegutseti üüritud ruumides, 1911. aastast aga oma majas Posti tänaval.
Aastatel 1909-1914 oli koolijuhatajaks Julius Seljamaa, kes sai hiljem tuntuks kui väljapaistev poliitik, diplomaat, Eesti Vabariigi välisminister. Haridusseltsi Algkool kui ainus eestikeelne kool Rakveres, tegutses võimude valvsa pilgu all. Kui 1916. aastal saabus Rakverre Eestimaa kuberner, kes külastas kõiki siinseid koole, pidid õpilased talle tervituseks laulma venekeelset riigihümni. Üksnes haridusseltsi koolis pidi venelasest kubernerihärra ära kuulama ka eestikeelse rahvalaulu. Rahva seas kiiresti populaarseks saanud kooli andis haridusselts 1917. aastal üle linnale. Uueks nimeks sai Rakvere II Algkool.
Aasta pärast koliti juba Tartu tänava majja, endise Tütarlaste Eragümnaasiumi ruumidesse. Kakskümmend viis aastat juhatas kooli väga tuntud ja lugupeetud koolimees Peeter Raudsepp. Kooli heast mainest kõneles järjest suurenenud õpilaste arv ning heatahtlik hüüdnimi “Peetri Ülikool”, mille linnarahvas andis koolile selle kauaaegse juhataja järgi. Pärast II maailmasõda on kooli nimi ja suurus muutunud. Kooli on juhtinud nimekad pedagoogid Rudolf Reiman ja Valdu Männilo.
II 8-klassilise koolina töötati 1965-1973, mil direktoriks oli Helga Lukas. 1973. aasta kevadel lõpetati Rakvere II 8-kl. koolis ajutiselt õppetöö. Alates 1974. aastast oli Tartu tänava koolimaja paarkümmend aastat koduks ja kooliks erivajadustega lastele. Pärast põhjalikku restaureerimist ja ümberehitustöid, mis said teoks tänu Rakvere linnavalitsusele ja sõpruslinnale Sigtuna, jätkus haridustegevus Tartu tänava koolis. Kool alustas tööd 1. septembril 1994. aastal kuueklassilisena, 176 õpilase ja 18 õpetajaga. 1997. aastaks oli Rakvere Põhikool kasvanud 9- klassiliseks õppeasutuseks.
Aastatel 1994-2007 juhtis kooli Ivo Tupits, alates 2007.aastast Lea Pilme.
Rakvere Põhikool on Rakvere Eesti Haridusseltsi kooli järglane. 2009. a septembrist novembrini tähistati kooli 100. sünnipäeva, mille raames toimus kooliraamatu „Rakvere Põhikool 100“esitlus. Oktoobris toimus kooli kokkutulek endistele õpilastele ja töötajatele. Pidulisi oli kokku 365. Kokkutulekuks valmis kooli juubelimärk ja pärast pidu videofilm üritusest. Kooli vilistlased annetasid raha kooli esimese juhataja J. Seljamaale pühendatud mälestustahvli valmistamiseks.