1964. gadā viņš pārliecinoši zaudēja esošajam prezidenta vietas izpildītājam Lindonam Džonsonam, arī daudzi redzami republikāņi šajās vēlēšanās zaudēja. Tomēr tas radīja apstākļus ASV politiskās ainavas pārmaiņai. Pirmkārt, Goldvoters kā republikānis pirmoreiz kopš Amerikas pilsoņu kara laikiem stabili uzvarēja t.s. Dziļo Dienvidu štatos (Alabamā, Misisipi utt.). Pirms 1964. gada vēlēšanām dienvidu štati bija gandrīz pilnīgi demokrātu varā. Mūsdienās valdošā tendence ir pretēja - šie štati balso par republikāņiem. Otrkārt, republikāņu masveida zaudējums vēlēšanās atbrīvoja ceļu republikāņu politiķu jaunajai paaudzei, kuras redzamākais pārstāvis kļuva Ronalds Reigans.
Pēc sakāves vēlēšanās Berijs Goldvoters atgriezās ASV Senātā. Kā senators bija t.s. Goldvotera - Nikolsa likuma autors, kas izmainīja ASV armijas augstākās pavēlniecības struktūru un pienākumus. Politiskās karjeras beigu posmā no liberālisma pozīcijām dažkārt kritizēja savu partiju, jo tajā pamazām nostiprinājās labējie kristieši.