On Avery Island ontving voornamelijk positieve kritieken, maar is sindsdien overschaduwd door de opvolger In the aeroplane over the sea. Rebecca Robinson van NME beoordeelde het album met een 9 en prees de originaliteit van de muziekstijl.[1] Jason Ankeny van AllMusic gaf het album vier sterren. Hij noemde het album een "fuzzy meesterwerk" en besteedde nadrukkelijk aandacht aan het openingsnummer Song against sex.[2] Pieter J. Macmillan gaf het album namens Drowned in Sound een 8. Hij gaf toe dat het album niet even sterk is als In the aeroplane over the sea, maar prees het tempo, de variatie en de teksten.[3] Med57 van Sputnikmusic was minder enthousiast en gaf het album twee sterren. Hoewel hij de nummers Song against sex, Gardenhead / Leave me alone en Naomi waardeerde gaf hij aan dat de instrumentale experimenten Marching theme en met name Pree-sisters swallowing a donkey's eye het album verzwakten.[4]