Fra begynnelsen av 1880-årene og frem til sin død var Johannes Haarklou en av forgrunnsskikkelsene i norsk musikkliv.
Johannes Haarklou ble født på gården Haarklou i Haukedalen i Sunnfjord. Familien satt i gode kår, men da Johannes ikke hadde odelsrett, brøt han sommeren 1864 opp fra hjembygda for å bli lærer, først til Balestrand og deretter til Stord seminarium, der han ble uteksaminert 1868. Men hele hans hug stod til musikken, og da han fikk en lærerpost i Eiker i Buskerud, tok han i et års tid timer i klaver og harmonilære hos organist Christian Cappelen i Drammen. 1872 ble han elev av Ludvig Mathias Lindeman i Christiania, som oppmuntret ham til videre studier i utlandet. Sommeren 1873 brente han derfor alle broer og reiste til musikkonservatoriet i Leipzig, der han var student i et par år. 1876 vikarierte han et halvt år som organist i Tangen kirke ved Drammen, og ved Lindemans hjelp fikk han samme år tollkasserer Schäffers legat. Dette satte ham i stand til å dra tilbake til Leipzig for et kortere opphold. Her møtte han for første gang Edvard Grieg.
Fra Leipzig gikk ferden til Bergen, der Haarklou i februar 1877 dirigerte sitt første orkesterverk, en festmarsj. Noen velstående bergensere hjalp ham til et ettårig opphold ved musikkhøyskolen i Berlin, og året her ble hans viktigste læretid. Sommeren 1878 gav han i Bergen sin første kirkekonsert, der Ole Bull medvirket. Et år senere drog han igjen til Berlin, for så i begynnelsen av 1880 å slå seg ned for godt i Kristiania.
Her livnærte Haarklou seg som organist, først i Sagene menighet og 1883–1920 i Gamle Aker kirke. Han var kjent som en fremragende orgelspiller; særlig gikk det frasagn om hans evne til å improvisere. I 1880-årene startet og ledet han serier med billige folkekonserter som fikk stor oppslutning, og 1889 dirigerte han i København, Berlin og Leipzig. 1889–96 var han timelærer i harmonilære og komposisjon ved Musik-Konservatoriet i Kristiania. I hovedstadspressen var han også en meget aktiv musikkanmelder, og gjennom tallrike artikler skapte han allmenn interesse for musikalske spørsmål.
Haarklou kom hele livet til å leve i skyggen av Edvard Grieg, Johan Svendsen og Christian Sinding. Forholdet til Grieg var svært anstrengt. Hovedgrunnen var stridigheter i forbindelse med den store norske musikkfesten i Bergen sommeren 1898. Den opprinnelige planen var at Musikforeningens orkester i Kristiania skulle stå for orkesterkonsertene, men Grieg fikk trumfet igjennom at hovedstadsorkesteret ble erstattet av Concertgebouw-orkesteret fra Amsterdam. Den stridbare sunnfjordingen målbar Kristiania-musikernes vrede i heftige angrep på Grieg, og forholdet dem imellom ble aldri godt igjen.
1910 fikk Haarklou komponistgasje av Stortinget, og året etter ble han utnevnt til ridder av 1. klasse av St. Olavs Orden. 1917, da han fylte 70 år, ble han igjen hedret av Stortinget med en bevilgning på 2000 kroner til trykking av en rekke store verker i Tyskland.
Selv om Haarklous innsats som organist, dirigent og musikkskribent var betydelig, var det gjennom sine komposisjoner han først og fremst ble verdsatt av samtiden, særlig på grunn av orgelmusikken og korverkene. Blant orgelkomposisjonene må nevnes to orgelsymfonier og den fengende Fantasie triomphale, som stadig er å finne på organistenes programmer. Blant korsangene fremstår Tord Foleson, Varde og Fenrir, alle til tekst av Per Sivle, som betydelige kunstverker. Det bredt anlagte oratoriet Skabelsen og Mennesket, som er bygd over deler av Henrik Wergelands storslagne diktverk, kan gi assosiasjoner til både Bach og Händel.
Haarklou var en av våre mest produktive operakomponister, og han slo mangt et slag for operasaken i Norge, også ved betydningsfulle artikler i pressen. Fem musikkdramatiske verker stammer fra hans hånd. Flere av dem fikk stor oppslutning fra publikum, ikke minst Marisagnet, som 1910 oppnådde 16 oppførelser på Nationaltheatret.
Blant romansene må Med røde Roser til Knut Hamsuns tekst fremheves som et blinkskudd. Det samme kan sies om fiolinsonaten (g-moll) som har bevart sin friskhet inn i 2000-tallet. Minst betydelige i hans omfattende verkliste er klaverkomposisjonene.
Datidens utenlandske kritikere betegnet gjerne Haarklou som en musikalsk kosmopolitt. Det er for så vidt riktig, da han ikke ofte la an på å være nasjonal. Imidlertid brukte han ikke så rent sjelden innslag fra norsk folkemusikk, bevisst eller ubevisst. Fremheves må i denne sammenheng fiolinsonaten og fiolinkonserten, og selv i verker uten påvisbare innslag av folkemusikalske elementer synes musikken ofte å ha en underliggende norsk karakter, som for eksempel i Varde og Fenrir.
Haarklou døde 1925, 78 år gammel. 1927 ble det ved veien nedenfor Haarklou-gården i Haukedalen reist en bauta med en innfelt portrettmedaljong av ham.