Hjörleifur Sigurðsson var í Laugarnesskólanum í Reykjavík þegar hann var drengur og átti þar margar góðar stundir. Hann var duglegur að teikna og var oft beðinn um að teikna á töfluna í skólastofunni um jólin eða á vorin þegar haldin var sýning í skólanum. Það þótti honum mjög skemmtilegt.
Þegar hann var tíu ára málaði hann fallega landslagsmynd á töfluna. Þá hljóp hann út á pallinn sem var yfir leikfimihúsinu og horfði út á sundin. Svo teiknaði hann með krít það sem hann hafði séð, sjóinn og fjöllin í baksýn, Akrafjallið, Skarðsheiðina og Esjuna, og hafði Laugarnesið og gamla bæinn á því í forgrunni.
Hjörleifur var í skátafélaginu Völsungum þegar hann var í Laugarnesskólanum. Oft var farið í útlilegur í Viðey eða í Kaldársel ofan við Hafnarfjörð. Skemmtilegast þótti honum á Úlfljótsvatni. Stundum sat hann við stóra gluggann í skátaskálanum og horfði yfir vatnið og norður til Þingvalla. Og teiknaði og málaði.
Myndirnar voru ekki alltaf alveg eins og fyrirmyndin og þess vegna var hann oft spurður hvað hann væri að teikna. Eitt sinn svaraði hann því til að þetta væri bara fantasía. Eftir það var hann kallaður Hjölli fantasíumálari.
Margt benti til þess að Hjörleifur yrði myndlistarmaður. Og það varð hann líka. Hann lærði listasögu og málaralist í Stokkhólmi og kynnti sér nýjustu strauma í myndlist í París og Osló.
Myndirnar sem hann sýndi á sjötta áratugnum voru einkum geómetrískar abstraktmyndir sem byggðust á skýrt afmörkuðum formum, hreinum og sléttum litum og beinum línum. Síðar urðu abstraktmyndir hans ljóðrænni. Litameðferðin varð þá óheftari og tjáningin tilfinningaríkari.
Á síðustu árum hefur Hjörleifur einkum málað ljóðrænar, draumkenndar abstraktmyndir með vatnslitum.