Ole var tvillingbror til Norvald Hitsøy, som også var musiker, aktiv i band som The Strangers og Vestlandsfanden.  

Ole var i noen perioder vokalist i populære The Moonspinners. Mellom en av disse periodene sang han i Never Mind. 

I Bergen vakte Hitsøy oppsikt med studentbandet Sun-Ra, bestående av flere musikalske talenter, som broren, Sambo Sandal og Asle Nilsen.  

På Østlandet sang Ole i Freddy Lindquists orkester, frem til han ble med i Company Band, et proft danseband som gjorde stor suksess den korte tiden . Etter dette ble det en lengre periode i bandet Fryd & Gammen.