Olle Pedersen vokste opp som naboen til familien Mathias og Gudrun Folgerø i Haugesund. Han var selv musikalsk, og fikk undervisning i piano og sang.

Pedersen vendte nesen mot Oslo i 1955, hvor han kontaktet musikalske venner som Ragnar Andersen. Nevnte skaffet Olle jobb ved «Bergensfjord»

.I tillegg til mye fysisk jobbing, fikk Pedersen sjansen til å synge med båtens orkester. Dette varte i fem år, jorden rundt. Sangene besto av flere smørsvisker fra blant annet Pat Boone og Frank Sinatra. I New York ble til og med TV-opptreden.

I land, og etter å ha hatt forskjellige helseplager, ga Olle Pedersen ut sitt soloalbum «10 perler fra min visesamling». I 1982 ga han ut en kristen plate «Send bud ham», sammen med sine gode venner Oddvar Brusletten og Gerd Kjellsen. Denne ble sett på kvalitestempel.