潘源良从小在旺角女人街长大，家里经营冰室。旺角住着各式各样人物，车水马龙，给了潘源良和各种人接触的机会，也为其日后的创作提供了丰富的生活资料。

    潘源良中、小学分别就读于李求恩纪念中学及诸圣小学。1981年，潘源良毕业于香港中文大学新闻系，在学期间曾在商业电台的《突破时刻》节目当义工，及后于无线电视新闻部兼职，随着名传媒人梁天伟实习，负责翻译编辑工作，毕业后正式加入无线新闻部，担任外电翻译员。

    1982年，潘源良在无线工作至第九个月，因本身喜欢创作的性格使然，毅然转往丽的电视（亚洲电视前身）担任助理编导。1983年，他又转至香港电台戏剧组，任助导和编剧，期间制作了《香港、香港》和《温馨集》。而他第一首发表的填词作品就是《温馨集》的主题曲——《浊世暖流清》，由雷安娜主唱。此外，他亦参与香港基督徒音乐事工协会《齐唱新歌》3至5集的填词工作。