1903年生于台南下营，1918年回下营公学校服务，担任教职，受其同校教员泽田武雄（石川钦一郎学生）鼓励而赴日学习美术。1922年留学于日本国立东京美术学校（今东京艺术大学美术学部）学习西画与油画，1929年前往法国学习素描、油画，老师藤岛武二的严谨及老师冈田三郎助家中工艺的收藏品，皆对颜水龙日后的创作影响甚大。1927年与陈澄波、杨三郎、倪蒋怀、陈植棋、李梅树、郭柏川、范洪甲、陈承藩、陈慧坤、张秋海、 张舜卿、廖继春等十三人组织“赤岛杜”画会。
1929年，得林献堂资助，留学法国。期间作品受到马尔香（Jean Marchend）与勒泽（Fernand Lger）影响最大。而后于坎城认识画家梵．邓肯（Van Dongen），也师承其装饰性色彩。1933年，颜水龙任职于大阪的“株式会社寿毛加社”从事广告设计，其创作也逐渐走向以工艺美术为主。1934年时与杨三郎、廖继春等人，创立了台阳美术协会，致力推动台湾美术活动。1940年更与张万传、陈德旺、范倬造、黄清亭、洪瑞麟、蓝运登、谢国镛等人组织“台湾造形美术协会”。1944年起，颜水龙先后于台南工业专门学校（今成功大学）、台南家政专科学校（今台南应用科技大学）任教。
1950年代，为了研究台湾原始艺术的工艺之美，而获准前往原住民保护区兰屿，是第一位登上兰屿的画家。而接触原住民艺术的可贵经验，使颜水龙的作品有较多的原住民题材，同时强调原始艺术的装饰之美，表现出了他对人文的关怀。1961年起，他陆续制作了一连串的马赛克壁画。包括台中体育大学体育场外墙的《运动》、1964年在太阳堂饼店墙上的《向日葵》、1966年在台北日新大戏院墙上的《旭日东升》，和1969年于台北剑潭公园墙上的《从农业社会到工业社会》作品。1984年，颜水龙自实践家专（今实践大学）教职退休，之后大部分时间都专于绘画，也举办了多次的回顾展。
1997年9月病逝于台中荣总，享年95岁。
