1909年出生于中国广东，1929年进入国立杭州艺专，跟随林风眠老师学画。因在学成绩表现优越，于1932年随即转往法国留学，进入巴黎国立高等美术学院，并先后于当地画室习画。1935年返国后，先后于国立重庆师范学校，国立艺专及中央美术学校任教。1980年起曾于杭州、广州、南京、昆明等地举行个展，并由上海人民美术社出版《胡善余油画选》，于1933年上海美术馆特别为其举行大型回顾展，广获好评。胡氏作品并广泛为大型机构及私人收藏家珍藏。