生于四川，少年时就读上海美术学校，1919年至日本留学，1921年转赴法国留学，成为中国最早期的留法学生之一，之后留居巴黎。1925年起，其作品屡见于巴黎的沙龙美展及各大画廊。二次大战前曾回到中国，后转至纽约生活两年。1948年，纽约现代美术馆替他举办个展。在其1966年于巴黎逝世后，台北国立历史博物馆曾分别于1978、1984、1990年共举办三次他的回顾展，2001年常玉百岁冥诞时，历史博物馆又展出常玉百岁纪念大展，2004年6月巴黎国立居美东方美术馆举办常玉回顾展，展出60余件作品。足见其作为海外华人艺术家在中国画坛的重要性。主要收藏机构有：台北国立历史博物馆、中国美术馆等。