1917年10月20日生于巴黎，原名Grunbach，因喜爱《白鲸》的著名作家而改名。年轻时从事过多种职业，二战时从军，曾在英国作战，1945年10月退役。因为从小喜爱电影，退役后就在当年十一月创立梅尔为而独立制片公司，从1946年起开始执导短片。47年时，以六百万法郎最低的制作费用，改编投拍著名小说《海的沉默》，自任导演。当时他这种忽视法国影坛传统的制片方式很受瞩目，特别受到诗人谷克多的赏识，因而提供1700万法郎，请梅尔维尔指导自己的小说《可怕的孩子们》。结果大为轰动，而被誉为战后法国影坛最有才华的新人。两部影片的成功，使得他的这种运用低成本制作费用，摆脱法国旧传统的束缚，坚持独立自由的制片方式成了60年代前后出现的特吕弗等青年导演竞相学习的目标。同时，他影片中蕴含着一贯的个人风格，也开启了新浪潮运动的电影观念和摄制手法。所以梅尔维尔被电影史家视为新浪潮电影运动间接的先驱者，有“新浪潮之父”的美誉。不论早期还是晚期作品，他电影的特殊手法正是新浪潮推崇的作者论方式和独立作业方式，即编、导、剪接一体化。同时，也在电影拍摄技法和导演思路上具有前后一致的作者意识。
真正使他确立自己风格的影片是警匪片，主要作品中60年代有《告密者》和《第二口气》、后期的《午后七点七分》（冷面杀手）、《仁义》、《大黎明》更是集大成者，显示了他警匪片中独树一帜的大师风貌。在这些代表作品中，可以看出，他受到美国电影和日本电影（或文化）的影响。他影片的主题和情节结构更多是从美国警匪和黑社会电影中吸取营养；而片中人物外部造型和内心的性格，却大有日本武士电影的风貌。
在最后三部作品中，放下主题不谈，最显著的特点是：第一：气氛肃杀而冷峻，多用冷调光线处理影像；第二是对白少而精炼。他可以说是法国导演中最能发挥影像功能的，他所擅长的是一种同意韵律和特殊气氛的酝酿和塑造。适当的场面调度，配合精确的剪接，以此塑造特殊的影像风格，对白减到最少，纯以影像来说明一切。尤其《仁义》一片中从开始到结束，几乎没有几句对白，充分发挥了有声电影的静默效果，尤其阿兰德龙洗劫珠宝库一场戏前后二十分钟之久，完全没有对白和声音，但气氛之冷峻，韵律之流畅，诚为历来警匪片所没有的大手笔。
此外，他的作品精神中，被关的孤独武士，刻画男性友谊传神入木，可以说是香港黑社会英雄片的前辈。香港导演如吴宇森等人就极为推崇他，并曾经推荐出版他的作品《冷面杀手》。
1973年9月2日，梅尔维尔因心脏病去世。
如他生前說過的話，”成為不朽，然後死去。“