元代画家黄公望，曾因贪腐之罪锒铛入狱，五十岁出狱后做了道士，日日摆摊占卜，以此谋生。黄公望七十九岁时开始为无用法师绘《富春山居图》，用了多少时间才成此画，目前尚无定论，有人说十年，也有人说七年，还有人说三四年。有一件趣事可以肯定，黄公望在山里画此画时，他无论云游山野，还是为了生计归于市井生活，他都把尚未完成的画放在无用法师的修身之地，每次再来创作时，他把云游所见和感悟付诸画中。此画不是一挥而就，而是呕心沥血的恢宏之作，潜藏着天长日久的良苦用心。然而，以算命为生的大画家黄公望，把此画题字给无用法师珍藏时，分文未取，表现出他的不凡气度，与画中秀润淡雅风貌所展示出来的精神气节相得益彰。

无用法师死后，他的后代将画变卖获利颇丰。到了明代，此画声名显赫，先后被多位大画家收藏。

书画家沈周得到此画后，爱不释手，可是当他请朋友题跋时，画被朋友儿子窃取后偷偷卖掉。当沈周在画摊上再见到此画时兴奋异常，待回家筹钱返回购买时，画已经被人买走了。沈周为此捶胸顿足，放声大哭。沈周凭借着记忆，临摹了一幅《富春山居图》，借以慰藉沮丧的情绪。

此画明代藏者吴洪裕，临终前嘱家人当面将画焚烧殉葬，而其侄吴静庵趁他弥留之际，于火中抢过画的残卷，又往火中投入了另外一幅画，用偷梁换柱的办法，救出了《富春山居图》。画虽然被救下来了，却在中间烧出几个连珠洞，断为一大一小两段，此画起首一段已烧去，幸存之画，一分为二，也是火痕斑斑了。1652年，吴家子弟吴寄谷将损卷烧焦部分细心揭下，重新接拼后居然正好有一山一水一丘一壑之景，几乎看不出是经剪裁后拼接而成的。于是，人们就把这一部分称做《剩山图》。而保留原画主体内容的另外一段，在装裱时为掩盖火烧痕迹，特意将原本位于画尾的董其昌题跋切割下来放在画首。此画从此被分割成《剩山图》和《无用师卷》。

董其昌见了此画时惊呼：“吾师乎！吾师乎！一丘五岳，都具是矣！”他称赞说：“子久（黄公望，字子久）画冠元四家……如富春山卷，其神韵超逸，体备众法，脱化浑融，不落畦径。”经他极力倡导，还有清初“四王”（王时敏、王鉴、王原祁和王翚）的努力耕耘，黄公望的画风终于风靡清代将近三百年之久。后人怪罪“四王”将艺术创作“符号化”，并怪罪起六百年前的黄公望，这正是大半辈子以算卜为生的黄公望怎么也预算不到的。

乾隆曾得一幅《富春山居图》，为此爱不释手，但隔年又得一幅《富春山居图》，前者称《子明卷》是后人伪造，后者是《无用师卷》，才是黄公望的真迹。可是乾隆却认定《子明卷》为真，并在假画上加盖玉玺，并与大臣们在留白处赋诗题词……直到1816年胡敬等人奉敕编纂《石渠宝笈》三编时，《无用师卷》才得以正名，被编列书中。

目前，《剩山图》藏于浙江省博物馆，《无用师卷》藏于台北故宫博物院。2011年6月1日，《剩山图》在台北故宫博物院与《无用师卷》合展。国宝分分合合六百多年，在它珠联璧合之时，有艺术家热泪盈眶地说：富春山居多忧喜，国宝无价情无涯。