潘祖荫也是知名的金石收藏和鉴定家，图书金石收藏闻名南北。著有《滂喜斋丛书》、《攀古楼彝器款识》等。他的墓在今日吴县东跨塘桥东南茭白荡（今属木渎），遗留下来的大批文物原先是由潘祖年秘密赴京押运回故乡的，存放在苏州南石子街的潘家旧宅中。这批文物数量之巨实属罕见，除了一大间屋的青铜器，另有一大间专放古籍版本和字画卷轴。在潘承镜死后第二年，潘祖年也去世，刚过门不久的潘达于就挑起了掌管门户、守护宝藏的重任，直到今日。
吴县的人一向景仰潘家数代以来的官声，尤其是潘祖荫。他好学、有才、干练，而且勤于任事。但是有一桩影响大清朝国运至巨的案子，他没能一肩膀挑起来，实属可惜——这案子非但成为他一生宦绩的污点，也着实关系着满清王朝倾覆灭裂之关键。
满清入关以来，一向极为崇尚法治，这当然有其异族入主者在统治地位上的动机——不出之以霹雳手段，不能长久威慑万姓耳。崇尚法治成为一种施政的精神、肌理，自然有正面的意义。这种精神一旦遭到破坏，对于掌握权力的人来说，实在大开方便之门；对于没有权力可资运用的人来说，便是彻底斫丧公是公非的刀斧。