徐平羽担任南京博物院院长期间，十分关心文物征集工作，往往利用地利、人和之便为南京博物院征集了若干书画精品。譬如，刘海粟(1896-1994)所藏龚贤力作《岳阳楼图》大幅，经吴湖帆、张大千等过目推崇备至，经鉴赏家徐森玉（1881-1971）斡旋、洽商，刘海粟将之捐赠南京博物院收藏。20世纪20年代末，徐平羽在上海大夏大学读书期间，结识了寓居上海的江苏高邮人、著名书法鉴赏家、古钱收藏家宣哲（1866—1942），开始与艺术品鉴藏结缘。据介绍，徐平羽正式用薪金购买书画始自1946年，时任苏皖边区政府交际处处长。从那时起至1966年“文革”的二十年间，他征得夫人林琳的同意，以自己的全部收入投入书画收藏，生活开支则全靠夫人的薪金，甚至将夫人过年为儿子做衣服的布票买布做了画套，痴迷程度可见一斑。对他来说，书画鉴藏是无比快乐的。所以，有人就感慨，徐平羽的一生，集革命、文艺、鉴藏于一体，富有传奇色彩。

徐平羽的书斋名为“玉莲斋”，又名“清箱书屋”，收藏了许多明清书画精品，诸如吴门的祝允明、文徵明、唐寅、徐渭、董其昌、陈洪绶和清初四僧、王原祁等人力作。或许出于乡情的观念，徐平羽特别关注“扬州八怪”书画鉴藏，举凡金农、郑燮、李鱓、李方膺、黄慎、汪士慎、高凤翰、罗聘、华嵒、边寿民等，他多有收藏，这或多或少标示着他的审美取向。2007年、2010年，北京荣宝艺术品拍卖公司先后推出两期“玉莲斋”藏画专场，取得了不错的佳绩。

正因与书画鉴藏的不解之缘，徐平羽长期身居文化界，与当代文化名流、书画名家结下深厚友谊，如黄宾虹（1865-1955）、贺天健（1891-1977）、吴湖帆（1894—1968）、傅抱石（1904-1965）、吴作人（1908-1997）、谢稚柳（1910-1997）等人，并藏有大量的名家作品。大概由于他从事文化领域工作的关系，其很多藏品往往都题有他的上款。

徐平羽与傅抱石结识当在1950年春天。当时，他已调往上海，任职于华东军政委员会，但他仍兼任南京博物院院长，并托付副院长曾昭燏（1909-1964）全权处理院内业务。在交往中，傅抱石拣选旧作《江干秋游图》赠予徐平羽，题识：乙酉重庆所写。平羽先生惠赏。即乞教正。庚寅暮春白下记，傅抱石；并小心翼翼地钤印：白文方印“抱石私印”、朱文方印“踪迹大化”。徐平羽得此馈赠，十分喜爱，题签：傅抱石山水。一九五零年，时在南京。平羽识。