徐伟出生于京城宣南，其先辈为梨园名家，喜以书翰自娱，并与书界名流交往甚厚；受家庭影响，徐伟自幼迷恋戏曲并对书法产生了浓厚兴趣。宣南地区自清代以来即人才荟萃，少长贤集，大批的诗人、学者、政治家、艺术家均居住于此。