张伯驹后半生颇为坎坷。新中国成立后，他历任燕京大学国文系中国艺术史名誉导师、北京书法研究社副主席、第一届北京市政协委员和国有文物局鉴定委员会委员等职。

1956年，张伯驹将其30年所收藏的珍品，包括陆机的《平复贴》、杜牧的《张好好诗》、范仲淹的《道服赞》以及黄庭坚《草书》等8幅书法孤品，无偿捐给国家。这8件作品件件都是宋元以前的书画，至今仍是故宫博物院最顶尖的国宝。

《平复帖》是西晋大文人陆机手书真迹，距今已有1700年，比王羲之的手迹还早七八十年，是中国已见最古老的纸本法书，又是汉隶到草书间过渡阶段的佳作，被收藏界尊为“中华第一帖”。

让张伯驹想不到的是，第二年他却被打成右派。张柱堂说，这与康生有关。

当时，在中央主抓意识形态的康生也是一个书画爱好者。一天，康生造访张家，说自己也爱好收藏，提出想看看张伯驹的藏品，开开眼界。张伯驹拿出12幅藏品，康生看后赞不绝口。康生借口其妻也喜欢古字画，问能否拿回去借看3天。张伯驹同意，但是直到半年后，康生也没有归还。

后来，陈毅约张伯驹下棋时知道了此事，便在向周总理汇报工作之余谈及此事。周总理让邓颖超去康家，向康生夫人婉转谈起此事。当晚，康生就派人将古字画送回。

1957年，张伯驹被打成右派下放到吉林，任吉林省博物馆副研究员、副馆长。但文化大革命开始后，张伯驹又被打成“现行反革命”，关了8个月后又被勒令退职，发配吉林舒兰插队落户。舒兰县不愿接收两个没有劳动能力的老人，张伯驹夫妇只好无奈地回了北京。

1972年陈毅逝世后，和陈毅交情颇深的张伯驹写的90字挽联引起了参加追悼会的毛主席的注意。在毛主席的过问下，经周总理亲自办理，张伯驹才正式落户于北京，被中央文史馆聘为馆员。