蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　韓康伯母殷，隨孫繪之之衡陽，於闔廬洲中逢桓南郡。卞鞠是其外孫，時來問訊。謂鞠曰：“我不死，見此豎二世作賊！”在衡陽數年，繪之遇桓景真之難也，殷撫屍哭曰：“汝父昔罷豫章，徵書朝至夕發。汝去郡邑數年，為物不得動，遂及於難，夫復何言？”

　　孔車騎少有嘉遁意，年四十余，始應安東命。未仕宦時，常獨寢，歌吹自箴誨，自稱孔郎，遊散名山。百姓謂有道術，為生立廟。今猶有孔郎廟。