蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　孔子少孤，不知其墓。殡于五父之衢。人之见之者，皆以为葬也。其慎也，盖殡也。

　　王汝南既除所生服，遂停墓所。兄子濟每來拜墓，略不過叔，叔亦不候。濟脫時過，止寒溫而已。後聊試問近事，答對甚有音辭，出濟意外，濟極惋愕。仍與語，轉造清微。濟先略無子侄之敬，既聞其言，不覺懍然，心形俱肅。遂留共語，彌日累夜。濟雖俊爽，自視缺然，乃喟然嘆曰：“家有名士，三十年而不知！”濟去，叔送至門。濟從騎有壹馬，絕難乘，少能騎者。濟聊問叔：“好騎乘不？”曰：“亦好爾。”濟又使騎難乘馬，叔姿形既妙，回策如縈，名騎無以過之。濟益嘆其難測，非復壹事。既還，渾問濟：“何以暫行累日？”濟曰：“始得壹叔。”渾問其故？濟具嘆述如此。渾曰：“何如我？”濟曰：“濟以上人。”武帝每見濟，輒以湛調之曰：“卿家癡叔死未？”濟常無以答。既而得叔，後武帝又問如前，濟曰：“臣叔不癡。”稱其實美。帝曰：“誰比？”濟曰：“山濤以下，魏舒以上。”於是顯名。年二十八，始宦。