桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　王丞相雲：“頃下論以我比安期、千裏。亦推此二人。唯共推太尉，此君特秀。”

　　顧長康畫裴叔則，頰上益三毛。人問其故？顧曰：“裴楷俊朗有識具，正此是其識具。”看畫者尋之，定覺益三毛如有神明，殊勝未安時。