簡文作相王時，與謝公共詣桓宣武。王珣先在內，桓語王：“卿嘗欲見相王，可住帳裏。”二客既去，桓謂王曰：“定何如？”王曰：“相王作輔，自然湛若神君，公亦萬夫之望。不然，仆射何得自沒？”

　　古者天子后立六宫、三夫人、九嫔、二十七世妇、八十一御妻，以听天下之内治，以明章妇顺；故天下内和而家理。天子立六官、三公、九卿、二十七大夫、八十一元士，以听天下之外治，以明章天下之男教；故外和而国治。故曰：天子听男教，后听女顺；天子理阳道，后治阴德；天子听外治，后听内职。教顺成俗，外内和顺，国家理治，此之谓盛德。

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。