赵行德本人或有不知，以东人社为主导，洛阳的儒生抱成了一个集团，党同伐异，作风与关东的清流无异。
刘歆在学士府标新立异，讲人欲为进化之本源，人伦当天理之上，与赵氏“以德配天”
之说背道而驰。
东人社诸生斥之为“禽兽之道”
，两边相互辩驳了几次，东人社人多势众，刘歆这边势单力薄，但谁也不能折服对方。
刘歆回到府中，几个亲厚的弟子都已在花厅等候。
田禄见刘歆回来，忙上前见礼，而后道：“恩师，关东的局势尚且不稳，洛阳小人为难，我们向长安申诉便是，您何必离去呢？”
他才知道刘歆被迫要离开洛阳的消息。
自从刘歆纠缠李若雪以来，就有人给洛阳学士府施加压力，要学士府警告刘歆不得造次，另有士人以“伤风败俗”
为名，向学士府情愿，请求禁止刘歆在洛阳讲学，这两件事叠加在一起，再加上学士府处置失当，令刘歆颇为不平，一气之下，便做出了退出洛阳学士府，前往江南讲学的决定。
“不必再劝了，”刘歆心情黯淡，摇头道，“天下之大，何处不去不得。”
