西门亭长和亭卒们隔了数日，又到吕公府上去摧缴款项。
吕公见了他们，仍然一见如故，客客气气的迎接他们到屋子里坐下，说自己正想抽空将钱送去县衙，亲自交给李归虚县尉，不想又麻烦了西门亭的众人跑了一趟。
亭卒对吕公说，不用麻烦吕公去县衙了，他们既然上了门来，将钱给他们就是了。
吕公不依，仍然坚持自己送到县衙去，并客客气气的叫吕媭摆弄了酒菜，请他们吃酒。
西门的亭卒们推辞不吃，吕公道：“大家放下心来就是了，大家的辛苦费用，我老朽自然不会少了你们去。”
又叫吕媭去里屋，将了几个钱袋子出来，每个人赠了一袋，估摸也是两三百钱的样子，都是欢欢喜喜的收藏好了，又喝了一回酒。
李归虚问他们去吕公处收的钱如何。
他的叔伯兄弟道：“那吕文乃是个无赖之徒，今日我们去了，又是一分钱不给，还把刘季搬出来压制我们，说什么我们还要去，他必须叫刘季将哥哥你告到郡守那里去，要与哥哥你争执一番。”
李归虚冷笑道：“告到郡守那里去，我害怕他怎的？就是告到郡尉那里，也不过是脱裤子放屁，多此一举，他不明白，这加收钱款之事，乃是经过郡尉同意了，我们才去执行的道理。”
“今个我亲自去，看他还将刘季来压我，我不把刘季那厮的亭长撤了有鬼。”
他的叔伯兄弟道：“这件事就不劳烦哥哥你了，一个县尉亲自去催款，好像降低了身份，今日晚了，待明日，兄弟我又叫亭里的兄弟一道去了，看吕文如何说来，如是给了则罢了，若是不给时，哥哥你在亲自去，哥哥看如何？”李归虚只好着罢。
次日，李归虚的叔伯兄弟又叫亭卒同去吕公处，其中一位亭卒道：“我们已去了两次，每一次都拿他好处，加起来，也有五六百钱了，这个数目不小，吃人家的嘴软，叫我们如何开口，拿人家的手短，又怎么再伸手？难道厚着脸皮把他绑去县衙？”
其他人也纷纷迎合他的话，李归虚的叔伯兄弟也只好罢了。
过了半个月，李归虚又问到吕公缴纳款项的事情，他的叔伯兄弟故意跺脚道：“那吕文也是端的可恶，今天去催，说明日送到县衙，明日去催，又说后日送到县衙，这些天来，让西门亭的兄弟跑去跑来，累折了腿，看来，还是要哥哥你亲自出马方可。”
于是，李归虚腰间挎了刀子，叫上衙役三人，伙同西门亭兵卒六人，气势汹汹的去了吕公的石屋。
途中，西门亭亭卒和他的叔伯兄弟总是脚步拖拉，不想朝前，一任他和衙役在前面走，问道：“我看你们个个神情慌张，好像要拉你们去杀头的样子，难道吕文家藏有那杀人不眨眼的强盗？就是有强盗，不是正合众人的心意吗？之前王安在那厮做亭长时，一有盗贼之事，你们一个个争抢上前，害怕落了一步，让人抢了功劳，这时候怎么如此拖拖拉拉起来？”
其实众人害怕李归虚知道他们收了两次吕公钱款之事，倒希望此时李归虚前去，刚好吕公不在家最好。
这事能摧则摧，不能摧时，上门还有钱拿，何乐而不为？
不巧得很，李归虚一肚子火，带着这些人到了吕公的屋子外面，雷了半天门，一点动静也没有，吕公一家不知何处去了。
又到屋子周围看了看，见吕公的菜地里一个人的影子也没有，而且菜地里杂草丛生，好像许久没有人打理了。
李归虚道：“那时候我来过此地，见吕文的菜地收拾得井井有条，白菜萝卜一样一样的，长得好是茂盛，今日看来，这菜地好似一年半载没有人打理，他一家难道平日里不吃菜，光是吃肉？”
又返回到大门处，雷了一阵子门，“咚咚”着响，好久还是没有人来开门，李归虚不死心，又在大门外叫了一阵，还是没有人来开门。
一个衙役过来道：“吕公家的小门已上了锁，而且那锁已是锈迹斑斑，好像多久没有人出入了一样。我见那小门上挂了一张兽皮做的信笺，上面写了些字，小人不认识，特将了来，给县尉大人你看看。”
李归虚接过兽皮信笺，只见上面写道：
“吕文一家出游，有到访的客人请自回，待冬日吕文回家再邀相见。一切事务，皆交赵家里管家赵桂余打理，有事请到赵家里与赵桂余交涉。”
李归虚脸色铁青，抖着兽皮信笺对他的叔伯兄弟道：“你们果然来过这里了？”
这西门一伙人正巴不得李归虚不要见吕公的面，好隐藏他们拿了好处之事，这时候见吕公屋子里里外外没人，正在高兴，又见有那么一张信笺说吕公一家不在家，虽是疑惑，却是喜上加喜。
只是忙不迭的道：“我们早知道吕文不在家，又害怕县尉你着急，因此说吕文不肯缴纳钱款，好让你不要焦躁，不想县尉你一定要亲自上门，也不好阻拦，便随你来了，小人们都罪该万死！”
李归虚火冒三丈，带着众人急匆匆的去了赵家里，找到吕公的管家赵桂余，那赵桂余诚惶诚恐的说了。
吕公一家出门已有月余，说是冬天下雪时才能回来。平日里因为吕公一家不在，那府上也没有什么事，赵桂余只是吩咐下人们数日去打扫一次。
每天赵桂余忙完了自家的事，到了晚间，才去石屋里守夜，天亮便又回赵家里了。
因吕公一家出门太久，那些菜地也荒废在那，鸡鸭猪狗也折卖了，平常如果有邀请的酒宴，或者附近有的婚丧嫁娶，吕公留下一点钱，叫赵桂余拿去应付。
赵桂余道：“不知大人你找吕公什么事？”
李归虚将“避难费”一事说了。
管家说，之前吕公和县令要好，每年都有礼送到县令家里，避难费，也包含在礼单里了。
自因为娥姁之事，吕公与县令疏远之后，礼也不送了，避难费也就不缴纳，也不见有衙役上门来收，故而把这事疏忽了，等吕公回来后，赵桂余与他说了，他自然送上县衙里来。
又说，自己虽是吕公的管家，吕公的钱库，却非赵桂余掌管，平常的吃穿用度，都是吕公拿出钱，叫赵桂余去打点，却拿不出钱来充缴避难款。
赵桂余的一番话虽让李归虚觉得不是滋味，却惊倒了西门的亭卒们。
吕公既然不在家已是月余，那么之前他们见的吕公难道不是人？
酒喝了，饭吃了，去过吕公的石屋子几次，就当是做梦了，可是，吕公送给他们每个人五六百的钱数，扎扎实实的压在箱底下，难道那个钱不是钱吗？