树倒不一定猢狲散，常有猢狲继续依附旧树上还活着的粗壮树干，或者一股脑寻一棵新树。吕洞宾的岳父在朝堂多有同流，亲近的同辈、晚辈、后辈下属不少，但很遗憾，“旧树”死后，大部分“猢狲”立刻转头“新树”，而吕洞宾本身由于在其岳父那一派不是“粗壮树干”，所以哪怕是念旧的“猢狲”也不追随他。与之相应，无论是“旧树猢狲”，还是“新树猢狲”，为了表明与过去斩断联系的态度，都极力攻击吕洞宾，把对付他当做纳投名状。
与此同时，吕洞宾以前得罪不少达官贵人，他们落井下石，趁机围杀，年纪轻轻、没有背景的吕洞宾自然官运波折，坎坷艰难。而最可怕的是不久之后，对吕洞宾有知遇之恩的老皇帝驾崩，新皇登基，新帝很不喜欢民间声名几乎盖过朝廷的吕洞宾，于是处处为难，时时打压，让吕洞宾的处境雪上加霜。
考取状元后第七年，吕洞宾被调到第一次履职的州府，百姓们大喜，沿路迎接，敲锣打鼓，好似过节。同年，当地发生水灾，洪峰冲破河堤，摧毁万民家园，吕洞宾立刻向朝廷和邻近州府请求调粮赈灾，朝廷和邻近州府大张旗鼓地宣布调集大量粮食，但运输时却肆意拖延，导致满心等待救助的灾民大量饿死。
饥荒发生事后，某些官吏派人散布谣言，称吕洞宾故意怠慢救灾，阻碍放粮，为的是出售自家的米面。吕洞宾自然是强烈否认污蔑，向百姓表示一定派人查证谣言源头，结果查来查去，竟然真的查到了他自己的头上，或者说是他亲戚的头上。原来不知何时，吕洞宾的同族亲戚偷偷搞了个规模不小的粮食铺，控制多个州府粮运，笼财无数，尤其是这次水患，粮食铺囤积买卖，敛财极巨。
人证物证俱在，铁证如山，即便吕洞宾没有参与犯罪，但名声尽毁，百姓都认为他是个贪官污吏，害死了大量民众。吕洞宾百口莫辩，自知跳进黄河洗不清，所以只得默默承受谩骂，但心中暗暗下决心，一定要把此次赈灾之案的犯人一一处置，告慰无辜死难者在天之灵。可是，事实再次与吕洞宾的想法背道而驰，赈灾案发生后，朝廷进行了一次声势浩大的调查，引起全国民众的关注，但最后的判决却极其轻率，除了斩杀几个运粮官之外，其他人等都只是受到特别轻的惩罚，特别是吕氏族人，几乎没有损伤。
虎头蛇尾的处罚顿时引起民众怒火，百姓皆认为这其中有徇私舞弊，而主审官员也特意往这个方向上引导，话里话外提到吕洞宾，于是民众们很快把矛头指向曾经誉满全国的好官，恨不得千刀万剐了他。而面对漫天责难的吕洞宾连辩解的能力都没有，此案涉及吕氏，他需要避嫌，根本就没能力影响什么，也根本不了解任何内幕情况。
最后，大公无私的吕洞宾实在是没办法，只能亲自向皇帝申请重罚吕氏涉案人员。皇帝允诺，命人重新审判，却哪知主审官员态度倒转，由“从新发落”变为“顶格处理”，不但杀了涉案吕氏人员，还牵出其他无辜子弟，流放的流放，关押的关押，连吕洞宾父母都挨了刑罚，吕氏一族惨不忍睹。吕洞宾闻听父母和家族的遭遇，悲痛欲绝，心如刀绞，却一句话也不敢说，既知道没用，也生怕百姓再认为他徇私枉法，但因此，吕氏宗族恨吕洞宾入骨，曾经光耀门楣的吕洞宾差点被逐出宗籍。
经此一事，吕洞宾身败名裂，可官位没有降低，反而升了一些。之后几年，吕洞宾调职去边境之地，他有心重新振作，继续为国为民办事，可没过多久他却又出了麻烦。
时年北方异族培育了最优良的骏马，膘肥体壮，筋骨结实，品相和能力皆是上等，吕洞宾有心得到异族骏马改良本国马匹，于是假扮成普通商人，深入异族国度深处，经历千难万险，渡过惊心动魄的种种劫难，最终用大量财物顺利购买了几匹珍贵马种。这种事按理说是利国利民，可待吕洞宾回来时却被安上了投敌卖国的罪名，他最信任的几个下属官员联合指证，吕洞宾目瞪口呆，万万想不到平时对自己最尊敬的人会害他。
通敌大案震惊全国，万民群情激奋，齐声声讨“国贼”，虽然皇帝经过调查，认定吕洞宾没有卖国，但为了安抚民众，也“不得不”贬黜吕洞宾，以行事程序不周密的理由处罚他。吕洞宾有万千委屈在心，但无法诉说，只能忍耐。
再之后的一些年，吕洞宾官运起伏不定，时而高升，时而遭贬，足迹遍布全国各地，做出了一些成绩，却因为恶官凶吏嫉恨陷害，名声越来越差，几乎到了人人喊打的地步，受蒙蔽的百姓甚至把他当做凶神恶煞用来吓唬不听话的孩子。对于众人的斥骂，吕洞宾仍旧只能忍耐，没有任何办法，因心中苦闷，人至中年便是满头白发，容貌沧桑，哪还有当年得中状元时的风华。
唯一让吕洞宾欣慰的大概只有妻子，自为官出仕，吕妻便勤勤恳恳照顾家庭，默默支持丈夫，哪怕遭到万民痛骂，受百姓鄙夷愤恨，吕妻也没有任何怨言，反而常常宽慰丈夫，称得上贤良淑德。可就是这么好的女人，却命寿不长，没能陪丈夫白头偕老就撒手人寰，妻子逝去那天，吕洞宾悲愤哭嚎，哀痛无比，几乎哭死过去，却也难唤回发妻性命。
妻子死后，吕洞宾心灰意冷，再没有忧国忧民的壮志，每日浑浑噩噩，迷迷糊糊，根本不在乎朝廷事务，虽算不上恶官，但也是庸庸碌碌的无用之徒。期间，吕洞宾曾把希望放在儿子身上，希望儿子能继承自己的志向，做个国之栋梁，可惜他那个少时聪慧的儿子越长大越没用，既没有灵气，也没有才气，文章粗鄙，武功浅薄，庸人一个，而且忤逆无礼，六亲不认，畜生不如——吕洞宾彻底绝望。
随后又是多年，混迹于世的吕洞宾年岁越来越大，父母先后离世，年轻时极其孝顺的吕洞宾却没有太多伤感，平静地送走生养双亲。
再之后几年，吕洞宾的儿子出入风月之地，与人争风吃醋被打死，儿媳愤恨恼怒，当场把孤苦伶仃、罢官养老的吕洞宾赶出家门，吕洞宾一个人沿街乞讨，最终在一个凄冷的冬天被冻死在无人的角落……