此时，刘备正率领着一众部下暂居于此。当听闻这个噩耗后，他深知形势危急，毫不犹豫地决定率众部向南撤退，以避曹军锋芒。就在这支逃亡的队伍中，徐庶与诸葛亮并肩而行，两人一路筹谋应对之策。然而，命运却在此刻对他们开了一个残酷的玩笑。
曹操亲率大军追击而来，势如破竹。很快，他们便追上了刘备等人。混乱之中，徐庶的母亲不幸落入曹操之手。曹操此人阴险狡诈，深知徐庶之才，便将其母作为要挟的筹码，逼迫徐庶归顺于己。
得知母亲被俘，徐庶心急如焚，内心陷入了极度的痛苦与挣扎之中。一方面，他心怀壮志，本欲辅佐刘备成就一番惊天动地的伟业；另一方面，母亲的安危又让他心如刀绞，难以抉择。最终，经过一番激烈的思想斗争，徐庶无奈之下只得向刘备辞别。
那一天，风萧萧兮易水寒，壮士一去兮不复还。徐庶来到刘备面前，眼中满含泪水，指着自己的心口，深情地自陈道：“主公啊，我徐庶本一心想要助您成就大业，奈何如今母亲被曹操所擒，我的心中慌乱如麻，实在无法再全心全意地辅佐于您。为保母亲安全，我只能暂且辞别主公，请主公见谅！”言辞恳切，令人动容。
刘备听后，亦是感慨万千。他深知徐庶为人至孝，能够理解他此刻的艰难处境。尽管心中万分不舍，但还是大度地说道：“元直啊，你的一片孝心天地可鉴，我岂会阻拦？去吧，去尽你的孝道吧。只盼日后有缘，我们还能再度相聚。”说完，刘备亲自送徐庶离去，望着他渐行渐远的背影，久久不语。
就这样，徐庶怀着满腔的愧疚与无奈，投身于曹操麾下。而与此同时，诸葛亮则坚定地追随刘备继续踏上征程。此后，徐庶与石韬一同效力于曹操，虽身处敌营，但他们的故事却成为了那个动荡年代里一段令人唏嘘不已的传奇。
黄初年间，徐庶任右中郎将、御史中丞，石韬任郡守、典农校尉。
逝世
太和年间，诸葛亮率军北伐出陇右。他听说徐庶、石韬官职都不太高，感叹魏国的有识之士实在太多，连徐庶和石韬那样的两个人才居然都不能得到重用。
人物评价
诸葛亮在做丞相时训诫下属，提到徐庶：只有徐庶做事能够做到反复审核不会产生疑问。还有董和在参署七年，凡事不能决定，必反复审核十次才来告诉。如果各位能做到徐庶的十分之一，董和的勤勉，都尽忠于国事，那么我诸葛亮就可以少些过错了。又说：我后来结交徐庶，常常得到他的开导和教诲。
宋代王质《八声甘州·读诸葛武侯传》：世上如果没有徐庶，那么就一定没有庞统，英雄都被埋没。
清代王夫之《周易外传》：徐庶选择出世，不如庞统选择隐逸。
人物轶事
一言不发
与徐庶有关的歇后语“徐庶进曹营，一言不发”，出自于《三国演义》。徐庶受设计被骗到曹营后，曹操将大军分作八路，攻打樊城。刘晔建议曹操派出与刘备关系亲厚的徐庶前去樊城劝降刘备。到了樊城，徐庶与刘备、诸葛亮等人一诉旧情，并将曹操即将率兵攻打樊城的事告知刘备等人。刘备想要劝徐庶留下，徐庶说自己虽然身在曹营，但是不会为他们做任何谋划。而且刘备身边现在已有诸葛亮，不必担心大业不成。于是刘备没有再强留徐庶。徐庶回到曹营，向曹操报告刘备没有投降的意愿。曹操大怒，即日进兵攻打樊城。
小主，
身在曹营心在汉
有一种观点认为，“身在曹营心在汉”是出自于徐庶的典故。《三国演义》中写到，刘备在新野时，徐庶化名单福，投效于刘备，拜为军师。徐庶出谋划策，计取樊城。不久曹操手下谋士程昱识破了徐庶的身份，称徐庶之才十倍于己。曹操欲将徐庶收归帐下，取来徐庶老母，用伪书赚徐庶来投。徐庶临走前向刘备推荐了诸葛亮，并立誓在曹营"终身不设一谋"。在《三国演义》第四十七回中，徐庶说：“吾感刘皇叔厚恩，未尝忘报。曹操逼死吾母，吾已说过终身不设一谋…… 君当教我脱身之术，我即缄口远避矣。”于是有了人们常说的另一句熟语："徐庶进曹营，一言不发"。而徐庶是实践了诺言的。
隐居仙岛
据《胡氏家书》记载，灵山东北海上有一个叫鼓子洋的地方。岛上有一种白色的耐冬花，大到需要双手拱抱。有好事的人坐船过海到了那里，遇见一个老人驾着小舟到来，穿着芒草鞋和道袍，样貌看起来十分年老。老人问：“年轻人要到哪里去？”这人说是来采耐冬的。老人呵斥他道：“这不是世间的俗物，它可以使人捱过冬天的严寒。”又说：“即墨有个道学先生，叫胡峄阳，为我问候一下他。”话说完，人已经不见了。这个人很惊疑，于是回到船上。突然吹起大风，直到他把采集的耐冬花都扔掉之后，风才归于平静。后来这人来到即墨，一打听，还真有个胡峄[yì]阳，于是把这件事原原本本地说了出来。胡峄阳听后怅然地说：“这人是三国时期的徐庶，他已经在鼓子洋隐居很久了。”
徐庶故里”，又称“徐庶庙”“徐公祠”。坐落在湖北省南漳县城东北角。“徐庶故里”于1992年10月被湖北省人民政府公布为湖北省重点文物保护单位。始建于清嘉庆元年（公元1796年），原名“单公祠”。清同治四年版《南漳县志》将徐庶列入县志，并“按：南漳小东门外有单家庄，相传为单福隐居处，嘉庆元年翼长富廉倡修单公祠。”清嘉庆十七年（公元1812年），南漳守备任海重新修立“汉徐庶故里”碑。清同治四年（公元1865年），南漳知县沈兆元将其重修并更名为“徐公祠”。此后，由于年久失修，原三进院落只剩二进。公元1986年，南漳县人民政府拨款重修，现已免费对外开放。”徐庶故里”外为一座大牌坊，建筑具有汉代风格，内有徐庶造像、徐庶碑刻铭文、门楹联等。