九个小老婆都被送进了租界居住，财产现银也是该转移的转移，该储存的储存，还有相当一部分被深埋在了地下，然而吴老买办却断然拒绝了周腾虎等人让自己先到香港暂居的好心劝说，坚持要留在上海与吴军将士同守孤城。
“你们的镇南王是老夫的亲孙子，上海是他的辖地，老夫不留下来亲自给孙子守上海，谁还愿意卖命给老夫的孙子守上海？”
“危险？老夫当年跟着林文忠公一起守广州的时候，比现在危险十倍百倍！老夫当年都没怕过，难道现在老得快下土了，反倒要学那些没卵蛋的当逃兵？！”
这个理由和这段话帮吴老买办堵住了周腾虎和邓嗣源等人的嘴，也帮吴老买办说服了更多的富商巨户拿出更多的钱财捐献给上海吴军购买军需武器，招募辅军团练。然而带来的另一个后果却是孙媳妇周秀英也不肯带着吴念越去香港，坚持要和吴老买办一起留守上海，还用吴老买办的理由反过来问道：“爷爷，念越是超越唯一的儿子，我和他不留下来帮着守上海，还指望谁能卖命给超越守上海？”
还有极度亲昵吴老买办的小念越也坚持不走，一定要留在吴老买办身边。拗不过宝贝曾孙子和孙媳妇，又考虑到宁波已经是太平军的地盘，广州和福州等港口码头仍然还在东南清军残部的控制中，那怕是走海路也不够安全，吴老买办也只好是长叹了一声，道：“好吧，那就都留下吧，守得住上海当然最好，守不住我们就一起逃，逃不了的话，死也死在一起。”
一向迷信的吴老买办后来很是后悔自己在宝贝曾孙面前提到了死字，结果也不出预料的晦气，周腾虎好不容易带着上海吴军先后重挫太平军陆顺德部和谭绍光部，稍稍稳定住了一些局面，基本遏制住了太平军的攻势。杭州那边又马上传来噩耗，说是李秀成已经决定亲自率领江浙太平军来攻打上海，上海内外又是一片鸡飞狗跳的同时，吴老买办也忍不住悄悄在没人的地方抽了自己一记耳光，自责道：“都怪老夫这张乌鸦嘴。”
“呜哇！呜哇！呜哇！呜哇！”
又是一个晦气的日子，才刚收到李秀成大军已经从杭州出发向上海开拔的坏消息，十几只漆黑的乌鸦就不知道从什么地方飞来，吃错了药一样的在吴府后堂房顶上不停惨叫，被仆人赶也不走，飞上天打个转就又落下来继续叫嚷。
“呸！丧气星！”
正在后堂里和金安清议论军情的吴老买办本来就心情极度不爽，听到这晦气的声音难免更是觉得不吉利，干脆冲旁边的亲兵喝道：
…。。