屏住堡垒街，杜维垣、维新住在渣华街，二小姐杜美霞嫁给了金元吉，她是金公馆四少奶，金廷荪由上海带出来的一大家人，也住在渣华街上。
方抵香港的杜月笙，由于精神体力的关系，加以当时环境之所限，心情之萧索，早已失却创办事业，养家活口，作长期打算的壮志雄心，这么一大家人的生活所需以及他自己每月恒在港币两万以上的庞大医药费用？需费若干？究从何出？据姚玉兰、杜美如等回忆，光祇坚尼地台一处，一月开销至少也得港币六万之数，有时候，姚玉兰还得目掏腰包贴一票蚕丝蚀了十万
杜月笙带一大家人到香港，他打的是什么算盘？无他，「坐吃山空」，用光为止，说来也是可哀，这位当代名人，挥金如土的上海大亨杜月笙，三十八年离开上海的时候，他一总祇有两笔财产，其中之一，是美金十万，当年曾因预储子女教育费的关系，交给了好友宋子良，请他带到美国代营「生意」。另一笔，约有美金三十万之谱，那是出卖杜美路那幢渠渠华厦之所得，幸亏有杨管北的一句话，方始提出预存于香港，留下来作为杜月笙走完人生最后旅程的使费。
早在民国三十六、七年间，杜月笙卽已有意卖掉那幢自家一直不曾住过，而系金三哥用大运公司卖航空奖券的盈余，为他所建造的杜美路大楼，起先准备卖给中纺公司，中纺出价美金三十万。后来，因为，杜维垣认得一位美国朋友，经他介绍，杜美路大厦终以美金四十五万元的较合理想价钱，卖给了美国驻华大使馆。
四十五万美金在上海花去了一小部份，剩下养家活口带保命的最后本钱，杜月笙时运不济，他自作主张去做一笔大生意，结果是一票蚀了美金十万左右，使得他大受刺激，病体由而日趋沉重。
说起来到是热心朋友，好意帮忙，想给杜月笙在一进一出之间赚一大票钱，这位朋友是四川人，他经常来往重庆、成都与香港，据他所知，四川是年蚕丝产量特丰，茧价本低，又碰上了时局关系，因而一跌再跌，已经跌到成本之内，低到无可再低。这位四川朋友早已决定斥集巨资，大事搜购，并且他已接洽好了中航公司的飞机，代为运港，这批丝茧运到香港以后，卽令比市价再低的话，也可以有十倍八倍的利息。
杜月笙一听，这岂不是千载难逢的良机，朋友极靠得住，生意更是十拿九稳，加十万美金股子进去，也许便在数日之间，就可以赚个三五十万，有这种好生意不做，更待何时？
当杜月笙满怀希望，欣然加入的特候，四川朋友告诉他，大部份的蚕丝都已经收购好了，货色集中在成都，祇等中航公司的飞机开始履行合约，拨机逐批运港。那时候，犯川共军纔祇攻下了巴东，川边吃紧，成都、重庆，一概安如盘石，共军跑得再快，也不可能猛一下便威胁到成都，因此，杜月笙交付过股款以后，便笃定泰山的等看赚钞票。
万万料想不到，蚕丝方待启运，十一月十日一早翻开报纸一看中国航空公司与中央航空公司的负责人，腼颜事敌，带了十二架飞机，一道飞往北平，两航投共，使全国各线空运全部中断，那是当时令人极为震撼的一条重大新闻。这一条重大新闻，对于杜月笙和他的四川朋友，乃至于及后参加的顾嘉棠，震撼的程度尤足惊人，两航叛变，航线中断，运丝的合同无人负责，大批的丝堆在成都运不出来，一时又找不到其它的交通工具可资利用，这一个打击对于当时的杜月笙来说未免太大，四川朋友几几乎为之破产，顾嘉棠的一家一当全蚀光，杜月笙则也损失了美金十万的巨款。
杜月笙急得喘疾又发，在香港时杜月笙治喘，照样是中西并重，药石兼投，经常来为他把脉开方子的医生，中医有四位，西医则三名，这七位医师俱非碌碌之辈，在香港可谓个个都有名望。三位西医是戚寿南、吴必彰与梁宝鉴，四位中医厥为苏州沧浪亭主人、名画家、名医师吴子深，还有旅港名医丁济万、陈存仁，杜月笙的门人，妇科圣手朱鹤皋。由于中西药石兼投，医生一多，意见难免分歧，究竟该用谁的医法，该吃那位的药，家人不敢做主，唯有杜月笙自己决定，因此之故，「久病成良医」的说法应了验，杜月笙反而变成他自己的主治医师了。加以亲眷朋友，来往探疾者数不在少，人人对他表示关怀，贴心，今天张三介
绍一位医师，明日李四贡献一个偏方，弄得杜月笙医生越请越伙，用药越来越杂，几个月下来的结果，他曾自嘲的说：
「如今我是拿药当饭吃，拿饭当药吃了！」
杜月笙本人无法拿出定见，决定祗请那一位医师主治，别人更不敢代出这个主张，「群医咸集，药石纷下」，对于他的喘疾，毕竟是益少害多，莫说喘疾时至今日犹无根治的方法，卽令当时有，以杜月笙的「急病乱投医」情形而言之，也是很难治疗得好。
张公权来打破规矩
坚尼地道杜公馆，和任何一处杜公馆不同，那便是坚尼地道门庭冷落车马稀，三四十年来杜氏门庭的热闹风光彷佛已成陈迹，这并不是说杜月笙落日余辉，苟延残喘，竟被各界人士所冷落忽视，而是他一则抱病，一则也由于大陆局势急转直下，香港是国共双方都在公开活动的是非之地，他有心避一避风头，躲一躲纠缠。刚到香港不久，杜月笙便请袁树珊给他看了个相，当时，袁树珊曾慎重其事的说：
「杜先生，最近一段时期你最好闭门谢客，任何人都不见，否则的话，恐怕会有是非。」
旨哉斯言，正中杜月笙的下怀，于是他命人写张条子，贴在房门口，词曰：「遵医嘱，碍于病躯，谢绝访客。」
条子贴出，倒也蛮有効力，却是有一天，张公权来访，一脚踏进了房间，要好朋友，杜月笙不得不力疾待客，从此以后，病中谢客的「规矩」为之破坏。
张公权在香港时，当地的华侨日报对他不太友好，刊登出来的消息，于张公权相当不利，因此张公权往访杜月笙，托他设法向香港新闲界的朋友打个招呼，杜月笙还是叫李裁法负责连络，李裁法在这件事土又露了一手，他寻到写张公权新闻的那位朋友，开门见山的告诉他说：
「张公权先生是杜先生的朋友，请你帮帮忙，不要再登张先生不尽不实的新闻。」
那位记者久仰杜月笙的大名，听李裁法这么一说，当下便一口答应，自此不再发布不利于张公权的消息，但是他提出一项相对要求，他想藉此机会，见一见名扬四海的杜月笙。李裁法晓得杜月笙自定的「规矩」，很觉为难，不过那位记者朋友实在是出之于一片虔诚敬仰之心，迫不得已，他祇好去跟杜月笙报告，讵料杜月笙也是面无难色，加以应允，抱病接见了那位记者，于是又破了一次例，不过后来张公权、李裁法，和那位记者杯酒言欢，尽释前嫌，杜月笙就没有再参加了。
民国三十八、九年间，在香港长住的杜月笙，虽然怕麻烦、怕纠缠，可是他那颗爱热闹的心，却并未因健康太差而予稍减，卽令气喘咻咻，爬不起床，每天还是巴望看家人亲友多走动，常来来。
每天一早，多半是小八股党硕果仅存的老兄弟顾嘉棠头一个到，他是专程前来打一个转，问声月笙哥昨夜困得好？？今早阿曾起来吃过物事了？风雨无阻，问过便走，并不一定要见到月笙哥，等歇到了快吃中饭的时候，他如果没有应酬，这顿中饭便十有八九在杜家吃，杜月笙精神好，他便陪陪杜月笙，不然的话，就在外面饭厅陪陪杜公馆的熟朋友。顾嘉棠一生一世对共产党绝无好感，上海沦陷以后，他一提起共产党便破口大骂，恨透恨透，他说祇要共产党在上海，他是宁可死在外头，也决不会回转去受罪的。
跟杜月笙、顾嘉棠抱着同样坚决反共态度的是金廷荪金三哥，金延荪这次逃难，逃得非常之彻底，全家大小，四儿四媳全部搬到了香港。他也是抱定主张，绝对不跟共产党打交道，殊不料他的夫人怀乡情切，不耐客居，也不晓得听了什么人的蛊惑挑唆，居然跟金三哥老夫妻俩意见分歧，各行其是。金老太太不顾一切的带了三个儿媳妇，四名女将由香港开回了黄浦滩，杜月笙、金廷荪、顾嘉棠一般老兄弟再三苦劝，劝不动这位金三嫂。照金三嫂的意思，她坚持要把四名儿媳一道带回头，幸好大少奶在香港医院中待产，总算免于同行，少受了一番波折与磨难。
金三嫂带了三位少奶回上海，实使杜月笙、金廷荪担尽惊吓，大费手脚。因为金三嫂回上海后住在杀牛公司附近朱家木桥的金公馆，平安无事了一段时期，共产党狰狞面目暴露，展开了清算鬪争、三反五反大屠杀，朱家木桥一带每天都有满载死囚前往市郊处决的卡车过，吓得金三嫂心惊肉跳，险乎得了神经病，金三嫂托人想办法打张路条，自己先逃回香港，留下三位少奶陷身魔窟，而其中的四少奶正是杜月笙的次女杜美霞。
三桩消遣赌书与唱
杜月笙在香港想尽方法，要把他的二小姐救出来，但是共产党正一心一意骗杜月笙回海，杜月笙的子女多一个在共区，就他们来说正好是威胁杜月笙的人质，因此他们决不肯轻易应允，绑票勒赎原是共产党的一贯伎俩，他们怎肯放过这个好题目？起先杜月笙命他的次婿金元吉，写信到上海请杜美霞出来，共产党那边拒绝发给路条，然后，一再函电交驰，依然石沉大海杳无消息，最后则以杜月笙病危为词，拍发急电，方始将杜二小姐，救出了虎口。多一半是因为在那个时候，杜月笙的长子杜维藩也在万般无奈的情况下进上海去了。
同时杜月笙的二楼太太陈氏夫人，在杜月笙赴港之先，曾经到过一次台湾，颇想在台定居，杜月笙到香港，她也由台抵港打了一转，夫妻间话不投机，陈氏夫人便和维翰、维宁回了上海，而这趟回去，竟因而被陷，始终不得出来。
明乎此，则可获知坚决反共，认清共党本质如杜月笙者，为什么在三十八、九年之交，还不敢与共产党公开破脸，反目相向，有亲生骨肉落入共党的掌握，虚与委蛇，相互鬪法，全是衷心非愿，迫不获已之举。
在这一段时期，杜公馆坚尼地台人客虽少，饭厅里仍然每天中午准备两桌饭。一张圆枱面一张四方桌，通常那张圆枱面必定坐得满，圆怡面坐不下了，再开方桌一席
经常来杜公馆吃中饭的，除了杜月笙的儿子媳妇女儿，女婿、顾嘉棠、金廷荪、王新衡、骆清华、沈楚宝等诸人之外，还有杜月笙的表弟朱文德，总管万墨林，这两位在香港经常不离杜月笙左右的哼哈二将，朱、万二人为了往来方便，都在坚尼地台租了房子，而且和杜公馆近在密迩，等于隔壁。朱文德一家住在坚尼地台十号，万墨林一家住六号
喘不发，脚不麻，精神好，体力够，杜月笙随意思之所至，在香港有三桩消遣，其一是赌，其二是书，而其三是为唱。
赌，不仅规模缩小，而且输赢数目，亦无复当年的豪情胜概，由于精神体力之所限，杜月笙晚年居港，只能玩玩十三账罗宋牌九，为了凑兴，勉强陪他顽顽的，有当年的豪赌朋友朱如山、徐士浩、盛家老五盛泮澄、吴家元、张公权的令妹张嘉蕊。为什么祗打罗宋牌九？说穿了便是由于打罗宋可以少用脑筋，坐看不动，而且时间不长，随时都能结束。输赢虽不能与当年相比，但是一场进出也有个港币好几千。卽使打这种费力不多的牌，有时候杜月笙还会感到精神体力难以为继，于是喊杜美霞来代他接下去。
「书」则为杜月笙的另一嗜好，听说书。「说书」这一行业在香港始终不能生根，要找一位说书先生可谓相当的困难，好在当时有一些「说书先生」也从上海逃难到了香港，杜月笙选了其中的四位：张建国、张建亭兄弟，蒋月泉和王伯英，他请这四位「说书先生」轮流的到坚尼地台杜公馆，每天一位，分别为他开讲「玉蜻蜓」、
「双珠凤」、
「英烈传」、
「水浒传」等等着名的说部。「听书」成了杜月笙的日课之一，他用听说书来消磨时间，尤其聚精会神听书时，可以使他暂时忘却身上的病痛与苦楚。
不过在当时的杜公馆，姚玉兰、孟小冬以次，没有一个人具有杜月笙这个共同的嗜好，因此，当他一榻横陈，瞑目倾听「说书」时，往往房间里只有他一个人，充其量多上服侍他的徐道生，有时候万墨林、朱文德也来陪他听上一段。
「唱」的场面比较热闹，曾有人谓「天下之歌，尽入杜门」，杜月笙自己身畔便有姚玉兰、孟小冬两位床头人，允称须生泰斗与冬皇，再则由于杜月笙一生酷嗜皮黄，他身边的人几乎个个都能哼几句�