1949年5月1日，杜月笙携一家老小登上了一艘拥挤的小客轮，他经过慎重的考虑，决定不再卷入政治纷争的漩涡，去往香港，在那里重新建立自己的帝国。然而他却想不到，这一去，他帮派第一人的名号自此便再没能捡起来。昔日的辉煌也从此分崩离析。

来到香港的杜月笙想要开创一个新的帝国，纵然达不到以往的浩大声势，最起码也要获得一席的话语权。然而事实却实在让他沮丧。他的两个好友朱如山和李祖永先后被欺压得抬不起头。

朱如山家里妻妾成群，当初仗着自己财大气粗，将一群姨太太也全都给迁去了香港。这些人凑在一起，免不了争风吃醋，闹出各种矛盾。在上海滩时，他权势滔天，又有杜月笙照应，家里这些丑事，即便闹得人尽皆知，也无人敢置喙。然而到了香港，他失了凭仗，报纸上竟然公然开辟了专栏，将这些家私当做民众每日的饭后笑料来调侃。朱如山无计可施，只得忍气吞声，眼不见心不烦。

而李祖永便更凄凉了些。他因好赌，被香港当地的帮派盯上，让人做了一个局，骗入其间损失了二十万元。这些事情，在以往的上海滩都是不可想象的。只要报上杜月笙朋友的名号，是人都要让三分，掂量一下有没有这个分量去得罪大佬。而如今来到香港，他的名号似乎并不那么好用了。

没了人情，没了关系，想要做生意是难上加难。杜月笙一大家子人，每月花销近6万元，如此开支，如果不能尽快找到增加收入的方法，恐怕迟早是要坐吃山空的。杜月笙十分焦虑，想尽办法捞钱。

其中一个富商，早年在重庆田产房屋无数，在当地是数一数二的豪阔，到香港之后，所带资产却很快散尽，到最后不得不向杜月笙借贷，而他借贷的这个数目却让杜月笙心头直发凉。概因他请求杜月笙资助他的是一张由香港去台湾的船票。走到如今，曾经辉煌一时的人却连一张船票也负担不起了。

杜月笙内心一度惶惶不可终日，他转而求助占卜问卦，借此获得一个心理安慰。不少江湖术士洞悉了杜月笙的心思，于是专捡好听地讲，不仅说他福禄双全，而且寿数极高，至少要到七十三岁。杜月笙听得心花怒放，但听得久了，他又生了疑，恐这些人是在忽悠他。于是他悄悄做了一件事。不知倘若他能得知后来的结果，是否还会做下这个决定。

他因担心自己被人给骗了，于是将自己的生辰八字附在一封信里，用了一个化名，寄去给了台湾一名素来受人信赖的算命先生，请他为自己卜一卦。很快杜月笙收到了他的回信，但是打开信封，当头批的两句话，却让他遍体生凉，一口气几乎上不来，一个“六十四岁”给他的人生划上了一个终点。

“六十四岁在辛卯， 天尅地冲绝难度过。”

杜月笙自从到香港后，身体就愈加病弱，哮喘比以往更深。为了能够养好身体，他将当地有声望的医生都给看了个遍，西医不行找中医，但凡能想到的法子几乎都给用上了，但一直未能见显著成效。

他以那些相士的卜卦为精神支撑，却没想到最终得了这么一句批语，这无异于当头一棒。受不了这个晴天霹雳的杜月笙，自此更加的衰微了下去。1951年8月16日，距离生日还有不到一个星期，杜月笙在寓所病逝，将将63岁，终究还是应了算命所言，没能过64岁的坎儿。

临终前，他把一些老友，包括一直追随他的陆京士召到病床前，在他们的见证下安排了自己的遗产分配。四个太太分一半，几个子女分一半，总数目是当初他存在宋子良那里的十万美元。这话一出，众人皆惊，没想到挥金如土一辈子的杜月笙，到临了，家产竟只剩十万美元，摊到每个人头上，甚至还分不到一万美元。往日的辉煌到头来竟是真的成了一场空。