在1973年和1981年，永安集团曾在地产业有过两次大发展，可惜都因时机错过发展机会，导致发展有限。
1973年，永安通过拆股，送红股以及供股集资，将位于中、上环之间的永安百货公司楼宇改建为现代化的商业大厦——永安中心。
但因碰上股市大跌及利率上升，永安中心的发展费用比预期高，而落成后的租金收入则比预期低。
1981年，永安集团收购富都酒店，并斥资2.3亿港元先后购入尖东永安广场商场及南洋中心部分楼层，结果又遇上股市、地产崩溃。
两次大发展都差强人意。
踏入20世纪80年代，郭氏第二代琳字辈，包括郭琳褒、郭琳珊等都相继去世，永安集团进入郭氏第三代掌舵时期。
可惜，这时永安集团已有点暮气沉沉、苟且偷安。永安的业务，除了名下的永安百货稍有作为外，其余银行、人寿保险均有走下坡路之势。
作为香江昔日的四大公司(先施、永安、大新、中华百货)的永安，其社会地位已迅速下降。在这种情况下，永安集团无可避免地遭到了新兴势力的狙击。
永安集团的前身是永安人寿集团有限公司，成立于1973年1月，旨在统筹永安旗下各自为政的联号公司，成为整个家族企业的控股机构。
同年8月，永安人寿集团在香江上市。当时，永安人寿主要全资拥有永安人寿保险有限公司及永安地产证券投资有限公司，其后向各主要联号公司收购，先后拥有永安水火保险72.89%股权、永安银行30%股权、永安公司(经营百货，战前已在香江上市)20.19%股权，及永安置业30%股权。
1974年6月，永安人寿为加强团结与海外联系，与新佳坡华侨银行换股，后者取得永安人寿25%股权，成为第二大股东。
这时，永安人寿亦发展成为一家多元化的控股公司。1981年，永安人寿正式易名为永安集团有限公司，初步完成旧式家族企业的重组工作。
1983年，郭琳珊逝世，郭琳褒的长子、M国哈佛大学物理学博士、曾任IBM研究中心研究员的郭志全出任永安集团董事局董事长，永安正式进管郭氏家族第三代掌舵时期。
这时期，永安集团的业务，主要是人寿水火保险、证券投资、金融期货、银行及旗下永安公司经营的百货业。然而，在这些业务中，除了百货业尚算可以之外，其余的金融期货、保险、银行等，糊里糊涂地亏去不
…。。