宋高宗绍兴十一年(1141年),岳飞和长子岳云被害,被杀时岳云仅二十三岁,天下皆知其冤,岳飞第一任妻子刘氏,生下岳云岳雷后改嫁,岳飞遇害时第二任夫人李娃41岁,之后,岳飞和张宪家属分贬广南(广东广西)和福建路(福建)监视居住,每月要向宋高宗本人提交作息活动报告,还不准他们同时出发。
关于岳霖在岳飞遇害后的去向,据岳霖之子岳珂所著的《鄂王行实编年》记载:“迁先臣(指岳飞)家族于岭南,与张宪并籍没资产。”后世史家考证倾向于与岳家其它人流放岭南。根据岳飞后人、北京岳飞思想研究会会长助理岳喜高先生认为,岳家被流放的地点应是现在的广东惠州市。
最直接证明岳氏一门流放惠州的记载是南宋洪迈所著的《夷坚志·岳侍郎换骨》:“绍兴十一年岁除之夕,岳少保以非命亡。其子商卿霖并弟震同妻女皆羁管惠州郡,拘置兵马都监厅之后僧寺墙角土室内。”这里指明岳飞三子岳霖(号商卿)和四子岳震,及其妻女被羁管在惠州。此记载可信度极高,因洪迈在绍兴十七年时已随父亲洪皓流放到英州(今广东英德),英州与惠州相距并不远,不难打听到岳家的一些消息。
根据岳珂所编撰的《金佗粹编》一书中的若干官方文件,有学者推算出绍兴十二年时岳家一门流放到惠州的有:岳飞妻李氏,子岳雷、岳霖、岳震、岳霭,女岳安娘及岳云、岳雷的妻子儿女共13人。在惠州拘管期间,岳雷长子岳经出生于惠州,岳安娘也在流放期间出嫁。传说还有一女岳银瓶,为父鸣冤跳井身亡。
岳雷逝于惠州,其他人在岳飞平反后返回中原,岳霖多方搜集父亲遗事,其子岳珂在此基础上编成《鄂国金佗稡编》28卷、《续编》30卷。