王守仁婚后（妻诸氏）未能生育子嗣，故过继了堂弟王守信之子王正宪为嗣子。然而在嘉靖五年，命运弄人，王守仁的妾室张氏诞下了幼子王正亿。在明朝，过继后再得亲子通常有两种处理方式：一是解除与过继子的父子关系，令其回归原宗；二是维持嗣子身份，并继承父亲的爵位和家产。从王守仁生前未让王正宪返宗的行为推断，他极有可能选择了后者，可能出于对王正亿能否健康成长的忧虑。
王守仁晚年还面临一个棘手的家庭问题——家族内部混乱不堪。在他父亲王华去世后，由于常年在外，家中事务疏于管理，便委托管家魏廷豹代为打理（因继母赵太夫人不愿插手家务）。尽管有家主的支持，但魏廷豹在治理这个“大家”时困难重重。王家自王华中状元后迅速崛起，暴发户心态使得许多王家人骄傲自满，意气用事，对于出身仆人的魏廷豹自然心存鄙视，因此家庭矛盾不断。
王守仁在诸多家书中频繁强调要遵从魏廷豹的管教与决断，侧面反映出家族子弟难以约束，不得不派遣自己的学生薛侃、钱德洪、王汝中等人协助魏廷豹料理家事。
王守仁离世后，其弟子们开始对王正宪产生不满，意图扶持年仅三岁的王正亿成为继承人。有人认为这是出于对幼子的关爱，防止王正宪加害王正亿并独揽家业。但实际上，这种做法非但过于理想化，实则愚蠢至极。首先，王正宪作为嗣子，一直表现良好，且在王正亿出生后并无任何不利于他的行为。其次，即使考虑到王正亿尚处于夭折高风险期，也需要至亲的呵护与扶持，倘若逼走王正宪，谁来保护王正亿免受叔伯及其他族人的威胁？原本应出现的兄长扶育幼弟的情景，却因弟子们的主观臆断而演变成了一场家族拆分大戏。他们先是巧妙地联合朝廷吊唁官员佥事汪诚斋，借机诬陷赵太夫人欲助其子王守文篡夺家产，迫使赵氏为证清白声明不干涉王家事务，王守文亦被迫退出家族事务决策圈。随后，弟子们又将失去家主支持的魏廷豹逐出王家。
掌控大权的弟子们先是擅自决定将王守仁的妾室吴氏扶正为妻（此前王守仁并未同意这一提议），再通过吴氏向王正宪施压，逼迫他离开王家核心。嘉靖八年十月，这群强势弟子以“防微杜渐”的名义召集王氏家族成员，强行将王正宪和王正亿兄弟二人分家，规定王正亿继承王守仁的衣钵及全部家业，王正宪不得参与家业争夺，并由吴氏主持家事，王守仁的弟子每年轮流出任辅佐，其他家族成员不得干预。
看似局面已定，但新主母吴氏却很快以其行为辜负了众弟子的信任。她联手部分王氏族人对王正亿的生母张氏进行打压和凌辱，使张氏处境堪忧。两年多后，吴氏更是以嫡母身份对年幼的王正亿百般折磨，甚至禁止其生母及王守仁的学生探望。最终，欧阳德等学生意识到情况不妙，上演了一出王氏版“移宫案”，成功将王正亿从吴氏手中解救出来，并由南京礼部侍郎黄绾将其女许配给王正亿，带往南京抚养成人。
至此，王守仁的两个儿子均流落在外，只能眼睁睁看着王家产业被一众不肖子弟、亲戚、豪奴蚕食鲸吞。
相比于王守仁的一干弟子，黄绾显然更加明智。他在嘉靖十一年采取行动，公开进行财产公证，详列王正亿所继承的产业，并取得各方认可，既最大限度地保护了王正亿的家业，也为压制王家中的宵小提供了机会。为了纠正先前的错误，王守仁的弟子们再次越俎代庖，革去吴氏嫡妻名分，改立张氏为正妻。如果当初直接扶正张氏，或许能避免后续诸多麻烦。不过，学生两次替老师“换妻”，这在历史上也是绝无仅有，无疑给王守仁的名声带来了负面影响。
综上所述，这场导致王家四分五裂的风波，完全是由王守仁的弟子们一手造成。然而，究其根源，王守仁本人也负有一定的责任。他卓越的教育才能造就了一批杰出的弟子，他们在地方上是士子领袖，在官场上也颇有建树，正是因为他们的声望和能力，才得以介入老师的家族事务。这些学生的恣意妄为不仅给王家带来动荡，更败坏了王守仁毕生致力于推广的心学事业。从另一个角度看，这也是王守仁教育生涯中的一大遗憾与失败。
