Не думаю, что дело во фразе. Это как последняя соломинка, которая переломила спину верблюду. Наверное накапливается какой-то объем влияний, формируется настроение, а потом возникает (или придумывается) эта фраза, которая затем и входит в семейный миф.