1905年到1906年间的段祺瑞，毫无疑问是北洋系将领中生活最抑郁的一个，他是袁世凯嫡系中唯一还在担任统制握有实权的，王士珍与冯国璋此时都已经升为高级干部，只有段祺瑞还在军事第一线。而此时的清室贵胄们正处在“排汉”最激烈的时期，段祺瑞无疑成为他们的首要目标。1906年的10月，常备军在河南省彰德（今河南省安阳市）举行秋操，即南北新军大演习，出任“北军”总统官的就是段祺瑞。清政府派兵部大臣铁良、直隶总督袁世凯为阅兵大臣，王士珍为总参议，冯国璋为南军审判长，良弼为北军审判长，各省派来的观操大员，一律为审判员。这种安排的深意已经毋庸赘言，南军审判长是汉人，北军审判长是满人，而铁良又是当时清室贵胄中排汉最激烈的。
可以说，当时清室贵胄们对袁世凯的不满，几乎都会直接体现在他们对待段祺瑞的态度上。1906年2月，段祺瑞复任第三镇统制，驻保定，兼督理北洋武备各学堂。3月17日，补授福建汀州镇总兵，仍留北洋原任。5月8日，清廷在保定创办“陆军行营军官学堂”，段祺瑞又兼任该学堂督办，很多北洋系将领都纷纷投到他的麾下，成为他的故吏门生。