旬邑暴动失败后，陕西各地又接连在中共陕西省委的领导下，举行了几次武装起义，但都很快失败了。在起义中幸存下来的力量，大多转移到距离国民党统治中心较远的陕甘边界地区活动，宁县东部子午岭山区就是其活动的重要地区之一。这时，大小军阀纷纷抢占地盘，扩充力量，加之连年饥荒，破产农民纷纷依附，军阀势力发展很快。陇东军阀陈圭璋就在宁县起家，势力范围很快扩大到庆阳、平凉各县。根据这一形势，以开展“兵运”建立革命武装的斗争形式迅速展开，即打入军阀部队内部，策反士兵哗变，拉出人枪，组建革命武装。时任中共陕北特委军事委员会书记的刘志丹，把兵运的目标投向驻在宁县的陈圭璋部队，开始在宁县的军事活动。

1930年11月20日，刘志丹带领游击队在合水县太白镇收缴了地方民团的武器，使游击队扩充到400多人。之后，在固城进行整编，共编为4个连，刘志丹任总指挥。次年2月中旬，国民党军队从东西两面对游击队进行“围剿“，陕北军阀井岳秀，陇东军阀陈圭璋也积极配合，企图一举消灭这支新生的革命武装。为了摆脱敌人，保存力量，刘志丹部队向南转移。当行至宁县湘乐镇张陂原时，忽然与陈圭璋部谢斗的混成旅遭遇，敌人步、骑兵配合猛攻，刘志丹指挥游击队沉着反击，从上午坚持到下午，打退了敌人一次次冲击，双方均发生较大伤亡。敌人在东西攻击受阻的情况下，派骑兵迂回到游击队的后面，进行前后夹击。游击队腹背受敌，损失严重，加之弹药消耗将尽，只得撤出战斗，突围到付家山，转经金村退至麻子掌稍事休整后继续向东转移到芦堡梁，才摆脱了敌人的尾追。时值大雪封山，部队弹尽粮绝，只能找来腐烂的野果、核桃充饥，点篝火御寒，处境极端困难。为度难关，救护伤员，刘志丹派马锡伍等人前往小石窟，与当地民团团总罗连城取得联系，得到罗的接济，游击队始得以休养。之后，刘志丹又按照陕西省委指示，与杨虎城骑兵旅苏雨生部合作，出任该部补充第二团团长，以图保存实力，求得发展，但刘志丹的兵运活动引起苏的注意，遂被扣押，补充第二团也被缴械后改编为运输队，由陕西省旬邑县移驻彬县。不久，刘志丹在党组织营救下获释，于当年6月前往平凉，经陈圭璋警卫团长刘保堂举荐，被陈任命为新编十三师直辖十一旅旅长。刘志丹与刘保堂遂带领一个步兵营到宁县，驻防早胜一带，很快成立旅部，以曹华民为书记官，陈鸿宾为参谋长，张秀山为手枪队队长，并由高岗负责刘志丹与陕西省委的联络工作，同时在宁县城设立办事处，收容张陂原等地失散人员。各地失散人员闻讯纷纷会集宁县，很快集中起一支队伍，开始整训。

当时，河套土匪高广仁也投靠陈圭璋，被编为十三旅，进驻早胜。1931年8月，陈圭璋接到杨虎城的命令，要他组织堵截背叛自己北窜宁夏的苏雨生，陈便命令刘志丹、刘保堂协助高广仁，共同阻击苏的部队。而高广仁早与苏雨生、张廷芝密秘勾结，准备三部合并进击宁夏，以配合雷中田发动推翻马鸿宾的行动。高广仁先发制人，以设宴为名扣押了刘志丹、刘保堂，并将其部全部缴械，然后经宁县向合水方向北窜。高广仁部在离开早胜镇的前一天，将200多头毛驴廉价卖给附近群众，当晚又指示部队将正在街南火神庙看戏的群众围困在庙内，不让回家，然后进入民宅搜抢民物，牵走所有毛驴，并逼死、抢走妇女各一名。唯北新城有刘志丹余部抵制，末遭劫掠。高部窜至合水县，被蒋云台第五旅击溃，刘志丹乘夜雨脱逃，回到了南梁地区的平定川。刘志丹为建立革命武装，奔走于陕甘南北，虽历尽艰险，屡遭挫折，而仍矢志不移，不断寻求机会，图谋发展。同时锻炼和培养了一批军事干部，积蓄了一定的武装力量，在群众中播下了革命的种子，产生了巨大的政治形响。经过不懈地努力，终于于1932年1月在正宁县柴桥子（时为新宁县的“北八社”辖区）建立起“西北抗日反帝同盟军”。2月12日，又根据中共陕西省委决定，改编为中国工农红军陕甘游击队。