范致虚进兵到千秋镇（今义马市千秋路街道），果然被金兵打得全线溃败、官吏四散。
建炎元年（1127年）四月，金兵进犯陕州，经制使王燮抵挡不住，率部逃跑。
当时陕州官吏逃逸，唯有李彦仙以石壕尉（今陕州硖石乡）的身份坚守三觜山（约今硖石以南崤山之中），父老乡亲争相投靠，他对前来依附的人说：“我不是本县人，不像你们一样祖祖辈辈生活在这里。如今我尚且努力守护国土，如果你们不尽力，那么金人就会杀死你们。”
于是众人纷纷从军。
他将老幼迁至土花寨，选拔精锐驻守三觜山、石柱山、大通山等地营寨，彦仙对众人说：“金人其实很好对付，如今我们有地利，足以自守”。
不久，金兵主力进攻三觜山。李彦仙巧施计谋，先派部分精兵埋伏，后同金兵正面厮杀，双方拼斗正酣时，伏兵突从金兵背后掩杀过来，金兵猝不及防，大乱溃逃。
消息传出，开封、洛阳一带群众争相投靠，队伍迅速扩大，李彦仙接着兵分四路，还没到一个月就接连攻下金人五十余座营垒。
此役斩获千余人，夺取战马三百匹，一战成名。
金兵进占陕州城后，让降兵和未逃散的士卒驻守，并派当地人任官职，命其将市民召回城中，李彦仙趁机派兵士混入城内。
建炎二年（1128年）三月，李彦仙率兵攻打陕州南门，金兵慌忙到南城抵抗。
当晚，预伏的水军从新店出发，顺流而下至陕州城东北的蒙泉坡、龙塘沟，潜入城内，与城内军队呼应夹击，金兵弃城逃散，陕州城光复。
当时李彦仙联合各路义军守陕州，任命河东义军领袖胡夜叉为沿河提举。
胡夜叉不满，劫掠陕州南原，随后被李彦仙诱杀，获得其部众五千。
胡夜叉部下义军首领邵隆、邵云原本想要报仇，但在彦仙的劝说下归服。
彦仙乘胜渡过黄河，在中条山建立营寨，蒲州、解州至太原的老百姓纷纷前来归附，于是派邵隆、邵云等率军攻打陕州的芮城，河中府的虞乡，绛州的绛县、正平，解州的解县、安邑，接连告捷。
彦仙部与金人在蒲州反复拉锯，因金军援军到达而放弃继续攻蒲州城，将所俘金将护送至行在。
宋高宗对辅臣说：“知李彦仙与金人战，再三获捷，朕喜而不寐。”
于是授李彦仙陕州知州兼安抚使，升武节郎、阁门宣赞舍人，并赐他袍带、枪剑。
建炎二年四月，李彦仙主动节受鄜延经略使王庶的统领，向来与王庶有隙的曲端对此非常不满，这也使李彦仙和曲端之间产生了矛盾，成为陕州孤立无援、最终陷落的原因之一。
李彦仙收复陕州时，潼关以东仅有此城还在宋朝手中。
李彦仙加紧修筑城墙，深挖护城河，扩充军备，大力屯田，并将全家从巩州搬到陕州，表示要“以家殉国、与城俱存亡。”听者无不动容。
建炎二年（1128年）冬，李彦仙在陕州城下与金将乌鲁撒拔大战七天，金兵死伤惨重，怆惶撤离。
建炎三年（1129年），娄室从绛州移屯蒲州、解州，发兵陕州，李彦仙通过谍报知道后在中条山设伏，痛击来犯之金军，俘获金将十八人，娄室侥幸脱逃。
正月十二日，麾下将领邵隆收复虢州（今灵宝、卢氏），彦仙命其知虢州。
彦仙任命另一位将领党松知同州（今陕西大荔），但由于当时同州城还为金军占领，因此党松将治所设置于同州城三十里以外的下寨（今大荔下寨镇）。
李彦仙被朝廷授予右武大夫，宁州观察使兼同、虢二州制置使（据《宋名臣言行录》载为河、解、同、耀制置使）。
当时有河东土豪暗中投靠，期待与宋军里应外合。