黄巢在“兵数败，食复尽”的情况下，带领十五万起义军撤出长安，向河南退却。沙陀兵和唐军进入长安后大肆烧杀抢掠，造成“长安室屋及民所存无几”的悲惨景象。五月，起义军退到河南，围攻蔡州（河南汝南），并分兵攻打河南、山东的数十个州县。攻陈州（河南淮阳）时，遇到唐军的顽强抵抗，陈州之役一直持续到884年（中和四年）三月，起义军前后围攻近三百天，仍没有攻下陈州。起义军长期胶着在陈州附近，失掉了转移到有利地区发展力量的大好时机，进一步陷于被动。

同年五月，起义军在中牟县北渡汴河时，突然遭到李克用的袭击，损失惨重。尚让等一部分农民军将领投降。黄巢带领千余人向山东撤退，六月，起义军被包围在瑕丘（山东兖州西），起义军终因寡不敌众，牺牲殆尽。黄巢至死不屈，最后在泰山狼虎谷自刎而死。

大起义的主力军虽然失败了，但黄巢余部的反抗并没有停止。黄巢的侄子黄浩带领七千农民起义军，坚持斗争达十六年之久。