于是，“王安石变法”仅仅取得了少许成效，但是弊端频现，出现了开封等多地百姓为逃避保甲之法，自断手腕等情况，然后免役钱之事有引起民怨沸腾，朝野上下议论纷纷，加上保守派大臣不断上表宋神宗，言王安石变法未见其利、先见其弊，与古人所言“利不百，不变法；功不十，不易器。”背道而驰，并非兴国之举，却有乱天下之实，请罢王安石之法。
宋神宗得闻民间之事，忧形于色、寝食不安，后熙宁七年（1074年）春，天大旱，久不雨，安上门监郑侠绘东北《流民图》，写成《论新法进流民图疏》，请求朝廷罢除新法。
郑侠奏疏送到阁门，不被接纳，只好假称秘密紧急边报，发马递直送银台司，呈给神宗皇帝，疏称：“但经眼目，已可涕泣，而况有甚于此者乎？如陛下行臣之言，十日不雨，即乞斩臣宣德门外，以正欺君之罪”。
宋神宗阅毕疏奏，反复览图，长吁数四，袖以入，是夕寝不能寐，翌日即下令开封府发放免行钱，三司使查察市易法，司农发放常平仓粮，三卫上报熙河用兵之事，诸路上报人民流散原因，青苗、免役法暂停追索，方田，保甲法一起罢除，共采取了十八条措施。
可以说新法大半被停止执行了，由是民间欢呼相贺，神宗又下《责躬诏》，求直言，恰巧三日后大雨，辅政大臣俱入宫祝贺，神宗皇帝把郑侠所进的流民图及奏疏拿给这些大臣看，并说出责备之言，群臣于是再拜谢罪。
王安石不得不上表请求去职，宋神宗也没有挽留，于是王安石首次罢相，被遣往江宁府做知府，幸得宋神宗还念君臣之义，同意了王安石的推荐，让吕惠卿、韩绛任参知政事（等于后世的中国共产党中央委员会政治局常务委员会委员），朝政还是掌握于变法派手中，于是以吕惠卿、邓绾为首的变法新党就围着神宗痛哭流涕劝说道：“陛下数年以来，忘寐与食，成此美政，天下方被其赐，一旦用狂夫之言，罢废殆尽，岂不惜哉。”
宋神宗被变法新党说服，将新法全部恢复，于是吕惠卿、韩绛二人继续坚持王安石制定的成法，推进变法，及后吕惠卿掌握大权后，担心王安石回朝夺其权位，便欲借办理郑侠案件的机会陷害王安石的弟弟王安国，又兴起李士宁案件想入罪王安石，由此激起了与韩绛的矛盾，韩绛便秘密奏请宋神宗召回王安石。
不久到了熙宁八年（1075年）二月，王安石再次拜相，但是宋神宗变法之心已经大大动摇，不再支持王安石力行变法，而且变法派内部分裂严重，新法很难继续推行下去。
王安石眼见现实如此，渐渐心灰意冷，次年熙宁九年（1076年），王安石多次托病请求离职，同年长子王雱病故，王安石上辞表，宋神宗准许，王安石再次罢相，从此隐居江宁，其所颁法令亦陆陆续续被废止。
元丰八年（1085年），宋神宗去世，宋哲宗即位，高太后垂帘听政，起用司马光为宰相，司马光提出“以母改子”，新法几乎全被废掉，史称“元祐更化”。
元祐元年（1086年）四月，王安石病逝，享年六十六岁，获赠太傅，葬于江宁半山园，至此，宋朝轰轰烈烈的“熙宁变法”（王安石变法）就宣布寿终正寝，完全失败了。
王安石变法失败，正应了宋神宗与韩琦问对时，韩琦说的那句话“安石为翰林学士则有余，处辅弼之地则不可。”，王安石学问和人品都好，但是治政能力还真的不是商鞅那个水平，无法使宋朝与秦朝一样，变法而强。
