早期经历
余玠幼时家贫，在白鹿洞书院和太学上舍读书，因与茶馆老人发生口角，不慎失手推茶翁致死，脱身出逃襄淮，作长短句一首，投入淮东制置使赵葵幕下。赵葵赞其心怀壮志，把他收留在军中任事。不久即以功补进入副尉，又擢升作监主薄。宋端平三年（1236年）2月，蒙古军侵入蕲、黄、广。余玠应蕲州守臣征召，协助组织军民守城，配合南宋援兵击退蒙古军。宋嘉熙元年（1237年）10月，余玠在赵葵领导下率部应援安丰军杜皋，击溃蒙古军，使淮右得以保全。次年，朝廷论功行赏，余玠进官三秩，被任命为知招信军兼淮东制置司参议官，进工部郎官。
盱眙退敌
宋嘉熙二年（1238年）9月，蒙古大帅察罕进攻滁州。余玠率精兵应援，大获全胜。宋嘉熙四年（1240年）9月被提升为淮东提点刑狱兼知淮安州，主持濠州以东、淮河南北一带防务。宋淳祐元年（1241年）秋，蒙古军察罕出兵安徽寿县，余玠率舟师进击察罕军，激战40余天，使蒙古军溃退。凭军功拜大理少卿，升淮东制置副使。
防蜀之战
宋淳祐三年（蒙古乃马真皇后称制二年，1243年），至宝祐元年（蒙古蒙哥汗三年，1253年），在蒙宋战争中，蜀帅余玠以山城防御抗击蒙古军进攻的作战。
宋淳祐元年十一月，蒙古窝阔台汗病死，内部纷争汗位，无暇全面部署对南宋大规模战争，南宋王朝得以暂时休整和调整防御部署。宋理宗赵昀命在淮东屡立战功的的余玠为兵部侍郎、四川制置使兼知重庆府，负责四川防务。余玠赴任后，革除弊政，实行轻徭薄赋、整顿军纪、除暴奖贤、广纳贤良、聚小屯为大屯等政策。采纳播州人冉氏兄弟建策，采取依山制骑、以点控面的方略，先后筑青居、大获、钓鱼、云顶（今四川南充南、苍溪东南、合川东、金堂南）等10余城，并迁郡治于山城。又调整兵力部署，移金州（今陕西安康）戍军于大获；移沔州（今陕西略阳）戍军于青居；移兴元（今陕西汉中）戍军于合州（今合川东钓鱼城），共同防守内水（今涪江、嘉陵江、渠江）；移利州戍军于云顶，以备外水（即岷江、沱江）。诸城依山为垒，据险设防，屯兵储粮，训练士卒，经数年建设，逐步建成以重庆为中心，以堡寨控扼江河、要隘的纵深梯次防御体系，边防稍安。六年（蒙古贵由元年），蒙古分兵四道入蜀，余玠继多次战胜蒙古军进攻之后，依靠新建立的山城防御体系，又打退了蒙古军的进攻。宋淳祐十年（蒙古海迷失皇后二年），余玠调集四川各路精锐，誓师北伐。以一部兵向陇蜀边界出击；自率主力，取金牛道向汉中（今属陕西）进发，三战连捷。次年四月，余玠率军号10万进占汉中西之中梁山，潜军烧毁汉中至大散关（今陕西宝鸡西南）栈道后，率军围汉中数重，昼夜急攻。蒙古军修复栈道，各路援军会至。余玠久攻不克，兵老师钝，只好撤军。宋淳祐十二年（蒙古蒙哥汗二年），余玠率军击退进攻嘉定（今四川乐山）的蒙古军，四川抗蒙形势日益好转。
抗蒙战争
余玠在四川，开屯田以备军粮，整顿财赋，申明赏罚。修筑山城和抗蒙有功将士，都得到奖掖。违法的将官，受到惩处。利州都统制王夔凶残跋扈，号称“王夜叉”，不听余玠调度，到处劫掠。余玠依军法斩王夔。经过余玠的整顿，四川驻军声势大振。蒙古军多次自西蜀来侵扰，都被宋军打退。
余玠守蜀有功，宋淳佑八年（1248年）被任为兵部尚书，拜资政殿学士，仍驻四川。宋淳祐九年（1249年）又任右丞相兼枢密使。宋淳佑十二年（1252年），蒙古汪德臣（汪世显子，汪世显已死）部侵掠成都，围攻嘉定。余玠率部将力战，再次打退蒙古军。余玠抗战获胜，谢方叔却设法迫害余玠。
服毒自杀
宋宝祐元年（1253年），因与统制姚世安不和，姚世安以宰相谢方叔为援，谢方叔和参知政事徐清叟等向宋理宗诬告，攻击余玠独掌大权，却不知事君之礼。宋理宗听信谗言，召其还朝。余玠知有变故，愤懑成疾。同年7月，余玠在四川被迫服毒自杀。
余玠死后，宋理宗辍朝，特赠五官。次年，朝廷权奸削去余生前职务并迫害家属和亲信。余玠部下王惟忠，也被诬告潜通蒙古，处死。