从小聪颖好学，5岁时便能作诗，9岁时拜见荆南（今湖北省江陵）太守，太守试以三题，并将其文章呈进于朝。北宋天圣八年（1030年）进士及第。初授江宁推官，摄上元令（现均属江苏江宁）。当地有一豪强王豹子，欺男霸女横行乡里。元绛不惧豪绅，依法将其捕获，予以斩首。元绛善于断案，有一妇人状告邻居与其夫嗜酒争吵，乘黑入室砍断其夫脚。元绛见该妇哭而不哀，言其夜与夫同眠却衣裙无血污、该妇回去后与一僧私语谈笑。即令捕回妇、僧，审出实为奸情杀夫。百姓无不称颂。
宋朝时江宁县推官元绛(字厚之，谥章简)代理上元县时，有甲乙两县民酒醉后互殴，甲回到家中就醉卧在床，不料在半夜竟被人砍断双脚。甲妻指称凶手是乙，于是乙被逮捕入狱，不久甲因伤重不治而死。
但是元绛却对甲妻说：“乙已招供认罪，你就先回去料理你丈夫的后事吧!” 接着他暗中派吏卒尾随甲妻，暗中监视。果然发现一名僧人远远望见甲妻就迎了上来，低声谈论。元绛接获报告，立即派人逮捕甲妻，厉声质问。甲妻见形迹败露，只好一一从实招来。
事后有人请教元绛，元绛说：“我见甲妻虽哭但并不悲伤，再说与死者同睡一榻，为何身上竞没有沾上一滴血迹呢？所以我判断这其中必有奸情。”
安抚使范仲淹将其调任永新知县，后改任通州海门县（今江苏省启东东北）。该地民众多以贩盐为生，按律盐为官办，百姓贩盐犯法，制置使欲治盐贩罪。元绛认为该地产盐，并以此为生，超过规定存盐数，情有可原，宜略施惩戒放之。后升江西转运判官、知台州（今属浙江省），在台州任上，出库钱建房数千，安置遭大水灾而无家可归的流民，修城门，设水闸，以防洪涛。继调广东转运使，当时侬智高起兵反宋，他修治城廓、水寨25座，筹备军饷器械，因御敌有功，转为度支判官。
皇祐四年（1053年）为广东转运使，迁工部郎中，历两浙、河北转运使，召拜盐铁副使，擢天章阁待制、知福州，进龙图阁直学士，调广、越、荆南，熙宁年间，为翰林学士，拜三司使，后知开封府。熙宁八年（1075年）十二月，自翰林学士兼侍读学士、判太常寺兼群牧使、工部侍郎拜参知政事。元丰二年（1079年）五月，受耆宁（神宗子）事牵连，贬知亳州，改颖州。三年，加资政殿学士、知青州。四年，以太子太保致仕。卒后，赠太子少师，谥号“章简”。