陈衍自幼随祖父读书写字诵诗， 10岁时已读完《书》、《诗》、《礼》、《易》等国学经典，能将“六朝人文长篇若两都若哀江南诸赋皆背诵如流”，且“终年为诗，日课一首”，还对唐、元、明人笔记、小说广有涉猎。但他在考场上并不如意，屡试屡败，好不容易在光绪八年（1882年）才中举，当时二十七岁，同榜者中还有后来的外国名著翻译家林纾。
1886年曾入台湾巡抚刘铭传幕府，随军招抚当地土著。1886年在北京时，与郑孝胥共同标榜“同光体”，并成为“同光体”闽派的代表人物，其评论著作有《石遗室诗话》。 1895年三、四月间，陈衍到京会试，时值甲午中日战争后期，清政府派李鸿章为全权代表赴日求和签署《马关条约》，举国哗然。陈衍起草、并与林纾等人联名上书都察院，反对割让辽东半岛、台湾等领土。1897年夏，陈衍被公推为《求是报》主笔，在其主事期间，《求是报》的内容包括社论、谕旨恭录、中外新闻、中外法律法规、译文和逸闻、理论科学的译介和小说连载等等，而且每期都有针对中国现状的论说，因此读者日多，风行一时。当时的湖广总督张之洞正是由《求是报》看出陈衍的卓越的才干，于1898年邀请他到武昌，为其写作，并任《官报》局总编纂。1898年春，京城会试之际，变法呼声正高，陈衍作《戊戌变法榷议》，分议相、议兵等十条，提出自己的变法主张。同年，应经济特科试，不中。戊戌变法失败后，《官报》停办，陈衍筹办《商务报》，以研究实业为主，除了连载他同其下属河濑仪太郎翻译的《银行论》、《货币制度论》、《商业经济学》、《商业地理》、《商业开化史》、《商业博物志》、《日本商律》、《破产律》等外，还连载了《欧美商业实势》，对世界各国的经济情况做了大量翔实报道。1907年陈衍到北京任学部主事、并兼京师大学堂文科教习。1911年清朝灭亡后，到南北各大学讲学。1912年12月起，在梁启超主办的《庸言》半月刊上连载，数十万言的长文，旁征博引，侃侃而谈，甚获好评。后来《石遗室诗话》结集出版，风靡一时。“煌煌巨帙，声教远暨海内外，一时豪俊，奔趋其旗之下。”他要续辑诗话的消息传出后，各地诗人竟“争欲得其一言为荣，于是投诗乞品题者无虚日”。他得意地告诉朋友：“海内诗人寄到之集，已阅过者殆满间一屋，而架上案头，有已选佳句不及收入者，尚不可胜计。”陈衍的诗歌理论对“同光体”诗人的上述主张作了较为系统的总结与发展，具有集大成的意义。他的诗作则瓣香白居易、杨万里，多抒发闲适情趣，涵泳山水妙旨，遣词造句，颇具新意，于“同光体”中自成一家。
1916年起编修《福建通志》，5年后《通志》全稿完成，凡600余卷约1000万字，除盐政、水利等数志外，皆由陈衍一人经营编纂。该《通志》于1938年出版，迄今仍是省志中最为完备的一部。
1933年除夕，钱钟书拜会他，当时已年过七旬，钱其时尚在清华读书。可谓忘年之交。钱在英国留学时陈衍还寄给他自己的诗作，其中有“青眼高歌久，于君慰已奢”诗句。钱钟书早年“好义山、仲则风华绮丽之体，为才子诗，全恃才华为之”，陈衍则批评他：“汤卿谋不可为，黄仲则尤不可为”，因而改弦易辙，奉衍若神明。三十年代初，陈衍仍对钱钟书到国外念文学大惑不解：“文学又何必向国外去学呢！我们中国文学不就很好吗？”
陈衍晚年寓居苏州，与章炳麟、金天翮共倡办国学会，并任无锡国学专修学校教授。1937年8月，陈衍在福州病逝，葬于西门外文笔山。