颜师古是名儒颜之推的孙子、颜思鲁的儿子。少传家业，遵循祖训，博览群书，学问通博，擅长于文字训诂、声韵、校勘之学；他还是研究《汉书》的专家，对两汉以来的经学史也十分熟悉。
隋文帝仁寿年间，由尚书左丞李纲举荐，任安养县（今湖北襄樊）尉。尚书左仆射杨素见其年少，问他：“安养剧县，子何以治之？”颜师古回答：“割鸡焉用牛刀。”杨素惊其夸口。后来果然以政绩突出闻名。后因坐事免职居长安，十年不得官，家贫，以教授为业。
隋大业十三年（公元617年），太原留守李渊起兵入关，颜师古从父至同州朝邑长春宫谒见，被授予朝散大夫之职。
唐武德元年（公元618年），李渊称帝建立唐王朝，拜颜师古为敦煌公府文学，转起居舍人，再迁中书舍人，掌机密，专典皇帝诏敕。军国政务等重大诏令皆出于颜师古之手，其文才当时未有敢于与其相比者。颜师古勤于政事，又擅长文辞，其所拟制诰册奏之工整美好，名冠当时。
唐武德九年（公元626年），秦王李世民即皇帝位，颜师古被擢为中书侍郎，封琅琊县男。后坐事两次被贬。颜师古聪敏好学，精于训诂。
唐贞观七年（公元633年），颜师古被任命为秘书少监，专管校定古书的工作，每遇疑惑不解的奇文难字，他都能一一辨析，并说明其本源。贞观十一年（公元637年），颜师古奉诏与博士撰写成《五礼》，进爵为子。后又奉太子承乾之命注《汉书》。贞观十五年（公元641年）书成，进秘书监，以文学入选崇贤、弘文两馆学士。《汉书注》是颜师古晚年力作，在审定音读、诠释字义方面用功最多，成绩最大，解释详明，深为学者所重。当时即有“杜征南（杜预）、颜秘书（颜师古）为左丘明、班孟坚忠臣”之称誉。
贞观十九年（公元645年），颜师古随从太宗征辽东，途中病故，终年65岁，谥曰“戴”。墓地位于今山东省兰陵县芦柞镇前芦柞村东南。