乾隆南巡到杭州，杭世骏也参与迎驾，乾隆见了他问道：“你靠什么生活？”杭答：“臣世骏开旧货摊。”皇帝不懂，问道：“什么叫开旧货摊？”杭解释道：“把买来的破铜烂铁陈列在地上卖掉。”皇帝听了大笑，写了“买卖破铜烂铁”六个大字赐他。
据传杭世骏为人耿介，敢于直言。时值天下大旱，乾隆特开“阳城马周科”，测验翰林院官。意在选拔人才，帮他治理国家。杭世骏在这次试卷中直言不讳，条陈建议，提出“朝廷用人”不要以满汉划线，应该泯灭“满汉之见”。“满州贤才虽多，较之汉人十之三四。天下巡抚常满汉参半，总督则汉人无一也。何内满而外汉也？”还说：“三江两浙，天下人才渊薮，边隅之士，间出者无几。今则果于用边之人，不计其才，不计其操履，不计其资俸，而十年不调者，皆江浙之人，岂非有意见畛域？”话说得恳切。
实际乾隆开科，取治国干才，却是叶公好龙，一旦真的听到“直言”，就怒不可遏：“怒抵其卷于地者再，复取视之”。传说人家帮他说话：他是狂士。乾隆便说：“这种狂士，只能收卖废铜烂铁！”杭世骏由是罢归田里。他回到杭州，在闹市摆了一个地摊，布招大书：
“奉旨收卖废铜烂铁”。一时观者如堵。
记载，乾隆问杭世骏说：“你性情改过么？”世骏回答：“臣老矣，不能改也。”乾隆问：“何以老而不死？”回答说：“臣尚要歌咏太平。”笑了笑。龚自珍《杭大宗逸事状》中则说：“癸已岁，纯皇帝南巡，大宗迎驾湖上，上顾左右曰：‘杭世骏尚未死么？’大宗返舍，是夕卒。”不知是真是假。
早年升迁
杭世骏自幼家境贫寒，勤奋好学，年轻时偶尔过访友人馆舍，见异文秘册，即端坐那里默默记下其中要点，用功之勤，可见一斑。王瞿序《道古堂集》曰：“堇浦於学无所不贯，所藏书拥榻积几，不下十万卷。堇浦枕藉其中，目睇手纂，几忘晷夕。”杭世骏经常向他人借书阅读，并与同乡梁诗正、孙灏、严在昌等人组织读书会，互相讨论学术。雍正二年(1724）考中举人，屡次赴考进士不中。雍正九年(1731年)，杭世骏在主持纂修《浙江通志·经籍志》时，坚持按事实修志，然而当时文网颇密，官府修志，要删除违碍字句，因此他的要求遭到拒绝。后曾受聘担任福建乡试的同考官。乡试的考官一般都由进士出身的官员担任。而杭世骏能以举人的身份担任考官，足以说明他在当时影响之大。 乾隆元年(1736），杭世骏应浙江总督程元章之荐考取了丙辰博学鸿词科，名列一等第五，授翰林院编修之职，校勘武英殿《十三经》、《二十四史》，纂修《三礼义疏》。
直言贾祸
乾隆八年，久旱无雨，乾隆帝循例下诏求直言，开御史试。杭世骏以为当今皇上纳谏入流，于是贸然上了一篇洋洋洒洒数千字的《时务策》，言“意见不可先设，轸域不可太分，满洲才贤号多，较之汉人，仅什之三四，天下巡抚尚满汉参半，总督则汉人无一焉，何内满而外汉也？三江两浙天下人才渊薮，边隅之士间出者无几。今则果于用边省之人，不计其才，不计其操履，不计其资俸。而十年不调者，皆江浙之人，岂非意见轸域？”主要内容是指责朝廷用人存在偏见。他认为天下满洲人少、汉人多，而各地总督却没有一个汉人；江浙人才辈出，但在政府中多年没有人升调。虽然，他所写的内容都能切中时弊，但清朝由满洲贵族统治，一直存在着防范汉人的心理，杭世骏恰恰是触及了“满汉畛域”这个最忌讳的问题。乾隆皇帝一见之下，勃然大怒说：“满汉远迩，皆朕臣工，朕从无歧视。国家教养百年，满洲人才辈出，何事不及汉人？”杭世骏被斥“怀私妄奏”，刑部议处死刑。刑部尚书徐本极力为杭世骏求情，称“是狂生，当其为诸生时，放言高论久矣”，并不停叩头，一直把额头都叩肿了。最后，杭世骏免死革职回乡。
刚开始得知“罪且不测”的消息时，杭世骏正在参加同僚的宴会，还没等杭世骏从震愕中回过神来，东道主已先一步作出反应，要赶杭世骏出门，免得连累自己。此后，那些所谓的同僚如同躲避瘟神一样地躲着他，“杭往话别，辄预戒阍者拒之。”唯独郑板桥写信慰问《与杭世骏书》：“君由鸿博，地处清华，当如欧阳永叔在翰苑时，一洗文章浮靡积习，慎勿因循苟且，随声附和，以投时好也。数载相知，於朋友有责善之道，勿以冒渎为罪，是所冀於同调者。堇浦词兄，燮顿首。”罢归之初，杭世骏要么闭门不出、避人如仇，要么踟躇在距家很近的吴山幽径中。但有时他又会倒载而行，招摇过市，目无旁人地大声吟唱诗句。
家居著学
杭世骏性格伉直，恃才傲物。他甚至与礼部侍郎方苞发生辩论，引经据典，将一向以经学自负的方苞驳得无言以对。生活上也不拘细节，不喜欢看当时的邸报（邸报是当时政府的内部文告，只有一定地位的人才能看到）。他家居著书或讲学，闲居二十年，连当地与他年龄相仿的人做到了大学士、尚书、总督等政府高官，他全然不知道。一次，吏部尚书兼协办大学士刘纶去扬州安定书院看望他。他问刘纶：“现在做什么官?”刘纶回答说：“实不相瞒，已经做了很多年大学士了。”杭世骏感到非常惊讶。事实上，杭世骏除了平时讲学以外，把其他的时间都用于著书立说上了。尽管与他同一年考中“博学鸿词科”的许多人都做了高官，惟独他一人被遣放回家，但是他著的书却是这些人当中最多的。他较著名的书就有《两浙经籍志》、《经籍志》、《榕城诗话》、《词科掌录》等。杭世骏的诗在当时更是与厉鹗齐名，尝赋《方镜诗》二十四首，在京城被传诵一时。
乾隆十六年（1751）得以平反，官复原职。晚年主讲广东粤秀和江苏扬州两书院。