弘治四年（1491年）十月，丘濬以太子太保、礼部尚书兼“文渊阁大学士”，参与国家大政，遂行宰相之职。然而就在他入阁前几个月，原担任内阁首辅的刘吉却被免了职，这一进一出，刘吉大生疑惑，认为是丘濬背后搞的鬼。刘吉为此大为恼怒，私下里骂他为“南蛮子”，还特地撰了一副对联侮辱他：“貌如卢杞心尤险；学比荆公性更偏。”意谓丘濬像貌不雅，丑如唐代的奸相卢杞，而才学与宋代的王安石一样，性情比王安石还要偏执。这显然是不顾事实的恶意中伤。
刘吉之所以被踢出内阁，是因为他耍手段阻挠孝宗皇帝的“家事”，与丘濬全无干系。而刘吉此人的“为官之道”早为当时朝野人士所不齿，原来，他做官专为混日子，四面讨好。在明宪宗（孝宗之父）时，他与万安、刘珝同为内阁成员，安为首辅。三人专务吃喝享乐，尸位素餐，国家大事由太监汪直专政把持，内阁成为虚设，故人称此三人为“纸糊三阁老”，孝宗早就无意留他。然而尽管这“纸糊三阁老”的所作所为常引起公愤，遭到言官的弹劾，但这个刘吉惯来圆滑善变，你越弹，他越升官晋爵，孝宗即位后，尽管并不看好他，还是能够留任，真是像棉花一样，越弹越发。所以在这之前，早就有人送他一个绰号叫“刘棉花”。后来，刘吉打听得起这绰号的是一个屡试不第的国子监老生员。而凑巧的是，当时丘濬官居礼部侍郎掌管国子监（即国家太学校长），因此刘吉便怀疑讥讽他为“刘棉花”一事定出于丘濬的主谋。
但丘濬为官清廉正直，若想找他的茬子，实在是无懈可击，于是“啃不动硬的，专挑软的捏”，以他内阁大学士的权势，奏请宪宗皇帝下诏，今后凡是三次考试不第的举人一概不许再试。不仅如此，还借机大整那些与己不合的朝中大臣。这些行为，都是丘濬亲眼所见，当然与他水火难容。刘吉既以对联侮辱丘濬，可是他还未离开京城，也有人给他送了一副对联，道是：“泥塑纸糊，全没心肝如木偶；弓弹椎碾，更无骨节似棉花。”因为当时，除了“纸糊三阁老”外，社会上还有“泥塑六尚书”之讥，所以谓之“泥塑纸糊”。刘吉看到这副与他针锋相对、入木三分的讥刺对联，可说是气急败坏，又怀疑是丘濬这个“南蛮子”所为，但罢官在即，大势已去，也只有干瞪眼而已。
据《明史》所载，弘治四年，与丘濬同时入阁的还有洛阳人刘健。刘健其人，与丘濬一样，博学多识，闭户苦读，处事稳健，人称“木强”（意即刚强不屈）。他与丘濬一样都是因为参与编修《宪宗实录》有功，被提拔为礼部尚书，又是因此而先后进入内阁。但此前，丘濬还参与编修《英宗实录》，那时他还只是个“侍讲学士”，却在编修的过程中充分表现出刚正不阿的耿介气质。
当时参与编修的某些人为讨好宪宗，主张把被明英宗（宪宗的父亲）处决的民族英雄于谦作为“叛逆奸臣”写进实录中。丘濬力排众议，坚决抵制于谦是“叛臣”的诬陷之辞，公开置辩：在“土木堡事变”后，若没有于谦的誓死拱卫北京，大明的江山早就岌岌可危了！事情过去这么多年了，是非曲直大家心里都明白，为何还要让于谦来背这“叛逆”的黑锅？由于他义正词严的置辩，最后没有将这种诬陷之词写入《英宗实录》。这一史实，说的是明英宗于正统十四年（1449年）听信宦官王振的怂恿，轻率出兵，被瓦剌部首领也先俘虏，其后，北京被围，明朝面临亡国之险。兵部尚书于谦受命拱卫京都并拥立英宗的弟弟朱祁珏为景泰帝，击退了瓦剌部的围攻。
不久，明英宗被也先释放回京，却在亲信徐有贞等的策动下，发起“夺门之变”，废了景泰帝，重登帝位，改元天顺元年，并在徐有贞等人的唆弄下，诛杀了护国有功的于谦。刘健是英宗改元后，于天顺四年中进士的，对这段史实应十分清楚，对丘濬为于谦辨白的事也应是明白的，是否同意丘的观点另当别论，但对丘濬的为人从此应有所了解。
丘濬生性耿直，遇事认理不认人。他对刘健的好学深思颇有好感，所以两人在内阁相处，还没有听说过像与刘吉那样的针锋相对的矛盾。但《明史·丘濬传》说他们两人有时因某些时政问题在朝堂上强辩不休，各不相让。有时争到激烈之处，丘濬甚至将官帽子掷于地上，表示即使不做官也要坚持真理。但争论归争论，私下里两人也没有像与刘吉那样誓不两立。
有一次刘健对人说：“丘仲深（丘濬的字）有一屋子散钱，但没有串钱的绳子。”意思是说丘濬虽然学问广博，但缺乏系统，散乱无章，能够解决实际问题的不多。丘濬听到后，也不谦让，立即反讽道：“刘希贤（刘健的字）有一屋子串钱的绳子，但没有散钱。”意思是刘健处事虽善于抓住要害，善断多谋，但见识不广，不能解决更多的问题。两人可谓各有所长，都见到了对方的长处和短处。
丘濬与刘健在内阁相处的时间不长，弘治八年（1495年）丘濬逝世，此后，刘健还在内阁任职，一直是孝宗皇帝所倚重的能臣。
在弘治内阁中还有一位重要的人物王恕，年纪比丘濬大。孝宗即位时，王恕本已退休致仕，但念及他在宪宗朝执掌吏部的功绩，特亲自下诏请他还朝。作为“三朝元老”，王恕确是有功之臣。他执掌吏部期间，为朝廷选拔了许多能臣，门生故旧遍布朝野，“人脉”极厚。但晚年还朝之后，却有点“功德圆满，傲然自恃”的情怀。每天上朝时，都是他在皇帝面前首先奏报，别人都等候他讲完才开腔。他对丘濬的入阁似乎很不满。虽然他作为六部之首的吏部尚书，一贯也讲原则，不许人行贿买官，但看到丘濬却从不因为他身居吏部而对他有丝毫亲近附和的表示，反而在朝政问题上有时不惮与他争辩是非曲直，让他感到被轻忽挑战的味道。故此两人从不来往，见面也不打招呼。
弘治六年，王恕主持吏部考核天下群吏，决定罢黜二千多人。丘濬上奏反对，认为这其中有的官员上任还不满三年，如果没有贪污渎职等行为的话，不应统统罢黜。结果皇上准奏，经过认真考察，留下九十多人。王恕因此觉得很没面子，益发恼怒丘濬。但丘濬入阁不是走王恕的门路，而是孝宗皇帝亲自下诏选定的，所以对于王恕的迁怒不以为意。而王恕的门徒们却造谣说这九十人中有丘濬修《宪宗实录》的同僚，希望通过丘的关系得到提拔重用，却被王恕刷掉了，所以丘才发难；又造谣说，丘之所以能入阁是因为向皇上进奉一种“阁老饼”，皇上吃了喜欢，才提拔他。
丘濬对这些流言一概不予置辩。又有一太医院判名刘文泰，曾经请托王恕关照自己的升迁问题，但达不到目的，心存怨愤。刘经常到丘濬家看病，关系甚密，从丘濬处了解到王恕退休在老家时，曾让人刊印了一本《大司马三原王公传》，广为流传。刘文泰弄到该书读后认为该传中，王恕自比为周公，“彰一己之善，显先帝之过”，失人臣之礼，于是写成奏章，请被王恕除名的御史吴祯帮忙润色，连同本书一起告到皇帝那里。王恕急忙为自己辩解，并声称刘文泰的奏稿出自丘濬之手，希望一并追究丘濬之责。孝宗下诏将刘文泰逮捕入锦衣卫狱审问，才知道实出自吴祯之手，与丘濬无关。
孝宗因上述种种问题，于是对王恕有了看法。而王恕本想借此机会扳倒丘濬的企图也落了空，故而恼怒在心提出要退休致仕。孝宗马上就批准了，并且不按惯例给予他应有的待遇，算是灰溜溜滚回老家去了。但王恕门徒众多，而明代的官场风气“不务举贤进能，又不平心静气，而专务于分门立户，各怀偏见”（《明史·邹元标传》），所以丘濬在这件事上一直处于被指责的尴尬地位，连清代的纪昀在评价他的《大学衍义补》一书时竟也说他“相业不可称”，“其人不足重”，显然是不顾史实的过分贬抑之词。
