从个人小节和私德而言，李林甫无疑有许多毛病，甚至极端卑鄙恶劣，但其大节及施政措施却给社会风气带来了积极影响。李林甫是纯粹的法家，坚持依法治国，甚至不惜拂逆皇帝。
750年，有一个在玄宗身边工作了很长时间的技术官员，因表现不错，玄宗决定放他到外面去做官。这个人在拜谢了皇上的大恩大德之后，斗胆提出一个请求，说他的女婿王如泚今年已经报考进士，希望圣上将原本赐予他的恩德转授给他的女婿，让女婿成为进士。唐玄宗答应了，让礼部有关官员给安排一下。礼部侍郎接到圣旨后去请示宰相李林甫，李林甫问：“王如泚的文章够得上进士及第吗?”礼部侍郎回答：“勉强能够及格。”李林甫说：“如果这样，不可以给他。明经、进士是为国家选拔人才的，如果皇上要特别优待，可以照顾他一个官职。现在把进士及第的功名给他，那以后拿什么考察人才呢?”李林甫立即让礼部侍郎把这话报给皇上。王如泚以为皇上恩准了就万无一失，于是设宴祝贺。结果，由李林甫负责的中书省下文书：“王如泚可依照条例参加考试。”王如泚听后非常尴尬。
抛开非奸即忠的观点看，李林甫能够成为唐朝在位时间最长的宰相，也应该有他的大节。从734年到737年，受玄宗委托，李林甫召集一批政法官员，进行空前绝后的法律条文的大修订。修订后的法律条文更系统化、规范化，操作起来也更简洁方便。而且，新法律很快得到了全面贯彻，成为当时唯一的法律准绳。739年，李林甫又领衔完成了一部名闻当时的行政法典—《唐六典》。除此之外，李林甫还对当时的财政和军事制度进行了改革，在一定程度上修补了官吏营私舞弊的漏洞，适当提高了职业军人的待遇。在他执政的十几年间，国家没有爆发大规模突发性事件，政局稳定，社会秩序良好。
一些官员被李林甫处理固然有官场倾轧、争权夺利的一面，但也是咎由自取。
张说的两个部下狐假虎威，凭借张说的权势，收受贿赂，张说又与非法出家的和尚王庆则来往，命王庆则在官署为自己占卜吉凶。张说由此遭到李林甫弹劾而被逮捕，他自知理亏，坐在牢房的草堆上，蓬头垢面，恐惧极了。
宰相宋璟的第四子宋浑与李林甫交好，被提拔为谏议大夫、东京采访使等职。然而宋浑为官不清廉，私德有亏，他在东京洛阳曾指使河南尉杨朝宗为他聘娶美貌性感的寡妇郑氏，包起了二奶，并借此贪污了几万贯。之后，他又以权谋私，奏请为杨朝宗升官为赤尉，作为报答。这些情况被人告发后，李林甫不徇私情，将宋浑由东京洛阳御史台就地调查法办，然后把他流放到岭南高要郡。
其实李林甫在世的时候，也没有沦落到人人“皆曰可杀”的地步。李林甫曾任国子监司业(副校长)，整顿教育，颇有功劳。他做了宰相之后，一次国子监的学生联名请示皇上，为他在国子监教学楼前立了一块纪念碑。后来李林甫有事来到国子监，见到碑，很不高兴，问：“我有何功建此碑呢?谁干的?”国子监的学生们生怕获罪，连夜铲除了此碑。
高适在《留上李右相》一诗中也对李林甫作出很高的评价，说他秉性宽弘而有原则、谦和而有主见、正直而不傲慢等等。当然，高适如此说是希望李林甫能提拔自己，其中不免有溢美之词，但总不至于颠倒黑白。可见，这样的评价是有实事求是的成分的。
752年，李林甫逝世。生前他和杨国忠有隙，死后杨国忠唆使安禄山诬告他谋反，唐玄宗追削其官爵，籍没其家产，将其子孙流配岭南。但天下人都觉得他是被冤枉的。
