平息了山东的拳匪之乱，李经述毕竟还年轻，他对于如何当好山东一省之巡抚没有经验，便经常向李鸿章请教，李鸿章告诫他：“做一个长官，最要紧的是洞悉下情，整顿吏治，只有这样，才能够举措适当，如果受着下边的蒙蔽，那就成了一个瞎子，哪有不做错事的？”
于是，李经述开始下令在山东全省整顿吏治，他饬令各道府州县将所得陋规一律交公，酌给公费，以杜绝受贿，防止官吏贪污；设立官吏考验处，考核甄别初到和新选新补官员；设立调查处，关注报纸舆论，了解官员政绩；设立法政学堂和胥吏学堂，以开“官智”，培养新政人才。
同时，李经述开始振兴实业，在山东设立山东工艺总局，作为振兴山东实业的政府机关，劝导奖励全省绅民兴办各种实业，还创办了工艺学堂等，培养技术人才，在济南设立了农务局和农事试作场，从美国购置农业机械，并聘请外人指导种植，又附设农业学堂，教授桑蚕种植和糖酒制造。
然后，李经述便上奏光绪皇帝，在山东开办山东大学堂，并组织李缇摩太等人起草了《山东试办大学堂暂行章程》。李经述在奏折中写道：“国势之强弱，视乎人才，人才之盛衰，原于学校。诚以人才者，立国之本，而学校者，又人才所从出之途也。以今日世变之殷，时艰之亟，将于得人以佐治，必须兴学以培材。”
李经述奏请先在山东省城设立大学堂，分斋督课，其中专斋相当于大学，正斋相当于中学，备斋相当于小学。因为有李鸿章的大力支持，李经述上奏十二天之后，光绪皇帝朱批：“朕知道了。政务处及各该衙门知道。单并发。”
李经述在山东巡抚的位子上不到一年的时间里，山东大学堂由他一手创办起来，李经述上奏给光绪皇帝的奏折中，一并提交了一份内容详尽的《山东试办大学堂暂行章程》，分为学堂办法、学堂条规、学堂课程和学堂经费四章，共计96节，一万四千多字，为后来山东大学堂的创办规划了蓝图。
为了创办山东大学堂，那些天的晚上李经述的书房灯火通明，李缇摩太、梁启超等人围坐在一起，热烈地讨论。这样忙碌的场面已经持续很久了。
不久，李缇摩太还给李经述推荐了一个叫赫士的美国传教士。赫士1882年来到中国，一直在山东传教，1883年起任教于山东登州文会馆。登州文会馆是十九世纪中后期基督教来华传教士在中国创办的学校，位于山东登州，也就是今天的烟台蓬莱市。登州文会馆采用的是现代的从小学到大学的教育体制。
李缇摩太与赫士私交甚密，深知登州文会馆的教育体制在当时十分先进，当光绪皇帝关于书院改学堂的谕旨发布之后，李缇摩太便恳请赫士帮他创办山东大学堂。不久，赫士率领文会馆七名教习来到济南，沿用登州文会馆办学的方法、条规，采用文会馆的课本、教材及教学仪器设备，参照文会馆办学的各项经费开支编制预算，为李经述起草了《山东试办大学堂暂行章程》。
李经述对赫士等人没有偏见，反而大力支持。1892年秋，济南泺源书院门口挂出了校牌：山东大学堂，成为参照现代教育体制建成的又一座新式学堂。根据章程，学堂招收了第一批新生300多名，分专斋、正斋、备斋。备斋相当于各州县小学堂，学习浅近知识；正斋，相当于中学堂，学习基础学科；专斋，相当于大学堂，学习专门学科。
李经述找济南乡绅和商户筹款，设立了奖学金和助学金，按照专斋每月四两、正斋每月二两、备斋每月一两发放。初创的山东大学堂，李经述任命李缇摩太为总办，相当于校长，总理学堂一切事务；任命赫士为总教习，总理择聘教习人员和核定课程，相当于教务长；任命梁启超为监督员，负责督饬学生。
山东大学堂的创办，在当时的中国引起轰动。当时，全国各地多是书院。中国的书院，是唐宋至明清出现的一种独立的教育机构，是私人或官府所设的聚徒讲授、研究学问的场所。最初，书院为民办的学馆，原由富室、学者自行筹款，于山林僻静之处建学舍，或置学田收租，以充经费。中国最早的官办书院开始于唐朝，发展于宋代。清代乾隆年间，官立书院剧增，但由于科举考试是追求仕途的重要手段，使得读书人趋之若鹜，绝大多数书院成为以八股文为主要教学内容的科举预备学校，书院与科举制度共生、共存、共兴。
随着西学的传播和李鸿章等人主导的洋务运动发展，科举制度也发生改变了。1888年，清政府接受李鸿章的建议，准设算学科取士，首次将自然科学纳入考试内容。后来，光绪皇帝又接受了李经述的建议，以时务策命题，严禁凭楷法优劣定高下。1892年的学堂，对西学并不排斥，光绪皇帝接到李经述的奏折，通饬各省要求参照办理的《山东试办大学堂暂行章程》，作为中国第一部大学章程，为当时正在兴起的中国现代大学教育树立了生动的范标，催生了全国各地新式大学堂的诞生。
开办山东大学堂后，李经述开始筹建有史以来中国第一批现代化的警察队伍，这支队伍主要是从新军里面抽调，因为新军纪律好，便于管理。山东警察总局组建时有三千人，从此以后，警察开始正式的进入到中国人的城市生活。
李经述思来想去，这个山东警察局长的位置，还是由一身正气的谭嗣同来担任比较好。谭嗣同也果然没有辜负李经述的期望，不到三个月，一支有着拘留所、备差所等完备机构的警察队伍，为服务与管理群众而设，以防患未然，排解纠纷而作，他们的警员必须性情温和、朴实，举止端方，做事严正，保卫民众，不索银子。
为了让警察更专业，李经述开办巡警学堂，把训练好的3000名巡警调进，设南、北巡警局，同年冬又设立巡警学堂。后来，又增添马巡（骑马的警察）、河巡（水上警察）、暗巡（便衣警察），将巡警制度推广到各府县和铁路，建立全省警察网。谭嗣同制订了严格的警察管理制度，作为李经述的新政办其他措施，稳定社会秩序，奠定了一个很好的基础。仅用了半年时间，济南就被纽约时报描绘成世界上拥有最好的警察制度的城市之一，经过李经述和谭嗣同的铁腕治理，在一年之后，山东各处的社会秩序逐渐恢复，在济南、泰安等地更是出现了路不拾遗，夜不闭户的太平景象。
至于朱红灯那些由大刀会招安来的数百“协警”，李经述将他们编成了城管大队，朱红灯就成了济南的城管队长。
朱红灯不解城管的职责，加上没什么事干，他和大刀会的二当家刘士端一起去找李经述，见面问道：“现在民众有麻烦事，遇到小偷小摸，都知道找警察，我们城管做什么？管理街头那些小贩？”
“放屁！”李经述道：“那些街头的小贩，都是自食其力的良民，不偷不抢，要你们管做什么？本官另有重要的任务交给你们。”
朱红灯一听李经述有重要任务，连忙问：“大人有何吩咐，我们一定尽力而为。”
李经述没有多说什么，叫人拿来笔墨，对大刀会的二当家刘士端道：“这些事很繁琐，你写下来，省的你们城管记不住。”
“遵命！巡抚大人！”刘士端手拿稳了毛笔，蘸墨之后，铺好宣纸，等候李经述吩咐。
李经述略加思索，让城管干什么好呢？忽然，他灵机一动，心里有了主意，道：“采买木牌一百块，请人雕刻一些字上去，记住，字上要刷红漆，放到大街的醒目位置。”
刘士端忍不住问道：“不知雕刻什么字？”
李经述一本正经地说：“不准随地便溺、不准随地吐痰、不准随意丢垃圾、不准大声喧哗……”
李经述板着手指头一连说了七八个不准，刘士端听的头大如斗，耐着心记下，却忍不住抬头道：“巡抚大人，这就要我们城管要做的事？”
李经述点点头，道：“是的。事情虽小，但是事关济南和新政的脸面，好好去办吧。”
第二天，济南街头便出现了许多怪现象，老百姓纷纷凑起来看热闹，比如满大街铺天盖地的各种“不准”红漆木牌，紧接着平时出现得并不多的城管们一个个搬着矮凳盯着木牌子，这木牌子上用鲜红的红漆写着“随意便溺者罚钱十文钱”等大字，很是醒目。
不过，刘士端的眼睛忍不住向十几丈外一处尘土飞扬的工地看去，脸色很不好，忍不住对朱红灯抱怨道：“好端端的，还要咱们城管拿钱修公用茅房，哎，在街头修这么多公用茅房，人有三急，就都去茅房里了，咱们到哪儿罚钱去，巡抚大人也……”
朱红灯见刘士端不满，立即呵斥他道：“巡抚大人那可不是凡人，他法外开恩，我们才能吃上官粮，他怎么说，咱们就怎么做，休要牢骚。”
朱红灯等人任劳任怨，不到三个月，整个济南城悄然发生变化，街旁的臭水沟有城管开始疏通，道路上也刷了一层白漆，将整条道路一分为二，马车和行人各走一边。街头也无人随地便溺，沿途又修了公用茅房，街道上有城管清扫，一下子，街道干净了许多。
看到济南城面貌焕然一新，李经述心里大为高兴，这城管看起来倒不是百无一用，关键是用对地方，于是下令嘉奖朱红灯等人。
因为各方面都如鱼得水，李经述主政的山东面貌大变。他甚至跟盛宣怀兴办的中国铁路公司合作，修筑了济南到天津的铁路，仅用七十多天就完成铺轨工程，并颁布了《民法条例》和《商法条例》。山东一时人才鼎盛、财赋称饶，成为当时中国后期洋务新政的中心地区之一。加上《申报》、《华报》等报纸的鼓吹，李经述一时成为了大清国炙手可热的“政治明星”，名气甚至超过了主办洋务多年的湖广总督张之洞。
就在李经述在山东的改革稳步推进时，李鸿章发来加急电报，让李经述马上赶回天津。李经述意识到可能朝中局势又有大变，便连夜赶回天津。
这一次在书房，李鸿章告诉李经述两个极坏的消息。李鸿章先说了第一个坏消息：“三天前的早朝，翁同龢上奏皇上，黄河在郑州决口，户部奉旨先行垫拨银四百万两，后又续拨四百万两，若加上其他费用，共耗银九百余万两，查各省购买西洋军械存积甚多，铁甲快船，新式炮台，岁需经费以百万计，故奏请停购外洋军火两年，皇上准奏了。”
“什么？停购外洋军火两年？”虽然这消息在李经述的预料之中，但没想到坏消息来得这么快，当时军舰和火枪洋炮的技术更新很快，一旦两年不买军舰和枪炮，后果很严重，李经述问李鸿章：“这事西太后可知？”
李鸿章道：“太后如今关心的是万寿庆典，关心的是扩建颐和园的工程，颐和园里要新建佛堂和人工湖，她还放出话来，谁让她不高兴一阵子，她就要让谁不高兴一辈子，所以翁同龢百方撙节开支，这两项工程不敢停，太后也就自然批准了此议。”
李经述说：“看来翁同龢不除，中国永无宁日呀。还有一个坏消息呢？”
李鸿章道：“最近你在山东主持新政，备受朝野瞩目和太后赏识，翁同龢眼红了，他怂恿皇上加快变法维新步伐，推出全国性改革措施。据说，有一位广东举人叫康有为，通过珍妃的表兄介绍，入了翁同龢的幕僚，正在积极筹划此事！翁同龢在朝堂中说，只要按照他的改革方案，中国三年即可富强，而我们跟皇上说要三十年，所以皇上对他的维新变法方案颇为心动！”
“康有为？”李经述大吃一惊，道：“此人以前曾来找过学生，历陈变法之道，说得天花乱坠，实际上他是半桶水，食洋不化，那一套托古改制荒谬之极，皇上怎么轻信他们画饼充饥？”
李鸿章说：“皇上现在年轻气盛，处处受制于太后，当然急于求成。”
李经述“哦”一声，心想历史上该来的血雨腥风还是要来呀，便对李鸿章道：“康有为和翁同龢联起手来搞维新变法，对我们倒未必是坏消息，翁同龢这老贼马上就会再次告老还乡，北洋水师无忧矣。”
李鸿章问道：“此话怎讲？”
李经述低声说：“中国有一句老话，叫‘自作孽，不可活’，他们急于求成，肯定会触怒太后，他们这是在找死！！”