张居正和万历皇帝的关系很复杂、也很微妙，比如说：开始，张居正开是万历的老师，在年幼的时候，明穆宗隆庆皇帝就把万历交给张居正做学生了；接着，在隆庆皇帝驾崩后，张居正不仅是万历的老师，似乎还类似于父亲一样对他进行教导与培养；之后，万历长大正式做了皇帝之后，张居正与他便又成了帝王与臣子的君臣关系。可见，张居正和万历皇帝的关系，是先老师与学生，再类似父与子，最后便是君臣。
但是，万历从小到长大，好像没有过快乐玩耍的童年，因为宫内有李太后，朝堂有张居正，这二人一直从到大都对万历严厉万分。那么，张居正为什么一直对万历这么好呢？可能可能还因为点李太后的关系。不过，此事只是野史上有一些传闻。但从历史上的一些记载又可以看出，万历对张居正开始是尊重，后来似乎变成了恨。但是，万历虽然越来越对张居正不满，但慑于李太后的震慑，他也一直没对张居正做什么。
因此一些野史传闻说张居正和李太后有所暧昧，虽然是野史，但也不一定不是空穴来风。因此，后来万历对张居正的恨，说不定多少和这事情有点关系。并且，张居正也因为此事而付出了惨重的代价，身败名裂：青年时期的张居正，和同朝为官的艾自修，是同科中举的。他二人在科举时，一起参加了当朝列举的“龙虎榜”殿试。但殿试之后，艾自修名列在最后，与“龙虎榜”无缘，张居正则位列“龙虎榜”首。
于是正值春风得意的张居正，一天碰到了艾自修，便一时兴起，拿艾自修的落榜而奚落他：“艾自修，自修没自修，白面书生背虎榜。”让艾自修对出下文。艾自修一时对不上来，并因此被刺伤心，他觉得是一种天大的侮辱，一直耿耿于怀，心中恨死了张居正，总想着如何地能给张居正一个狠狠的回击。
但是，要报仇谈何容易，张居正官居内阁首辅，权势倾野。不过，君子报仇十年不晚，机会总是会有的。果然，一天，上早朝的时候。艾自修想顺便拜会一下张居正。但到了张家之后，他从下人嘴里得知张居正在花园里赏花。于是他便悄悄地走进花园，可是他刚一进去，却一眼看到张居正的身影，在花园的假山旁边快速的晃了一下，便很快消失了。
于是他赶快走过去，见到假山旁边一个很大的石板，盖在一个洞口上，而且让他惊喜的是：这个石板正好卡住了，张居正所穿的衣服的袍角。艾自修见状，赶快扯下那块袍角，藏在自己身上。之后，他又一个悄悄地察看假山地洞的秘密：没想到他发现这个洞下面有一条暗道，而且这条暗道，直通到李太后娘娘的卧室里，这下他瞬间什么都明白了，然后，便迅速离开。
此后，艾自修断定张居正肯定与太后娘娘有染。这下可好了，他想：二十多年没有机会对出的下联，立即浮现在脑际：张居正，居正不居正，黑心宰相卧龙床！后来，艾自修为了报复张居正对自己的“龙虎榜羞辱”，便把下联写了下来，连同张居正的袍角，一块呈交给了万历皇帝。
结果可想而知，万历一看，便恼羞成怒。他仔细察看了下，发现张居正的袍角果然有缀补的痕迹。于是，不久他便给张居正找了个罪名，将他革官降职。不过，这事都是野史所传，并没有什么真凭实据，但也反应离张居正和万历皇帝的关系，真的很微妙很复杂。