公元前87年，汉武帝刘彻去世。武帝临终前，将皇位传给了八岁的小儿子刘弗陵，同时霍光被任命为大司马、大将军，辅佐幼帝的重任落在了他的肩上。汉武帝死后，霍光开始辅佐年少的汉昭帝。他公正无私，赏罚分明，把国家大事管理得井然有序，但却也因此，得罪了不少朝中大臣，遭到朝中大臣的嫉恨。
左将军上官桀想把他年仅六岁的孙女嫁给汉昭帝，以谋得皇后的宝座，霍光坚决不同意。后来，上官桀在汉昭帝的姐姐盖长公主的帮助之下，阴谋得逞，终于让孙女当上了皇后。出于回报，上官桀和他的儿子上官安上奏希望册封盖长公主的人做侯，又遭到霍光的极力阻拦，这件事最终没有得逞。
为此，上官桀父子、盖长公主恨透了霍光，想方设法要陷害他，于是串通燕王刘旦出来反对霍光。有一次，霍光到长安附近的广明去检阅军队，并且调了一个校尉到他的大将军府里去。上官桀派人伪造了一份燕王的奏折，送到汉昭帝那里去告发霍光。看了奏章石汉昭帝毫无反应。第二天阅兵回来，霍光听说有人告发了他，就躲在偏殿里不敢去见汉昭帝，汉昭帝叫人召霍光进来。霍光一进来，就脱下帽子，伏地请罪。
汉昭帝抬手示意让他起来，原来汉昭帝早就知道有人存心谋害霍光，借霍光阅兵之事，诬告他意图叛乱。燕王远在北方，事情刚发生一天，他是无论如何也送不来奏章的，这封告密信一定是假的。汉昭帝不但没有治霍光的罪，并且当场下令，要追查假造书信的人。上官桀害怕昭帝追查得紧，他们的阴谋会露馅，假惺惺地向汉昭帝进言说：“这种小事情，陛下就别再追究了吧。”汉昭帝当时不想把事情闹大，只是想借此给这些诬告的人一个警醒，就表面上接受了上官桀的建议，但心里已经怀疑起上官桀。
上官桀等人并不就此罢休，事情才过去没多久，他们又设置了另一个阴谋。由盖长公主出面请霍光喝酒，在厅堂四周埋伏下武士，准备乘公主劝酒的时候，命武士们冲出来把霍光杀死，来个先斩后奏，然后再废掉汉昭帝，迎立燕王做皇帝。可是，这一个阴谋还没有来得及实行就败露了。霍光奏明汉昭帝以后，把上官桀意图谋反的乱臣贼子全部抓起来处死了。
公元前74年，汉昭帝不幸病逝，病逝时才只有21岁，昭帝走后身后没有留下儿子，霍光和只得和皇太后商量，决定迎立汉武帝的孙子———昌邑王刘贺，做皇帝。谁知这个刘贺荒淫无才，不理朝政，在他即位仅仅二十七天后，霍光下令将他废黜，另立汉武帝的曾孙刘询为皇帝，这就是汉宣帝。
公元前68年，霍光病逝。汉宣帝和皇太后知道后悲痛不已，亲自到霍光家里为他主持丧礼，将他十分隆重地安葬在茂陵(汉武帝的陵墓)旁边。霍光作为西汉王朝的三朝元老、托孤大臣，为西汉王朝的巩固、发展可谓是鞠躬尽瘁，赢得了宣帝的敬重。