宋室之后
宋太祖赵匡胤十一世孙、秦王赵德芳嫡派子孙。
赵孟頫于宋理宗宝祐二年九月十日（1254年10月20日）生于吴兴（今浙江省湖州市），为宋太祖子秦王赵德芳之后。其五世祖为宋孝宗的父亲、秀安僖王赵子偁、四世祖为崇王赵伯圭，因孝宗赐赵伯圭宅第于湖州，故而他的后代子孙成为湖州人。赵孟頫的曾祖赵师垂，祖父赵希戭，父亲赵与訔，亦皆仕于南宋，官衔颇高。嫡母李氏，生母丘氏。祖父早死无子，由祖母收他为后。赵孟頫为赵与訔第七子。他十一岁时，父亲去世，由生母督学。
赵孟頫自幼聪敏，读书过目不忘，下笔成文，写字运笔如风。十四岁时，赵孟頫因其家世代为官亦入补官爵，并通过吏部选拔官员的考试，调任真州司户参军。
南宋灭亡后，赵孟頫一度蛰居在家。丘氏说，“圣朝必收江南才能之士而用。你不多读书，如何超乎常人？”他因而愈加努力，拜老儒敖继公研习经义，学业日进，声名卓著。吏部尚书夹谷之奇举荐赵孟頫为翰林国史院编修官，但他辞不赴任。
秦王赵德芳
赵德芳（959年—981年），宋太祖赵匡胤第四子，宋太宗赵光义之侄，宋真宗赵恒的堂兄，北宋宗室。历任检校太保、贵州防御使、兴元尹、山南西道节度使、同平章事、检校太尉等。太平兴国六年（981年）病逝，年仅22岁，追赠中书令、岐王，谥号康惠。后加赠太师，改封楚王、秦王。
《宋史·宗室传》对赵德芳之死用了“寝疾薨”三个字，因病医治无效死亡。六世孙为宋孝宗赵眘，七世孙为宋光宗赵惇，八世孙为宋宁宗赵扩。
开宝九年（976年），赵德芳出阁，宋太祖赵匡胤授其为检校太保、贵州防御使。[3-4]同年四月，曹翰攻克江州，宋太祖下诏增加赵德芳的食邑户数。十月，宋太祖赵匡胤去世，赵德芳叔父、晋王赵光义继位，是为宋太宗。宋太宗赵光义继位后，授任赵德芳为兴元尹、山南西道节度使、同平章事。
太平兴国三年（978年）冬天，加任检校太尉。
太平兴国六年（981年）三月，赵德芳病逝，年仅二十二岁。宋太宗亲临哭祭，废朝五日，追赠赵德芳为中书令、岐王，谥号康惠。后来加赠太师，改追封为楚王。
宋徽宗时，改追封为秦王。