穷人的孩子早当家。

根据史料记载:赖的祖籍地在福建漳州。清朝时，赖家人渡过海峡来到台湾省，寻寻觅觅，最终落脚在台北县金山、万里一带。

赖出生在一个贫困矿工家庭。他的父亲赖朝金是一名煤矿工人。赖在三个月大时，赖朝金因矿灾骤然离世，活了33岁。

赖后来说：一九六〇年一月八日，父亲因意外失去宝贵的生命，他留给我最大的资产就是贫穷。