唐秘书监颜师古五世从孙，颜真卿从兄，史称颜常山、颜忠节。颜杲卿初任范阳户曹参军，升任营口判官，后代理常山（今河北正定）太守。

755年，安史之乱爆发，他与其子颜季明守常山，他与时任平原太守颜真卿联络，共同抵抗叛军，深受唐玄宗嘉许。他设计杀安禄山部将三人后起兵，被加授为卫尉卿兼御史大夫。

756年叛军围攻常山，擒杀颜季明。颜杲卿率领军民，顽强抵抗，但终因寡不敌众，城破被俘。安禄山令部下将颜杲卿捆在柱子上，砍掉一条腿，他仍大骂不止，又钩掉他的舌头，颜杲卿毫无畏惧，仍瞋目怒骂安禄山，最终遇害。

758年获赠太子太保，谥号忠节，782年加赠司徒。《唐文拾遗》录其文一篇。