韩愈两次打破陈规，名声越来越大。皇帝也开始注意到他，并提拔他为监察御史。
公元803年，关中大旱，民不聊生。
韩愈上了一道奏折《御史台上论天旱人饥状》，描述当时首都“弃子逐妻以求口食”的惨状，结果触怒了首都市长（京兆尹），也是皇亲国戚的李实。位高权重的李实岂能容忍他人指摘自己政绩不佳。于是，韩愈被贬到了距离长安四千里远的广东阳山。
韩愈遭贬，心情郁闷。“我心如冰剑如雪，不能刺谗夫，使我心腐剑锋折”，他自比“利剑”，恨不能剑刺李实那样的“谗夫”。
阳山是穷乡僻壤，韩愈来到此地后，徒叹：“阳山，天下之穷处也。”
所谓阳山县令，其实是光杆司令，“官无丞尉”，县衙里连基本工作人员都没配齐。
阳山讲的可能是古粤语，“言语不通，画地为字”，韩愈只能蹲地上写写画画，进行沟通。
此外，“冠欹感发秃”，和现代人一样，韩愈也面临“脱发”之类的烦恼。
人到中年，事业无望。换做一般人，可能真的就消沉了。
但韩愈不是一般人，他是有着修齐治平理想的“士”。越任重道远，他越是弘毅。
他走基层，聆听民间疾苦声，与群众打成一片。工作之余，专心著述，笔耕不辍。