关于韩愈服硫黄的最早证据，是白居易的《思旧》一诗。诗中有“退之服流黄, 一病迄不全”一句。本来，学界对于“退之”是谁尚有争议，不过随着卞孝萱先生《“退之服硫黄”五说考辨》一文的问世，这里的“退之”指的就是韩愈当无疑义。
五代陶谷《清异录》中记载，韩愈晚年好色，于是把硫黄末搅拌进鸡饲料里喂小公鸡，这种小公鸡做熟之后叫“火灵库”，韩愈每天吃一只，效果还不错。不过这么吃哪有不伤身的，韩愈也因此而逝。唐时社会繁荣，故而士大夫生活难免奢靡，酒色歌舞之好几乎人所共有。比如白居易就有著名的侍妾樊素、小蛮，白居易的好基友元稹与韦丛、薛涛、刘采春等人的情感纠葛也为人津津乐道。韩愈作为文坛领袖，这一点也不遑多让，有妾绛桃、柳枝，都是能歌善舞，善于吟咏答对的人物。当时社会如此，后人也无需非议。