在我国古代，“乌纱帽”原是民间常见的一种便帽。据说在南朝宋明帝时，有一位叫王休仁的，创制了一种用黑纱制作的帽子，称作乌纱帽。这种帽子很快在民间流行起来，无论是官员还是百姓都戴这种式样的帽子。当时，帽子的形状也不固定，有的卷成荷叶形，有的像高高的屋宇，有的还伸出两个黑纱“耳朵”。当时的纱帽既有用乌纱做的，也有用白纱甚至杂色纱制作的。这个典故在《宋书·五行志》中可以找到相关记录：“明帝初，司徒建安王休仁制乌纱帽，反抽帽裙，民间谓之‘司徒状’，京邑翕然相尚。”

唐代诗人杜甫在《季秋苏五弟缨江楼夜宴崔十三评事、韦少府侄》一诗中有这样的句子：“不眠瞻白兔，百过落乌纱。”意思是说他晚上睡不着望着月亮，月光不知道多少次映照在他的乌纱帽上。当时的杜甫并没有任何官位，可见，乌纱帽是百姓帽。

唐代诗人白居易在诗中也经常提到乌纱帽，比如他在《感旧纱帽》一诗中写道：“昔君乌纱帽，赠我白头翁。”说的是朋友把乌纱帽当作礼品馈赠给他。可见，当时的乌纱帽不可能是“官帽”。此外，白居易的《同诸客嘲雪中马上妓》一诗中还描写到一位“银篦稳篸乌罗帽，花襜宜乘叱拨驹”的歌妓。当时的乌纱帽还可以戴在歌妓的头上，并非男子专属。

宋元时期，并无将乌纱帽作为官帽的记载。在一些文学作品中提到的乌纱帽，也是人人可戴的百姓帽。元代钟嗣成有一首小曲《醉太平·落魄》，这样描写一位不得志的文人的衣着：“裹一顶半新不旧乌纱帽，穿一领半长不短黄麻罩，系一条半联不断皂环绦，做一个穷风月训导。”

在我国古代的大部分时间，乌纱帽并不代表官帽，而是上至天子、百官，下至一般士庶都可通用的纱制帽。它作为正式官服的一个组成部分，始于隋朝，真正将乌纱帽定为官帽的是朱元璋。从此，乌纱帽便成为官员的一种特有标志，只有当官的才能戴“乌纱帽”，平民百姓就不能再染指了。但到了清代，乌纱帽又被换成红缨帽。但时至今日，人们仍习惯将乌纱帽作为官员的标志。