霉菌不是一个分类学上的名词，而是一些丝状真菌的通称。在分类学上，霉菌分属于藻状菌纲、子囊菌纲和半知菌纲。
霉菌菌体均由分枝或不分枝的菌丝构成，构成1个菌体的全部菌丝称为菌丝体。菌丝是纤细的管状体，直径约2～10微米。有些霉菌的菌丝无隔膜，为多核细胞，如根霉（Rhizophus）、毛霉（Mucor）等。大多数霉菌的菌丝有隔膜，隔膜将菌丝隔成多细胞结构。
霉菌的菌丝有一定程度的分化，部分菌丝长入培养基内称为营养菌丝，伸出培养基外的称为气生菌丝，由于气生菌丝上常产生孢子，又称繁殖菌丝。有的菌丝产生色素，呈现不同颜色。
大部分霉菌的细胞壁由几丁质组成，几丁质为N-乙酰葡萄糖胺凭借由β-1，4葡萄糖苷键联接的多聚体。霉菌的细胞核具核膜，因此其细胞为真核细胞。
霉菌的菌落由分枝状菌丝组成。由于菌丝较粗而长，形成的菌落比较疏松，呈绒毛状、絮状或蜘蛛网状，一般比细菌菌落大几倍到几十倍。由于霉菌的孢子具有不同形状、结构和颜色，因而使得菌落表面呈现出肉眼可见的不同结构和色泽。