三国两晋南北朝时期

三国鼎立时期，安徽分属孙吴和曹魏。江南和江北的一小部分属孙吴，其余则归曹魏。安徽全境分属八郡：汝阴(魏分汝南郡和沛国地立，后废)、谯（魏武帝分沛郡而立）、新都（东汉建安年间置）、丹阳、庐江、彭泽、安丰（魏分庐江郡置）、广陵等。
西晋统一后，又在安徽境内增置宣城、历阳二郡，改新都郡为新安郡，故安徽境分属十三郡二国：丹阳、宣城、淮南、庐江、新安、豫章、鄱阳、历阳、临淮、汝阴、谯、弋阳、安丰等郡以及下邳国、沛国。晋室南渡后，安徽境又分属十七郡三国：汝阴郡、淮南郡、临淮郡、钟离郡、顿丘郡、寻阳郡、历阳郡、上党郡、新安郡、晋熙郡、阳平郡、陈留郡、南梁郡、弋阳郡、南谯郡、南汝阴郡、宣城郡以及梁国、沛国、下邳国。
南北朝时，安徽境内南北长期分裂，政局变动频繁。全国虽然地方州郡县三级制不变，但数量猛增，辖区大大缩小。或地无百里，数县并置；或户不满千，两郡分领。以致民少官多，十羊九牧。安徽境内郡县设置同样很多。