公元220年，孙吴于长沙郡西部设衡阳郡，辖今衡阳市、娄底市、益阳市、湘乡市、宁乡县、韶山市、等地。治蒸阳县（今衡阳市蒸湘区)。
晋因之。
南朝宋为衡阳王国。
公元589年，隋灭陈并改郡为州，衡阳郡入衡州。
唐天宝年间又将衡州改称衡阳郡，直至唐乾元元年才复用衡州。