南朝宋升明三年（４７9年)四月，萧齐代刘宋。西汝阴郡改为南汝阴郡。治汝阴县（今安徽寿县城区），领汝阴、楼烦、安城、宋县、陈县、平豫、固始、新蔡、汝南侨县。北魏正始三年（５０6年)，南汝阴郡为北魏占据。郡废。