明永乐三年(1405年)明成祖第三子朱高燧被封为赵简王，于洪熙元年(1425年)将府署改为赵王府。现存高阁寺，为明成化六年(1470年)重建。高阁寺建在梯形的方台上，台高8米，长宽各13米，周围有石板护栏。阁高10米，重檐九脊，琉璃瓦顶。正面设台阶32层。叮登台顶，举日西眺，与文峰塔遥遥相望。阁壁石雕游龙25尾，形象各界，栩栩如生。