隋置。
隋开皇十六年(596)置，治所在今河南登封市告成镇告成村。地处嵩山南麓，因以为名。辖境相当于今登封市东境、南境和禹州市相邻地。
仁寿四年(604)废。
唐高祖武德四年 (621)复置。辖阳城、嵩阳、阳翟、康城4县，其境地相当于今登封市和禹州市，治所在阳城(今登封市告成镇告成村)。
贞观元年(627)，析出阳翟县属许州。
贞观三年，废嵩州及康城县，阳城、嵩阳县属洛州。