永禄元年（1528），最上氏支流武永义忠在击败当地土豪小笠川氏后在上山筑。
后来，武永氏疏离最上家而亲近伊达辉宗。受到最上义光的讨伐后被家臣暗杀。
元和元年（1622），松平重忠入封后大肆整修。
在经过人为破坏后，元禄元年（1697）恢复。
