服部氏是秦氏集团分组之一。至于何时移居伊贺？年代不大清楚。服部氏一族如何将「新乐」技能钻研演绎成兵法忍术？也没有详细史料可追本究源。总之，服部一族于15世纪上旬离开老家，归依三河大名松平清康（德川家康祖父），世代成为松平家家臣。服部一族中最有名的后裔是德川家康护卫武将之一，服部半藏正成（Hattorihanzoumasanari，1542－1596）。