門内に伊賀忍者・服部半蔵の屋敷があったことより門名となる。つまり幕府は江戸城防御の最危険地域と見なしており、さらに番町と呼ばれる麹町口に旗本屋敷を集めて万一に備えた。