御三卿の一つの清水徳川家がこの御門内にあった。