山下法相、外国人労働者の人数「上限を設けることは考えていない」