虎牢關早在春秋時便已經存在，到漢朝改虎牢為成皋，置成皋縣，虎牢關也變成了成皋縣城。這就是所謂的秦時為關、漢時乃縣。

到了南北朝時期，或隋唐時期，又復置虎牢關。

另據唐代《元和郡縣誌》及明代《汜水縣誌》虎牢關與玄門關非同一座關卡，兩關雖相去不遠，但所處地理位置不同。而東漢時，玄門關在成皋縣境內。

故整個東西兩漢之間，無虎牢關之說法。