郡国并行制是中国古代的一种行政制度，即在中央政府下，设有多个郡国，各自独立行政。这种制度的实行时间相当长，但最终仍然被废除。那么，郡国并行制是在何时被废除的呢？

最初，郡国制是由秦始皇实行的，统一了中国各地的行政管理。然而，这种制度在汉朝时期逐渐演变成为郡县制。自此以后，郡县制逐渐成为主流的行政管理制度。唐朝时期，郡国制被重新使用，但在唐朝后期，由于各种原因，郡国制被逐渐废除。

总的来说，郡国并行制在中国古代的历史中，持续了相当长的时间。但是，随着时间的推移，这种制度的缺陷逐渐显现，而且在实际操作中也出现了许多问题。因此，郡国并行制最终被废除，郡县制成为了主流的行政管理制度。