Sus restos por mucho tiempo reposaron en el Cementerio de San Lorenzo de Roma (Italia) y de allí por disposición del sumo pontífice Pío V fueron donados a la iglesia parroquial de San Cristóbal de Barcelona,Venezuela; tras su inauguración en 1773 en donde el Glorioso San Celestino el Mártir llegó el 8 de diciembre de 1777. Esto convierte a la catedral barcelonesa en la primera iglesia del Hispanoamérica que tuvo los restos totales y originales de un santo.
Hablar de San Celestino es remover uno de los más hermosos sentimientos de los cristianos del estado Anzoátegui y en especial de los barceloneses quienes se siente orgullosos de conservar sus restos, su espada y sus vestimentas de oro las cuales en varias ocasiones fueron robadas y recuperadas durante las guerras del siglo XIX.
En la actualidad San Celestino es masivamente visitado y conservado con mucho celo en su capilla de catedral de Barcelona,Venezuela.Los restos de San Celestino mártir se veneran en un relicario barroco ubicado en una pequeña capilla en el altar a la izquierda de la iglesia.