Le souci de la continuité, le souci de garder le dépôt de la foi (1Tm 6,20 ; 2 Tm 1,14) et de le transmettre à d'autres générations (2Tm 2), la transmission de la charge ecclésiastique (office) par les apôtres eux-mêmes (Ac 1,20-24), le caractère collectif autant que solidaire des premières communautés chrétiennes (1 Th 4,6), le titre de "pasteurs", titre qui convient d'abord au Christ et que Jésus avait donné à Pierre (Jn 21,15-17), ainsi que la nécessité de l'interprétation de l'Écriture dans le sens de la tradition apostolique (2 P 1,16-20 ; Ac 8,27-35) sont autant de traits particuliers de l'Église primitive qui existent toujours.
Selon Saint Jérôme (340-420) écrivant en 379 ap. J.-C., "la seule vraie Église a été fondée par les Apôtres et continue dans leurs successeurs jusqu'à ce jour ; Les hérétiques ne peuvent pas utiliser la Bible comme excuse pour rejeter ses enseignements.
" Nous devons rester dans cette Église qui a été fondée par les Apôtres et qui continue jusqu’à ce jour. Si jamais vous entendez parler de ceux qui sont appelés 'chrétiens' et qui tirent leur nom non pas du Seigneur Jésus-Christ, mais de quelque autre, par exemple, des Marcionites, des Valentiniens, des Hommes de la montagne ou de la plaine, vous pouvez être sûr que vous n’avez pas là l’Église du Christ, mais la synagogue de l’Antéchrist.
"Car le fait qu’ils aient pris leur essor après la fondation de l’Église est la preuve qu’ils sont ceux dont l’Apôtre a prédit la venue.
" Et qu’ils ne se flattent pas s’ils pensent qu’ils ont l’autorité de l’Écriture pour leurs affirmations, puisque le diable lui-même a cité l’Écriture, et que l’essence des Écritures n’est pas la lettre, mais le sens.
(Saint Jérôme," Dialogue avec les lucifériens", § 28, 379 apr. J.-C.)