Nach der Himmelfahrt Jesu befand sich Johannes in Jerusalem unter den etwa 120 versammelten Jüngern, als Matthias durch das Los ausgewählt wurde, der dann den 11 Aposteln zugezählt wurde (Apostelgeschichte 1,12-26). Er war dabei, als zu Pfingsten der Geist ausgegossen wurde, und er sah, wie der Gemeinde an jenem Tag ungefähr 3 000 hinzugetan wurden (Apostelgeschichte 2,1-13, 41). Er und Petrus beriefen sich vor den Vorstehern der Juden auf den Grundsatz: „
Ob es in den Augen Gottes gerecht ist, eher auf euch zu hören als auf Gott, urteilt selbst. Wir aber, wir können nicht aufhören, von den Dingen zu reden, die wir gesehen und gehört haben“
Apostelgeschichte 4,19-20
Auch vor dem Sanhedrin schloß sich Johannes den anderen Aposteln an, als sie sagten:
„Wir müssen Gott, dem Herrscher, mehr gehorchen als den Menschen“
Apostelgeschichte 5,27-32).
Nachdem Stephanus von wütenden Juden ermordet worden war, setzte eine große Verfolgung gegen die Gemeinde in Jerusalem ein, und die Jünger wurden zerstreut. Johannes und die anderen Apostel blieben jedoch in Jerusalem. Als durch die Predigttätigkeit des Missionars Philippus in Samaria viele veranlasst wurden, das Wort Gottes anzunehmen, sandte die leitende Körperschaft Petrus und Johannes hin, um diesen neuen Jüngern dazu zu verhelfen, den heiligen Geist zu empfangen (Apostelgeschichte 8,1-5, 14-17).
Später rechnete Paulus ihn zu denen in Jerusalem, die ‘Säulen der Versammlung zu sein schienen’. Als Glied der leitenden Körperschaft gab Johannes Paulus und Barnabas „die rechte Hand der Mitteilhaberschaft“, als sie ausgesandt wurden, um den Nationen (Heiden) zu predigen (Galater 2,9).
Um das Jahr 49 n. Chr. nahm Johannes an der Besprechung der leitenden Körperschaft teil, bei der es um die Streitfrage der Beschneidung bekehrter Nichtjuden ging (Apostelgeschichte 15,5, 6, 28, 29).