La 25 ianuarie 1959, au trecut doar 99 de zile de la alegerea lui Ioan al XXIII-lea. pe tronul papal. În acea zi după slujbele din Bazilica St. Pavel, căruia îi erau invitați în mod special cei șaptezeci de cardinali prezenți la Roma la acea vreme, papa și-a anunțat decizia de a convoca un sinod roman și un consiliu general la Roma în viitorul apropiat. Sinodul Romei urma să discute situația din Biserica italiană. În ceea ce privește consiliul general, papa și-a exprimat speranța că toate „bisericile care s-au despărțit pentru a încerca să se reunească” vor lua parte la el. Consiliul a fost pregătit timp de aproape 3 ani. Au fost pregătite 70 de documente pentru ședința Consiliului. În tot acest timp Ioan XXIII. a lucrat neobosit. S-a îngrășat mai mult în trei ani, arătând mai încăpățânat, bolnav, dar un zâmbet prietenos nu i-a dispărut de pe față. Papa știa că este bolnav în fază terminală. Medicii l-au diagnosticat cu cancer de stomac, dar el a refuzat să fie operat. La vârsta sa, operațiunea a fost asociată cu un risc mare și a vrut să stea în picioare pentru a vedea deschiderea consiliului.
În cele din urmă a venit septembrie 1962, pe care îl aștepta atât de mult. Jurnaliști, comentatori de radio și televiziune, turiști și, bineînțeles, părinții sinodului - cardinali, patriarhi, arhiepiscopi, episcopi, generali ai ordinelor religioase - și invitați de onoare, reprezentanți ai altor biserici și credințe - s-au adunat la Roma din întreaga lume . Pe 11 septembrie, la ora opt dimineața, în bazilica iluminată St. Petru a inaugurat prima sesiune a Conciliului Vatican II. 2692 de ierarhi ecleziastici stăteau în tribune în mitre și haine medievale luxoase. Europa a fost reprezentată de 849 părinți ai Consiliului, America - Nord și Sud 932, Asia 256, Africa 250 și Oceania 70. Ședința primei sesiuni s-a încheiat la 8 decembrie 1962. La sfârșitul sesiunii, a vorbit Ioan XXIII. speranța că Consiliul își va încheia deliberările în anul următor. Părinții Consiliului au cunoscut sănătatea lui și au avut o senzație urâtă că l-au văzut pentru ultima dată.
La mijlocul lunii mai 1963 Ioan XXIII. culcă. Medicul său personal, venețianul Gasparini, și mulți alți specialiști care au avut grijă de sănătatea sa, au concluzionat după ce au examinat pacientul că nu există nicio speranță de recuperare și că acum tot ce era nevoie era să atenueze suferința pacientului. Pe 23 mai, papa s-a ridicat din pat pentru ultima oară și s-a dus la fereastra dormitorului său pentru a privi Piața San Marco. Petra, umplută ca întotdeauna de o mulțime mare și diversă. De parcă și-ar fi spus adio de la Roma. Ioan al XXIII-lea era foarte subțire, cu ochii scufundați, cu fața cenușie. Până în ultimul moment, însă, a păstrat o conștiință clară. Cu o zi înainte de moarte, și-a primit secretarul de stat, care l-a informat cu privire la problemele de rutină, iar cardinalii, frații și sora lui au venit să-și ia rămas bun de la el. Ioan al XXIII-lea pe 3 iunie 1963 la ora 19 s-a încheiat minutul 49.