A dunántúli Cecén született, 1915. május 14-én. Szülei hívő emberek voltak, édesapja szabómester volt. Öt gyermeke közül József volt a harmadik. Újpesten, 1934-ben vette föl a hitvalló keresztséget. A második világháború után, 1947-ben nyert lelkipásztori felavatást Pécelen. Egyházi pályáján gyorsan haladt: 1938-ban teológiai tanár, később egyházelnök, alelnök és több más fontos tisztség birtokosa. Ő volt a Békehírnök szerkesztője is egy jó ideig.
Az előttünk járó nemzedék közösségi életében bevált módszer volt, hogy a fiatalság vezetői, szervezői munkáját gyakorló pályának tekintették a későbbi magasabb szintű vezetőségi munkához. Nagy József fiatalságától részt vett az ifjúsági szolgálatban, ő volt tehát a leendő vezetőség nagy reménysége. Jó hangja, stílusa, nyílt, barátságos jelleme szinte predesztinálták a közösség vezetői pozícióira. Mire azonban eljutott arra a szintre, az egyházügyi hatóság küzdőtérré változtatta az egyházak vezetőinek mindennapjait. Nagy József egészségét elég korán aláásta ez a mesterségesen zavaros körülmény. És az ő életében nem következett be a változás. Az utókor azt az idegtépő feszültséget soha nem ismeri meg (Ne is ismerje meg soha!), amivel a hozzá hasonló beosztású ember szinte minden órában szembesült.
1963-tól 1979-ig kispesti prédikátor, de folytatta teológiai munkásságát azután is. Dogmatikából doktori címet szerzett. Az elfoglaltságai ellenére a gyülekezet igazi lelki atyja volt. Hűségesen látogatta a testvériséget. Ebben kiváló segítőtársa volt felesége (szül.: Pannonhalmi Kamilla). Utódával – aki történetesen a szemináriumban egyik diákja volt – példaadó és kölcsönös szeretetben, tiszteletben együttműködött. A gyülekezetben mindenkivel törődött.
Bár szolgálati éveiben az Állami Egyházügyi Hivatal a lelkészeknek szinte minden mozdulását külön engedélyekhez kötötte, elég sok írás jelent meg Nagy József tollából. A második világháború után felesége vezetésével működött a Család Könyvesbolt (Váci út 170.). Férje ugyanakkor a Váci út 89. alatt működő iskolában tanított. A könyvesbolt keresztyén szellemű könyveket árult, de vállalt bizományi terjesztést, amelyek között volt Tildy Zoltán református lelkész könyve is (Árva Péter bosszúja). Nagy Józsefék személyes ismerősei voltak a későbbi köztársasági elnöknek.
A két világháború között köteles hitoktatás tankönyveit részben, vagy egészben Nagy József írta. A pedagógia tárgyköréből is sokat merített. Bátorította a hívő családokat Krisztus követésére. Írásai elsősorban ezekre a témákra mutatnak.
1985. február 12-én tüdőembólia végzett Nagy József megfáradt testével. Sírja az újpesti köztemetőben található.