Joseph prend ses premières responsabilités syndicales à la CGT de l’usine SAF, à la Bastide et adhère au Parti communiste. Il est marié et a un enfant.
Lors de la mobilisation en septembre 1939 il est affecté spécial à I’AIA. Il y retrouve des responsables du syndicat de la métallurgie.
Très rapidement l’organisation syndicale et le PCF sont reconstitués. Joseph fait partie du triangle de direction chargé, avec Jean Lhussier, du travail de masse ; les tracts et journaux clandestins sont distribués à l’usine grâce au réseau de résistance spécialisé qu’il a mis en place.
Joseph est particulièrement surveillé, son nom figure dans un rapport au Préfet du 4 juin 1940 et c’est certainement grâce à sa discrétion et à son observation strictes des mesures de sécurité qu’il est toujours en liberté.
Mais les usines d’armement sont dans le collimateur du commissaire Poinsot : Joseph est arrêté.
Le rapport de police indique : « Militant de l’ex-Parti communiste, n’a jamais fait preuve d’aucune activité politique depuis les hostilités. Quoi qu’il en soit, Terral n’a certainement pas renié son passé politique. Déjà signalé à Mr le Préfet dans le rapport n°3227. Perquisition sans résultat ».