Jean-Pierre Marcel Rambal se narodil 13. září 1931 v Marseille. Vysoká štíhlá postava, jemný hlas a poněkud nesmělý výraz z něj později udělaly snadno rozpoznatelného představitele vedlejších komediálních rolí. Jeho kariéra však nezačala u filmu, ale v pařížských kabaretech na levém břehu Seiny, kde vystupoval s číslem založeným právě na postavě plachého člověka.
Významnou část Rambalovy kariéry tvořilo divadlo. V šedesátých letech pravidelně účinkoval mimo jiné v hrách Marcela Aymého a divadelnímu jevišti zůstal věrný i v době, kdy už byl známý z filmu a televize.

Před filmovou kamerou debutoval na konci padesátých let. V následujícím desetiletí se objevoval především v menších komediálních rolích. Několikrát spolupracoval s Philippem de Brocou, který jej obsadil například do filmů Le Farceur, Les Veinards a později do Muže z Acapulca a Nenapravitelného. Ve filmu Muž z Acapulca ztvárnil přednášejícího na univerzitě po boku Jeana-Paula Belmonda.
Od poloviny sedmdesátých let se jeho tvář stávala stále známější také televizním divákům. Zvlášť populární byl mezi dětmi díky pořadu Les Visiteurs du mercredi, v němž vystupoval jako astronom Alfred Plume-Coussin. Hrál rovněž v seriálu La Lune Papa a později v Papa Poule. Věnoval se také dabingu; ve francouzském znění animovaného seriálu Včelka Mája propůjčil hlas červíkovi Maxovi.

Nejznámější filmová role přišla poněkud nečekaně. Louis de Funès Rambala zahlédl v televizním pořadu Aujourd’hui Madame věnovaném plachosti. Pro připravovaný film Četník a mimozemšťané hledal vysokého a hubeného herce, který by v četnické skupině typově nahradil Christiana Marina. Rambal tak získal roli četníka Taupina a v roce 1979 se objevil po boku Louise de Funèse, Michela Galabru, Guye Grossa a dalšího nováčka četnické party Maurice Rische.
Do posledního filmu série, Četník a četnice, se už Rambal nevrátil. V té době byl značně vytížen divadlem a jeho místo v četnické sestavě převzal Patrick Préjean.
S Louisem de Funèsem se však ještě jednou filmově setkal. V komedii Zelňačka z roku 1981 patří Rambalovi úvodní vypravěčský hlas. Ve stejném období se objevil také ve filmech Le Bar du téléphone, Tendres Cousines, Fais gaffe à la gaffe ! a Josepha.

Rambal nebyl pouze komediálním hercem. Costa-Gavras jej obsadil do dramatu Clair de femme s Yvesem Montandem a Romy Schneiderovou a během kariéry pracoval také s režiséry Michelem Devillem, Christianem-Jaquem, Justem Jaeckinem, Davidem Hamiltonem či Dinem Risim. V roce 1984 si zahrál mnicha Cornelia v historické komedii Le Bon roi Dagobert.
V dalších letech se před kamerou objevoval už méně a těžiště jeho práce zůstávalo v televizi a divadle. Jednou z jeho posledních filmových rolí byl kolemjdoucí v dešti ve filmu Mohamed Bertrand-Duval.
Jean-Pierre Rambal zemřel 18. září 2001 v Paříži, pouhých pět dní po svých sedmdesátých narozeninách.