1932年，约翰·加菲尔德加入了市民仓库戏院（Civic Repertory Theatre）并开始登台表演。

1933年，在歌舞片《华清春暖》（Footlight Parade）还曾有过露面机会。后进入纽约格普洛剧院（Group Theatre），他在《Awake and Sing》中的表演得到了人们的承认。

1936年，约翰·加菲尔德已成为百老汇话剧界的领衔演员。

1938年，在百老汇歌舞演员涌起一股转型当电影演员的风潮，他也此时进入好莱坞，与华纳公司签下合约。他在首部影片《四千金》（Four Daughters）中的表演获得一致肯定，不但获得了奥斯卡最佳男配角提名，也一举荣获全美电影评议会最佳演技奖。并且他在影片中的愤怒表情，愤世嫉俗的语气，虽时常遭遇挫折却从不放弃的形象使他逐渐成为好莱坞铁汉的代表。

1947年，同琼·克劳馥（Joan Crawford）合演《恨海香魄》（ Humoresque）后开始独立创办了一家制片公司，与几个制片公司签订了自由拍片合约，同时对好莱坞左派艺术家还提供支持。同年主演《出卖灵肉的人》（Body And Soul），获奥斯卡最佳男主角提名及《展望》杂志年度最佳男主角、电影摄影等奖。

但是在50年代初，约翰·加菲尔德遭到非美活动调查委员会的调查，由于他拒绝罗列委员会想要的人名而被列入黑名单并遭到迫害。

1952年5月，死于冠状动脉血栓病。而他的葬礼的隆重程度则仅次于好莱坞情圣鲁道夫·瓦伦蒂诺。他的其它主要影片有《四夫人》、《渔家恨》、《空中堡垒》、《目标东京》、《瓜岛抗战记》、《荡妇怨》、《目击证人》等。此外，他的女儿朱莉·加菲尔德60年代末开始活跃在银幕上。