1916年12月10日，林乎加出生于长岛县北长山乡蒿前村。1937年，他年仅16岁，为了抗日救国，毅然摆脱家庭，走上革命的道路。在他的直接影响与带动下，北城村的王其良、王其恭等一批热血青年和林乎加的弟弟林蓬加、妹妹林秀清先后加入抗日队伍，踏上革命征程，成为长岛地区的革命先躯者。
林乎加，1938年2月加入中国共产党。同年，任胶东人民抗日救国军第三军二大队指导员、政委，五支队青年部长。8月，任胶东特委委员、青年部长。1939年12月，任山东一区（鲁南区）党委宣传部副部长。1940年6月，任鲁南区党委常委、宣传部长。1942年8月，任鲁中区党委宣传部长。1943年2月，任泰山地委书记兼泰山军分区政委。
1949年春南下，任浙江省委宣传部副部长、农村工作部副部长。1950年秋，任浙江省委常委、宣传部长、秘书长。1954—1965年，任中共浙江省委副书记、书记处书记。
1965-1967年，任中央小计委成员。
1973年，任国家计划委员会副主任。
1976年10月，任上海市委书记，上海市革命委员会副主任。
1978年5月，任天津市委第一书记、市革命委员会主任、天津警备区第一政委。
1978年10月，任北京市委第一书记、市革命委员会主任、市长、北京卫戍区第一政委。
1981年3月以后，历任国家农业部、农牧渔业部部长、顾问，国务院“三西”地区农业建设领导小组组长，国务院贫困地区经济开发领导小组顾问等职。
林乎加是第十一届、第十二届中共中央委员，第十三届中顾委委员。
