1916年12月10日,林乎加出生于长岛县北长山乡蒿前村。1937年,他年仅16岁,为了抗日救国,毅然摆脱家庭,走上革命的道路。在他的直接影响与带动下,北城村的王其良、王其恭等一批热血青年和林乎加的弟弟林蓬加、妹妹林秀清先后加入抗日队伍,踏上革命征程,成为长岛地区的革命先躯者。
林乎加,1938年2月加入中国共产党。同年,任胶东人民抗日救国军第三军二大队指导员、政委,五支队青年部长。8月,任胶东特委委员、青年部长。1939年12月,任山东一区(鲁南区)党委宣传部副部长。1940年6月,任鲁南区党委常委、宣传部长。1942年8月,任鲁中区党委宣传部长。1943年2月,任泰山地委书记兼泰山军分区政委。
1949年春南下,任浙江省委宣传部副部长、农村工作部副部长。1950年秋,任浙江省委常委、宣传部长、秘书长。1954—1965年,任中共浙江省委副书记、书记处书记。
1965-1967年,任中央小计委成员。
1973年,任国家计划委员会副主任。
1976年10月,任上海市委书记,上海市革命委员会副主任。
1978年5月,任天津市委第一书记、市革命委员会主任、天津警备区第一政委。
1978年10月,任北京市委第一书记、市革命委员会主任、市长、北京卫戍区第一政委。
1981年3月以后,历任国家农业部、农牧渔业部部长、顾问,国务院“三西”地区农业建设领导小组组长,国务院贫困地区经济开发领导小组顾问等职。
林乎加是第十一届、第十二届中共中央委员,第十三届中顾委委员。