陈兆棠出生于湖南桂阳，父亲陈世杰是晚清四大名臣之一曾国藩的重要幕僚，官至山东巡抚，陈世杰考虑到儿子们将来的发展，也是把儿子们委托给了大儒王闿运，陈世杰的另外两个儿子则是进了翰林编修。

不过先后在泗州天苍岩、长沙岳麓书院、城南书院等地方读书的陈兆棠却只是个举人，年至三十岁，陈兆棠便放弃了走正途的科举之路，而是捐了五品同知衔进入杂途。

在地方为官时，陈兆棠颇有作为，是个远近闻名的清官，不欺压百姓，当陈兆棠调任前往其他地方时，父老甚至“步行送五十余里，皆泣涕沾襟”；待在大邑期间，陈兆棠有两大功绩，一是剿匪，二是修建平云书局，购置各类图书。

为官数年，陈兆棠两袖清风，得到成都府知府刘心源的赏识，陈兆棠便去到了崇庆州治匪。据相关文献披露，19世纪末，不少地方匪患严重，而早在光绪十一年（1885年），两广总督张之洞和广东巡抚倪文蔚为配合清乡，奏请“恢复就地正法”。

1899年，报刊称“地球各国，盗贼之多，以中国为最；中国盗贼之多，以广东为最。”陈兆棠才正式走上剿匪的道路，也就是任崇庆州知州，面对盗匪，陈兆棠施以重刑，流传有“杀盗三百人”，因为这事，陈兆棠为儿子提亲，却被对方婉拒了，尽管两家是门当户对，但对方认为“治盗纯用杀，非法也”。

不过陈兆棠待在崇庆州时，治安确实变好了许多。但陈兆棠从文官转为武官，与云贵总督岑毓英之子岑春煊有关，岑春煊也是举人出身，先是因为力主变法维新而得光绪帝青睐，后是在1900年八国联军进京，岑春煊率军“勤王”，一路护送慈禧太后和光绪帝，从而步步高升。

另外岑春煊对清末教案的判断准确，岑春煊成了慈禧身边的红人，升任四川总督，在这个时候，岑春煊提拔了陈兆棠。岑春煊对陈兆棠也是相当赏识，自己担任四川总督，陈兆棠便被召回四川署邛州直隶州事。

后来岑春煊任两广总督，也把陈兆棠带走了，并且让他带兵，还送了2000金给陈兆棠作统费，不过陈兆棠跟随前往，却没有接下那笔钱，说“不要钱，不徇私，不任性”。

陈兆棠不负岑春煊厚望，虽然在此之前，陈兆棠并没有带兵的经验，但陈兆棠带着“两广棠字全军”转战广西全省，却是身先士卒，屡立功绩，成了岑春煊的得力主将。

1905年，陈兆棠奉岑春煊之命到达广东，并且破格被提拔为了惠州知府，负责清乡行动，而陈兆棠“屠伯”的称号，便是在广东留下的，这也是因为惠州的匪乱要远甚于四川和广西之地，“嗜血”的陈兆棠把就地正法发挥得淋漓尽致，然而死在刀下的还有良民。

广东刊物《时事画报》就刊登了《惠州府草菅人命》的图画新闻，讲的是农民罗宾二遭土匪抢劫绑架，后告到县府，然而土匪贿赂了营弁，称罗宾二才是绑匪，陈兆棠审理此案，受手下人蒙骗，一贯执行他的“就地正法”，罗宾二就成了一缕冤魂。

后来陈兆棠知晓了真相，把接受行贿的营弁收押，然而枉死的罗宾二没法死而复生，因此当地百姓对知府陈兆棠颇有怨言。而据相关文献记载，陈兆棠待在惠州三年，一共就地正法了3000余年。

清官、屠夫，是贴在陈兆棠身上的标签，有人赞同他的做法，认为陈兆棠之为威震了许多犯罪分子，带给了百姓安宁；可陈兆棠的恩师王闿运以及容易受影响的百姓并不这么认为，陈兆棠杀了这么多人，还杀了良民，是罪大恶极。不过王闿运也知陈兆棠的品行，因此是进行规劝而非谴责，王闿运是为陈兆棠的结局感到担忧。

果不其然，1911年，陈兆棠被捕，人们对其是除之而后快，据《清史稿》记载，陈兆棠是中了13枪而死，而陈兆棠临终前留下的遗言是：“不死于君，不死于国，死于因果。”