杨坚为相,贺若弼时驻军于邺城附近,由于他对“太子非器”的私下评议,杨坚恐怕他效忠周室,与尉迟回共同作乱,因遣长孙平驰往代之。贺若弼闻名交代,足证其未有反意,从后来的史实看,他是要实现他父亲平定南朝陈的遗志,谁能够使他实现其志的,他就听命于谁。这种内争,他是没有兴趣参加的。杨坚既建隋政权,即有南征之意,因高颎的建议,先瓦解陈的经济。此计奏效,乃定计伐陈,东路主将,未得其人,乃商诸高颎。高颎说:“朝臣之内,文武才干,无若贺若弼者。”文帝因拜贺若弼为吴州总管,独当东路攻陈。他与寿州总管源雄,并称东西重镇。贺若弼意气豪迈,曾与源雄相约曰:“交河飘骑幕合浦营,勿使骐上无我二人名。”因献取陈“十策”,文帝称善。他的“十策”,史所未传,以理推之,当为平陈的经国大计。文帝为了贺若弼的献策,特别赐以宝刀,擢任行军总管。
贺若弼行军的第一目标为京口,就是现今的镇江,与扬州(江都)隔江相对,扬州即晋王杨广的大本营所在。弼将渡江,亲自持酒,对江(长江)而祝曰:“弼亲承庙略,远振国威,伐罪吊民,除凶剪暴,上天长江,鉴其若此,如使福善祸淫,大军利涉;如有乖违,得葬江鱼腹中,死且不恨。”他的豪气,直可与祖逖击楫渡江相媲美,同为千古佳话,他的决心灭陈,由此可知,真不愧为贺若敦之子,而善于继承遗志了。
贺若弼既至前方,对陈军先以疑兵计绐之。他常常对江岸防军,施以换防。换防就是把新的防军接替旧的防军。新防军到达防地,大列旗帜,营幕遍野,陈军看到了,以为隋兵增防,必将对南岸陈军施行攻击,于是也积极增兵防守。已而察知旧防军撤回,因知其为换防性质。如是者多次,陈军视为常例,不再紧张。但是正在陈军松懈的时候,贺若弼突然增兵渡江直扑京口,在陈军猝不及防的情况下,贺若弼很轻易地占领了这个建康东方的重镇,而且还俘虏了陈的南徐州刺史。于是一路向西,直攻建康,军令严肃,秋毫无犯,有军士向民间沽酒者,贺若弼立即将他正法。故贺若弼的军事行动,民间可谓七鬯不惊,甚得一般民众之爱护。
可是贺若弼进攻建康,并不如攻克京口的容易。建康的最后屏障是紫金山,当时习称蒋山。京口之役后陈军集结于蒋山,作最后的抵抗。贺若弼进攻,屡被击败,一时无计可施。但贺若弼察知陈的蒋山守军,已有再衰三竭的情况。时弼军屯于白土冈,陈军鲁达、周智安、任蛮奴、田瑞、樊毅、孔范、萧摩诃等,严阵以待,田瑞首先犯弼军,弼虽予击败,但鲁达等继之,弼军反被击败,屡次退却。陈军在屡次胜利后,颇有骄气,士卒且有惰状。贺若弼在屡却之后,激励将士,亲自督战,士气大振,在多次肉搏下,陈军不支,任蛮奴走降韩擒虎,萧摩诃被俘。贺若弼将斩萧摩诃,萧颜色自若;贺若弼壮之,立即释放,且礼遇之。此举更加瓦解了陈军的士气,因得直扑北掖门。时韩擒虎已定建康,俘虏了陈后主叔宝。韩军遂开北掖门,迎贺若弼入城。贺若弼因呼陈叔宝至前,叔宝惧祸,惶恐战栗而流汗不已,向贺若弼再拜求生。但贺若弼抚之曰:“小国之君,当大国之卿,拜,礼也,入朝不失作归命侯,无劳恐惧。”但是贺若弼的内心,却非常恚恨,以未能亲执叔宝,功次于韩擒虎,认为莫大的遗憾。因挺刃而出,不平之气,见于行动中,自此与韩擒虎不睦。他虽然知道克陈之功在韩擒虎之下,但在隋文帝面前,却以力战为名,与韩擒虎争功,其气量之狭窄,表现无遗了。晋王广将责贺若弼违令先期作战之过失,及见贺若弼亦立大功,遂舍而不问。