后唐天成三年(928年)，張永德字抱一，出生于并州陽曲一個富饒之家。張永德四歲時，其生母馬氏被休，因而被他的祖母撫養(yǎng)長大，后來張永德侍奉他的繼母劉氏，卻能因其孝順而聞名。

    后周太祖郭威為侍衛(wèi)吏時，和張永德父親張穎友好，于是把女兒嫁給張永德。郭威為后漢樞密使時，又上表推薦張永德任供奉官押班。后漢乾佑三年(950年)，張永德被派去賜給潞帥常遇生辰禮物。當時漢隱帝正計劃除去郭威的勢力，因而派人屠殺郭威的親屬，張永德此時正在潞州，聽聞有密詔授予郭遇便知自己有生命之危，于是對郭遇說:"您是馬上就要殺掉我了嗎?我雖死無怨，唯恐連累了您的宗族。"常遇愕然:"何處此言。"張永德說道:"當今奸佞之人當政，郭公立誓為國除奸，我能于此事盡一微薄之力，大事若成便是您的功德，不成而死亦不算晚。"常遇深以為然，下令讓衛(wèi)士嚴加守衛(wèi)，并厚加款待。親自對張永德說:"您看您丈人的大事有幾分勝算?"張永德回答說:"幾乎是必成。"未過多長時間，郭威起兵成功，派遣使者至常遇處，常遇恭賀郭威之功并歉然道:"老夫差一些就壞了大事。"常遇便送張永德還歸周太祖。

    后周廣順元年(951年)，后周太祖郭威稱帝后，便封他嫁給張永德的女兒為晉國公主，授張永德為左衛(wèi)將軍、內殿直小底四班都知、加駙馬都尉、領和州刺史。廣順二年(952年)，張永德又被提拔為殿前都虞候、領恩州團練使，過了不久又遷為殿前都指揮使、泗州防御使，其時他才不過二十四歲。

    后周顯德元年(954年)，周世宗柴榮即位不久，北漢世祖劉崇便趁機勾結契丹聯(lián)合入侵。周世宗親征，和北漢軍隊戰(zhàn)于高平，戰(zhàn)斗還沒開始多久，后周大將樊愛能、何徽方便逃竄并帶著軍隊投降了北漢。情勢危急之時，趙匡胤和張永德各自領兵兩千奮力反擊，張永德的部下擅長騎射，在張永德的帶領下奮勇殺敵，給北漢和契丹聯(lián)軍以重創(chuàng)，結果扭轉了戰(zhàn)局，取得了高平之戰(zhàn)的勝利，招降劉崇的軍隊七千余人。

    軍隊駐扎在上黨時，柴榮晚上臥于帳中，召來張永德對他說:"高平之戰(zhàn)中投降的軍隊，主將不必誅殺，然而樊愛能以下的將校，我將以軍法處置!"張永德答復說:"陛下如果只愿固守邊疆，如此處置則可，如果是想開疆擴土、威加四海，理應重重懲戒將領的過失以整肅軍紀。"周世宗聞聽此言擲枕于地，大呼稱善。第二天，便下令誅殺樊愛能、何徽方二將，軍威大振。

    后周軍隊在休整一番后率軍圍攻太原城，張永德和符彥卿、史彥超進軍忻口以防備契丹援軍。太原城方圓四十里，后周軍隊距城三百步，將城池圍了兩圈。從四月到六月，后周軍隊圍困太原兩月而不能克，又有契丹派來援兵，史彥超戰(zhàn)死，周軍受挫，只能班師離去。張永德因戰(zhàn)功而授為武信軍節(jié)度使，還師后又被遷為義成軍節(jié)度使。

    張永德的父親張穎在做安州防御使時，因為其性格嚴厲，加上逼娶部下之女，因而被手下曹澄等人殺害，曹澄等人因為害怕處罰而奔逃到了南唐。

    顯德二年(955年)，后周決定攻打南唐時，張永德因殺父仇人逃到了南唐而主動請纓。后周軍隊攻至壽春，南唐名將劉仁瞻堅守城池難以被攻克，張永德便派疲兵誘敵出城，然后假裝戰(zhàn)敗，以精騎為伏兵，引誘**進入周軍的伏擊地，加以殲滅，劉仁贍僅僅免于身亡。

    顯德三年(956年)，后周再次攻打南唐，周世宗柴榮親征，劉仁贍用囚車將曹澄等三個殺害了張永德之父的人送到了周世宗的行營里，意在求和，柴榮便將下詔將這三人賜給了張永德，并讓這三人服法。

    趙匡胤和張永德率領前鋒至紫金山，南唐為準備這場戰(zhàn)爭修筑了多個嚴整的營寨。敵人的營西有高地，從上面可以俯瞰他們的軍營，張永德?lián)襁x善射之人隱藏于高坡旁，趙匡胤發(fā)兵佯攻敵軍首個營寨，又假裝戰(zhàn)敗潰逃，南**果然輕信，全軍傾巢出擊，張永德立刻登上高地，從隱藏之地飛馳入敵人營寨，敵軍失去營寨只得散去。第二天，又向第二座營寨進攻，后周軍隊向北門進攻**便從南門逃竄。當時韓令坤在揚州，反復被南**攻擊，因此意欲退師，周世宗震怒，派遣張永德率軍馳援他，張永德在曲溪堰大敗泗州軍千余人，不久軍屯于下蔡。