1903年8月20日,张出生在长安东大乡大东村的一个农家。张的父亲家境不错,把张送进了私立学校,10岁进了小学。后来考上了长安中学。年轻的张在安时,被文庙里的题词吸引住了。每到节假日,他就拿着纸笔去文庙抄碑文,经常忘了吃饭。他的书法很快就在全校出名了,学校还专门为他举办了书法展,观众非常多。这件事是国民党在陕西的老战士于右任听说的。于右任曾赴日留学,参加过同盟军,于1922年回到安任京国军总司令,讨要贼军西北第一路总司令。他的书法闻名天下,所以我很想看看张的书法。当时,张落笔,连写了五个条幅。于右任一惊,喜出望外。他反复说:“巫师,巫师,牛逼的来世!”
张热爱历史,喜欢把过去和现在放在一起谈,指点江山。1923毕业后回了老家,做了一段时间小学老师。在接受了新思潮的影响后,张不甘于穷乡僻壤,千里迢迢来到北京,并考入北京大学历史系。北京的学生运动风起云涌,张在积极参与的同时,深切地感受到学生的软弱。一气之下,他参军去了河南开封,加入了胡景翼的全国第二军军官训练团。1926年,渴望投身革命的张通过广州黄埔军校在郑州的秘密招生,被录取。同年秋,张考入黄埔军校第四新兵团,参加进修班。
1927年3月8日,在陆军军官学校第四期开学典礼上,张、、林彪、刘志丹、袁、、、文强、等中国有影响的人物站在一起,听蒋介石大总统讲课。从这一刻开始,张开始了他20年的军旅生涯。