為國舉賢，豈能私謝

若論出身，張安世在漢代可謂顯赫。其父張湯在漢武帝時曾擔任御史大夫，一度是漢武帝的寵臣。張安世年輕時，就因父親的緣故補蔭為官。漢武帝時為尚書令，漢昭帝時為右將軍，以輔佐有功，封富平侯。

“嘗有所薦，其人來謝，安世大恨，以為舉賢達能，豈有私謝邪？”張安世曾舉薦一人為官，後來該人來向其道謝，張安世說自己是為朝廷舉賢達能，乃是公事，豈能私謝，於是與之絕交。班固說：“其欲匿名跡遠權勢如此。”

張安世處事謹慎周密，每次與皇帝商議大事，待決定後，他總是稱事離開。等皇帝頒佈詔令後，他再派人到丞相府詢問。所以即使是朝廷大臣，也無人知道張安世曾參與此事的決策。

張安世的哥哥張賀曾撫養過劉病己（漢武帝曾孫，後來的漢宣帝）多年，有時會在張安世面前稱讚皇曾孫劉病己的才幹，張安世總是禁止他說這些。劉病己即位時，張賀已去世，於是他對張安世說：“掖庭令（張賀）當初無端地稱讚我，將軍制止他是對的。”張賀無子，以張安世小兒張彭祖為子。張彭祖小時候也曾與劉病己一起讀書。為了報答張賀，漢宣帝提出欲封張彭祖為侯，先賜爵關內侯，但張安世“深辭賀封”。宣帝說：“吾自為掖庭令，非為將軍也。”“安世乃止，不敢復言。”張安世見為兒子辭封不成，“以父子封侯，在位大盛，乃辭祿”。

地節二年（前68） ，大將軍霍光去世。御史大夫魏相上書建議封張安世為大將軍，“上亦欲用之”。而張安世聽說後，堅辭不就。漢宣帝笑著說：“君言泰（太）謙。君而不可，尚誰可者！”於是，張安世被任命為大司馬、車騎將軍，兼領尚書事，不久又改任大司馬衛將軍，集軍政大權於一身。

張安世雖然身居高位，但生活仍十分簡樸，對家人及門下弟子管束非常嚴格。從張安世這一代開始，張氏一門世代顯貴，直至漢末。