1928年6月4日清晨5時23分，一代梟雄張作霖乘坐火車在皇姑屯被炸重傷，在被送到瀋陽兩個小時後宣告死亡。
臨終之際，張作霖留下了最後一句話，「我受傷太重……恐怕不行了……叫小六子（張學良）快回奉天！」張作霖死後，出於多種因素的考慮大帥府秘不發喪。由於張作霖死的很突然，因此他的靈柩暫時停放在大帥府的東院五間房。
為了能給父親找一個風水寶地下葬，1928年秋張學良派出風水先生遍找東北三省，最終選擇了撫順市新賓滿族自治縣鐵背山下的一塊台地。
不久之後，張學良和于鳳至來到此處，認為此處甚好，於是最終選擇在這裡修建父親的陵墓。地址選中之後，大帥府立即成立「大元帥林園工程處」，全權負責元帥林的建設事宜，1929年5月正式動工破土。
元帥林的修建時按照招標形式進行的，當時天津華信工程司中標，投資1400萬大洋，當時工期預計是三年內。而1400萬大洋則以大帥府自籌為主，各省酌力分攤的辦法解決。議定大帥府出資500萬、遼寧省400萬、吉林省200萬、黑龍江省200萬、熱河省100萬。
元帥林的建築特點是採取傳統式的中軸線延伸的規劃方案。全部建築由殿堂、園城和墓室三部分組成。由南向北垂直展開，組成統一建築格局。陵園在修建過程中，張學良還命人從北京圓明園等地運來了明清時刻。
然而就在元帥林竣工之際，「九一八事變」爆發，結果下葬張作霖靈柩事宜只能暫時放棄。大帥府被日軍占領後，張作霖的靈柩被移到小東邊門外的珠林寺里。
當時雖然元帥林的全部工程沒有結束，但是從建成的主體建築來看已經非常壯觀，整座陵園模仿瀋陽東陵的建築特點，頗有帝王陵寢的氣勢。
陵園坐北朝南，主要有方城、圓城、寶頂三部分組成。其中陵園南部為祭祀區，北部為墓葬區。其中祭祀區因1954年修建水庫，被劃分為淹沒區，1958年水庫蓄水前原有的陵門、牌樓、等建築已經不復存在了，目前只有留下部分遺蹟。
「九一八事變」後，日本關東軍曾要挾張學良如果答應與日本人合作，將把張作霖安葬在元帥林，但是張學良拒絕了。
1937年6月3日，張學良死後九年在張作霖舊部的努力下，張作霖的靈柩被送到遼寧錦州市石山鎮南驛馬坊村下葬，而規模很大的元帥林最終成為空墓一座