山丹原名刪丹，歷史悠久。 據(jù)《山丹縣志》載，刪丹古城在焉支山谷地近鐘山寺處，"以曉日出映，丹碧相間如'刪'字，又名刪丹山，而縣以此得名。"

山丹秦時(shí)為月氏地，漢初屬匈奴，后由驃騎將軍霍去病收復(fù)，為張掖郡所轄。

夏帝禹元年，山丹屬《禹貢》雍州之域，西戎氏之故墟。禹封少子于西戎，世代為首領(lǐng)。

周穆王十三年 祭公率師隨穆王西征，西戎歸順。

漢代(前206-220年)以前，月氏國(guó)稱雄于敦煌祁連間，山丹為其屬地。

西周時(shí)期，戎、狄兩族在這里居住。

春秋戰(zhàn)國(guó)時(shí)，烏孫與月氏共居河西。其后，月氏逐烏孫而獨(dú)居。

秦漢之際，北方的匈奴族強(qiáng)大起來，擊敗并趕走了月氏人，河西遂為匈奴右賢王的領(lǐng)地。黑河?xùn)|、西分別由休屠王、渾邪王分領(lǐng)。’

西漢時(shí)期，武帝元狩二年(前121)，驃騎將軍霍去病進(jìn)軍河西，戰(zhàn)敗匈奴，渾邪、休屠二王率眾歸漢。

漢元鼎六年(前111年)，取"張國(guó)臂掖，以通西域"之意，置張掖郡，山丹為張掖郡治。

始建國(guó)元年(9年) 王莽廢漢立新，令天下改郡、縣名。張掖郡改名設(shè)屏郡、觻得改名官式。山丹為設(shè)屏郡治。

建武三年(27年) 光武帝劉秀令各郡、縣恢復(fù)舊名。張掖郡及各縣恢復(fù)原名稱。

獻(xiàn)帝興平元年(194年)六月，分張掖郡之日勒、山丹置西郡。

兩晉南北朝時(shí)期，沮渠蒙遜在山丹建立北涼國(guó)，都建康(今高臺(tái)縣駱駝城)。

隋初改為山丹衛(wèi)，大力發(fā)展農(nóng)業(yè)生產(chǎn)，山丹成為中國(guó)對(duì)外貿(mào)易的重要場(chǎng)所。

五代時(shí)，后梁乾化元年(911年)，甘州回鶻攻沙州，張承奉力屈，訂城下之盟。后唐莊宗同光二年(924年) 六月，甘州回鶻遣使向后唐納貢，乃冊(cè)封王仁美為英義可汗。后唐明宗天成三年(928年) 甘州回鶻王仁裕(仁美之弟)遣使納貢，被封為奉化可汗。

北宋時(shí)期，天圣六年(1028年)，黨項(xiàng)族首領(lǐng)李元昊擊敗甘州回鶻，建立西夏。

元時(shí)期，置甘肅行省，山丹為省會(huì)。意大利旅行家馬可波羅前往上都途中，曾在甘州停留一年，在《馬可 波羅游記》中記述了張掖的富庶、城市的規(guī)模以及宗教寺廟的宏偉。

明時(shí)期，山丹為陜西行都司及甘肅鎮(zhèn)的治所。