相傳伍子胥過昭關，由楚奔吳，被迎面大山擋住去路。他跳下馬，拉著馬尾巴，連人帶馬，倒著登上了山頭，留下了反方向的足跡，迷惑了追兵，伍員山因此得名。

山上山下都曾有伍相國祠，歷代都有文人墨客前來拜謁，留下了不少詩篇。山下建有療養院，院內樓臺亭閣、花圃、園林、小橋流水、游泳池、運動場、假山，布置得錯落有致。

自有歷史記載以來，伍員山從公元前500多年的春秋戰國至今，已超過2500多年的歷史。幾經戰火洗禮，她如同一位履歷豐厚的老人，歷史的車輪如若能夠倒轉，她將告訴我們江南一帶至整個民族的巨變和光衰。至今伍員山仍然蘊藏著令人不解的許多景觀和古跡，無不令人喟嘆。自山腳下白廟（至今民間香火不斷）遺址開始，沿著近800米長的人工石階攀登至山腰，左側“伍牙飛翠”系郎川古代八大景之一，右側為200余米長、4米余寬的“跑馬道”，山南有龍王廟舊址（此廟在民國已被國民黨燒毀），廟前有參天古樹，廟后有古井兩口，井水清澈，常年不枯，群眾稱之為神水；每遇大旱，周圍數十里群眾便往此廟祈禱求雨。沿石階至山頂，有500余平方米平地，此為子胥廟殘址。佇立山頂，；加之山腰煙霧繚繞，頭頂紫氣氤氳，令人仿佛置身于仙境，流連忘返，頓覺心曠神怡。