"แพะเมืองผี" มีประวัติความเป็นมาที่ผสมผสานระหว่างข้อเท็จจริงทางธรณีวิทยาและตำนานพื้นบ้าน ในทางธรณีวิทยา พื้นที่นี้เกิดจากการสึกกร่อนพังทลายของชั้นตะกอนดินและหินทรายที่ยังไม่แข็งตัว โดยกระบวนการทางธรรมชาติ (ลมและน้ำ) นานกว่า 30,000 ปี จนเกิดเป็นเสาดินและหน้าผารูปทรงแปลกตา ในทางประวัติศาสตร์ท้องถิ่น ชื่อนี้มาจากภาษาพื้นเมือง โดยคำว่า "แพะ" แปลว่า ป่าละเมาะ ส่วน "เมืองผี" สื่อถึงความเงียบสงบและวังเวงเหมือนเมืองที่ไม่มีคนอยู่ พื้นที่นี้ได้รับการประกาศให้เป็นวนอุทยานเมื่อวันที่ 4 มีนาคม พ.ศ. 2524 เพื่ออนุรักษ์มรดกทางธรรมชาตินี้ไว้