ศาลเจ้ามิทาเกะตั้งอยู่บนซากป้อมปราการฟูจิมิ เคียงข้างศาลเจ้าเซ็นเก็น สามารถเข้าถึงได้ผ่านเสาโทริอิหินเก่าแก่ ซึ่งเป็นสัญลักษณ์ของการเข้าสู่พื้นที่ศักดิ์สิทธิ์บนที่สูง ซึ่งครั้งหนึ่งเคยเป็นจุดชมวิวสูงสุดของปราสาทคาวาโกเอะ