คำว่าศาลสูงมีที่มาจากตัวศาลที่ตั้งอยู่บนฐานศิลาแลงขนาดใหญ่ซึ่งมีความสูงจากระดับพื้นดินเดิมค่อนข้างมาก ฐานศิลาแลงนี้คือกำแพงและรากฐานของปราสาทขอมโบราณในยุควัฒนธรรมละโว้ที่ยังสร้างไม่เสร็จสมบูรณ์ตามรูปแบบเดิม ในสมัยก่อนการจะขึ้นไปสักการะเจ้าพ่อพระกาฬ ผู้ศรัทธาต้องเดินขึ้นบันไดสูงเพื่อไปยังส่วนบนของฐานหินที่เป็นที่ประดิษฐานเทวรูป ปัจจุบันแม้จะมีการสร้างอาคารทรงไทยประยุกต์หลังใหม่ครอบทับฐานเดิมไปแล้ว แต่ชาวเมืองยังคงเรียกชื่อศาลสูงด้วยความคุ้นเคยและเคารพ สถานที่แห่งนี้จึงเป็นทั้งสัญลักษณ์ของความศักดิ์สิทธิ์ที่อยู่เหนือสิ่งอื่นใด และเป็นหลักฐานทางสถาปัตยกรรมที่สำคัญที่สุดแห่งหนึ่งในลพบุรี