ฐานศิวลึงค์ หรือ “ฐานโยนี” ที่พบในโบราณสถานของลพบุรี รวมถึงพระปรางค์สามยอด เป็นหลักฐานสำคัญของการเปลี่ยนผ่านระหว่างศาสนาฮินดูและศาสนาพุทธ ฐานหินเหล่านี้มักมีลักษณะเป็นรูปสี่เหลี่ยม มีรางระบายน้ำที่เรียกว่า “โสมสูตร” ใช้สำหรับระบายน้ำศักดิ์สิทธิ์ที่รดบนศิวลึงค์ในพิธีกรรมของศาสนาไศวะ วัตถุเหล่านี้ยืนยันว่าพระปรางค์สามยอดและซากปรักหักพังใกล้เคียงอาจเคยเป็นศาสนสถานของศาสนาฮินดูก่อนที่จะถูกดัดแปลงเป็นวัดพุทธในยุคต่อมา ฐานเหล่านี้มักสร้างจากหินทรายหรือหินทรายสีเขียว ซึ่งเป็นวัสดุที่ทนทานพอที่จะรองรับงานแกะสลักที่ซับซ้อนตามความเชื่อทางจักรวาลวิทยาของขอมโบราณ ในบางพื้นที่ จะเหลือเพียงฐานโยนีโดยไม่มีลึงค์ ซึ่งมักเกิดจากการกวาดล้างทางศาสนาหรือการย้ายสถานที่เมื่อความเชื่อเปลี่ยนไปสู่ศาสนาพุทธเถรวาทในช่วงหลายศตวรรษที่ผ่านมา ปัจจุบัน ฐานเหล่านี้บางส่วนยังคงอยู่ในตำแหน่งเดิม หรือถูกรวบรวมไว้เพื่อให้คนรุ่นหลังได้ศึกษาประวัติศาสตร์ทางศาสนาที่ซ้อนทับกันของลพบุรี