บริเวณด้านหลังพระวิหารเก้าห้องของวัดไลย์ เป็นที่ตั้งของกลุ่มเจดีย์เก่าแก่ที่มีความสำคัญอย่างยิ่ง โดยมี เจดีย์ทรงปรางค์ หรือ ปรางค์วัดไลย์ เป็นประธานของกลุ่มโบราณสถานนี้ ลักษณะเป็นปรางค์ก่ออิฐถือปูนที่มีศิลปะผสมผสานระหว่างสมัยลพบุรีและสมัยอยุธยาตอนต้น องค์ปรางค์มีการย่อมุมและประดับลวดลายปูนปั้นที่ยังคงหลงเหลือให้เห็นถึงความประณีตในอดีต นอกจากปรางค์องค์หลักแล้ว ยังมีเจดีย์รายที่มีรูปแบบสถาปัตยกรรมที่หลากหลายตั้งอยู่โดยรอบ ซึ่งแสดงให้เห็นถึงการบูรณะและการสืบทอดความศรัทธามาหลายยุคสมัย การเดินชมโบราณสถานด้านหลังพระวิหารนี้จะช่วยให้เห็นถึงความรุ่งเรืองของพุทธศิลป์ที่สืบเนื่องมาอย่างยาวนานในพื้นที่เขาสมอคอน