ด้านหลังวิหารเก้าห้องเป็นที่ตั้งของกลุ่มเจดีย์โบราณ โดยมีพระปรางค์องค์กลางเป็นโครงสร้างหลัก พระปรางค์ก่ออิฐถือปูนนี้มีรูปแบบศิลปะอยุธยาตอนต้นผสมผสานกับอิทธิพลจากลพบุรี โครงสร้างมีมุมย่อเก็จและประดับด้วยลวดลายปูนปั้นที่ละเอียดอ่อนซึ่งยังคงงดงามแม้เวลาจะผ่านไปนาน พระปรางค์องค์ประธานล้อมรอบไปด้วยเจดีย์บริวารหลายองค์ทั้งในรูปแบบทรงกลมและสี่เหลี่ยม ซึ่งบ่งบอกถึงการก่อสร้างและการบูรณะอย่างต่อเนื่องในยุคสมัยต่างๆ เจดีย์เหล่านี้ไม่ได้เป็นเพียงสิ่งมหัศจรรย์ทางสถาปัตยกรรม แต่ยังเป็นหลักฐานทางประวัติศาสตร์ว่าวัดไลย์เป็นศูนย์กลางแห่งศรัทธามาหลายศตวรรษ