ปราสาทพระขรรค์ เป็นศาสนสถานที่ล้อมรอบด้วยกำแพงศิลาแลง ตัวอาคารมีลักษณะเด่นที่การก่อสร้างด้วยศิลา 2 ชั้น โดยใช้เสาหินทรายกลมขนาดใหญ่รับน้ำหนักโครงสร้างและคาน ที่บานประตูแต่ละปราสาทมีรูปสลักอสูรเป็นคู่ๆ ยืนถือกระบองเสมือนคอยพิทักษ์ดูแลศาสนสถานแห่งนี้
ภาพพระพุทธรูปมักถูกทำลายหรือแก้ไข คงเหลือแต่ภาพจำหลักนูนต่ำของฤๅษี ซึ่งส่วนใหญ่เป็นภาพฤๅษีกำลังนั่งบำเพ็ญพรตในท่า "โยคาสนะ" (นั่งชันเข่าและไขว้เท้า) สลักอยู่ตามผนังหรือเสาภายใต้ซุ้มเรือนแก้ว
นอกจากนี้ จารึกที่ปราสาทพระขรรค์ยังกล่าวถึงการสร้าง "ธรรมศาลา" (ที่พักคนเดินทาง) และ "อโรคยศาล" (โรงพยาบาล) ตามเส้นทางจากนครธมไปยังเมืองต่าง ๆ รอบราชอาณาจักร และจารึกยังกล่าวถึงการสร้างรูปเคารพ เพื่อประดิษฐานยังหัวเมืองต่างๆ ซึ่งแสดงถึงความใส่ใจในทุกข์สุขของราษฎรและความศรัทธาในศาสนาของพระเจ้าชัยวรมันที่ 7