ปราสาทบากอง เป็นปราสาทหินในกลุ่มปราสาทโลเลยและเป็นปราสาทในยุคแรกๆ ของอาณาจักรขอม 

โครงสร้างหลักมีลักษณะเป็นศิลาแลง ตกแต่งด้วยหินทราย ยอดทรงปิรามิด 5 ชั้น จำลองรูปเขาพระสุเมรุ เพื่อสักการะพระศิวะ มีขนาดกว้างประมาณ 700 ม. และยาว 900 ม. ล้อมด้วยคูชั้นนอกลึก 3 ม. ล้อมพื้นที่ประมาณ 15 เฮกเตอร์ และคูชั้นใน ขนาดกว้างประมาณ 300 ม. และยาว 400 ม. ปัจจุบันตื้นเขิน คงเหลือเพียงขั้นบันได ศูนย์กลางของปราสาทเป็นปิรามิด ขนาด 120 ม. และยาว 160 ม.
ประติมากรรมที่สำคัญในปราสาทนี้คือ สิงโตที่เฝ้าบันไดทางขึ้น, ประติมากรรมช้าง ที่หันหน้าออกไปยังปราสาทแม่บุญตะวันออก, รูปสลักนูนต่ำรูปอสูร และรูปสลักเทวทัศลอยตัวที่มุม