ปราสาทตาสม เป็นปราสาทขนาดเล็กหากเปรียบเทียบกับปราสาทตาพรหมหรือปราสาทบันทายกเดย สร้างในปีพุทธศตวรรษที่ 18 (พ.ศ. 1724-1763) รัชสมัยของพระเจ้าชัยวรมันที่ 7 และทำการขยายเพิ่มเติมในรัชสมัยของพระเจ้าอินทรวรมันที่ 2 เป็นศิลปะแบบบายน ศาสนาพุทธ นิกายมหายาน

ปราสาทแห่งนี้แบ่งออกเป็น 3 ส่วน ได้แก่ โคปุระด้านนอกและกำแพงล้อมรอบ โคปุระด้านในและปรางค์ประธานพร้อมกับระเบียงคตทั้งสี่ด้าน มีบรรณาลัยอยู่ในระเบียงคต กำแพงด้านนอกมีความกว้างประมาณ 200 เมตร ยาว 240 เมตร เส้นทางเข้าสู่ทิศตะวันออกเข้าสู่โคปุระด้านในจากทิศตะวันออกไปทิศตะวันตก ระเบียงคตรอบปรางค์ประธานมีความยาวประมาณ 30 เมตร กว้าง 20 เมตร บรรณาลัยอยู่ทางทิศเหนือและใต้ด้านละหลัง เนื่องจากถนนจะตัดผ่านด้านหลังปราสาททางด้านทิศตะวันตก นักท่องเที่ยวจึงนิยมเข้าสู่ปราสาททางทิศตะวันตก
• นางอัปสร-เสากรอบประตู รูปแบบของปราสาทตาสมอาจกล่าวได้ว่าเป็นยุคต้นๆ ของศิลปะแบบบายน โดยสังเกตได้จากลักษณะของนางอัปสร และลักษณะของเสากรอบประตูที่เป็นแปดเหลี่ยมและมีลายสลักลักษณะเป็นดอกไม้และใบไม้อยู่โดบรอบ คล้ายคลึงกับปราสาทบายนมาก
• พระโพธิสัตว์อวโลกิเตศวร ลักษณะเด่นของปราสาทตาสมอีกอย่างก็คือพระพักตร์ของพระโพธิสัตว์อวโลกิเตศวร ซึ่งอยู่บนยอดของปรางค์ประธานและโคปุระที่กำแพงด้านนอกมีพระพักตร์ทั้งสี่ทิศรูปแบบลักษณะเช่นนี้เหมือนกับปราสาทบายน