ในยุคแรกเริ่ม ปรางค์แขกถูกใช้เป็นสถานที่สำหรับพิธีกรรมของศาสนาฮินดู เพื่อบูชาเทพเจ้าสูงสุดตามความเชื่อของพราหมณ์โบราณ ภายในหอคอยเคยเป็นที่ประดิษฐานของเทวรูปศักดิ์สิทธิ์หรือศิวลึงค์ ซึ่งพราหมณ์ประกอบพิธีด้วยน้ำมนต์และสวดมนต์เพื่อความเจริญรุ่งเรืองของเมือง ต่อมาในรัชสมัยของสมเด็จพระนารายณ์มหาราช พื้นที่เช่นวัดสันเปาโลถูกใช้สำหรับพิธีกรรมทางศาสนาคริสต์โดยบาทหลวงชาวฝรั่งเศส มีการประกอบพิธีมิสซาและสวดมนต์ควบคู่ไปกับการใช้พื้นที่สำหรับการสังเกตการณ์ทางดาราศาสตร์ ซึ่งสะท้อนให้เห็นถึงการยอมรับความเชื่อที่หลากหลาย พิธีกรรมเหล่านี้ไม่ได้เป็นเพียงเรื่องของศรัทธาเท่านั้น แต่ยังเป็นส่วนหนึ่งของการทูตระหว่างประเทศและการแสดงอำนาจของราชสำนักในขณะนั้นด้วย