ประวัติของ "หลวงพ่อปู่" เริ่มต้นจากพระพุทธรูปศิลาแลงที่ถูกอัญเชิญมาตามแม่น้ำท่าจีนในอดีต แต่เนื่องจากพายุที่รุนแรง ทำให้ต้องอัญเชิญมาประดิษฐานชั่วคราวที่วัดโกรกกราก และไม่สามารถเคลื่อนย้ายต่อไปได้เนื่องจากปาฏิหาริย์ที่ทำให้องค์พระมีน้ำหนักมากอย่างน่าประหลาด ที่มาของแว่นตาดำย้อนกลับไปในยุคที่เกิดโรคระบาดทางตา ทำให้ชาวบ้านตั้งจิตอธิษฐานว่าหากหายป่วย จะนำทองคำเปลวมาปิดที่ดวงตาของพระพุทธรูปจนเต็ม เพื่อรักษาความสง่างามขององค์พระและป้องกันไม่ให้ทองคำเปลวหลุดลอก เจ้าอาวาสในขณะนั้นจึงตัดสินใจสวมแว่นตาดำให้กับองค์พระ ซึ่งได้พัฒนามาเป็นประเพณีที่เป็นเอกลักษณ์ที่ผู้ศรัทธานำแว่นตามาถวายเพื่อแก้บนจนถึงทุกวันนี้