ช้างและปราสาท (Elephant & Castle) เริ่มต้นจาก จอร์จ ชวาร์ตษ์  (George Schwartz) ที่หลบหนีไปยังลอนดอนจากสงครามที่บอบช้ำในเยอรมนีตั้งแต่ยังเป็นเด็ก จอร์จผ่านสถานีรถไฟใต้ดินแห่งหนึ่งที่มีชื่อในเทพนิยายระหว่างทางไปโรงเรียนแพทย์ทุกวัน และตกหลุมรักชื่อ "ช้างและปราสาท" เมื่อผ่านการรับรองแล้ว จอร์จย้ายไปนิวยอร์กและเริ่มฝึกเป็นเนื้องอกวิทยาที่โรงพยาบาลเซนต์วินเซนต์ในกรีนิชวิลเลจ ทุกวันในระหว่างที่เขาเข้ากะที่โรงพยาบาลเป็นเวลานาน จอร์จจะคร่ำครวญเกี่ยวกับตัวเลือกอาหารกลางวันที่ไม่ดีของเขา เมื่อจอร์จเข้าสู่วัยเกษียณและหลังจากสองทศวรรษแห่งมื้อกลางวันที่น่าผิดหวังของเขา จอร์จจึงตัดสินใจจะสร้างสถานที่ที่เขาสามารถกินและเพลิดเพลินได้ในทุกวัน ดังนั้น Elephant & Castle จึงเปิดขึ้นใน Greenwich Village, New York ในปี 1973 ตรงข้ามถนนจากโรงพยาบาล St. Vincent และในที่สุดเขาก็มีความสุขกับชีวิตด้วยการกินทุกอย่างที่อยากกินในร้านอาหารของตัวเองที่มีชื่อพิเศษจากอดีต

การไปเยือนดับลินแบบสุ่มแต่ได้แรงบันดาลใจของจอร์จและภรรยาชาวออสเตรียของเขาในการเดินทางกลับยุโรปหลายครั้งพบว่าพวกเขาเดินเล่นผ่านพื้นที่ที่พาพวกเขาย้อนเวลากลับไปยังสถานที่เดิมของแมนฮัตตัน ที่นี่พวกเขาอยู่ในช่วงปลายยุค 80 ของ Temple Bar ที่มีถนนปูด้วยหินเงียบสงบ โกดังเก่า ผับที่ว่างเปล่า และสถานที่สไตล์วินเทจที่ครั้งหนึ่งเคยเป็นร้านปรุงยาสไตล์วิกตอเรีย พื้นที่ทั้งสองแห่งนี้มีความคล้ายคลึงกันทำให้เกิดมีความคิดในการขยายสาขาออกไปนอกนิวยอร์กในทันที

ช้างและปราสาท (Elephant & Castle) แห่งเมืองดับลิน ก็ได้เปิดทำการทันเวลาคริสต์มาสปี 1989 และในฤดูใบไม้ผลิถัดมา คิวอาหารเลิศรสและบรรยากาศอันน่าทึ่งก็ได้เริ่มขึ้นแล้ว