กรมหลวงรักษรณเรศร์(หม่อนเกสร) ได้ทรงสร้างขึ้นในคราวเสด็จออกมาสร้างป้อมเมืองฉะเชิงเทรา ตามพระบรมราชโองการของสมเด็จพระนั่งเกล้าเจ้าอยู่หัว เมื่อ พ.ศ. ๒๓๗๗ และเนื่องจากสร้างขึ้นพร้อมกับป้อมและกำแพงเมือง ชาวบ้านจึงเรียกนี้ง่ายๆว่า วัดเมืองต่อมาในรัชสมัยเดียวกัน พ.ศ. ๒๓๙๑ เกิดกบฏอั้งยี่
ขึ้นที่เมืองฉะเชิงเทรา วัดนี้ถูกเผาจึงเป็นร้างไปชั่วระยะหนึ่ง กระทั่งกบฏอั้งยี่ถูกปราบราบคาบ จึงได้รับการปฏิสังขรณ์ขึ้นใหม่
มาในสมัยแผ่นดินพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๕ เมื่อคราวเสด็จประพาสเมืองฉะเชิงเทรา เพื่อเปิดทางรถไฟสายกรุงเทพ - ฉะเชิงเทรา ใน พ.ศ. ๒๔๕๐ ได้พระราชทานนามวัดนี้ วัดปิตุลาธิราชรังสฤษฎิ์ (แปลว่าวัดที่ลุงของพระเจ้าแผ่นดินทรงสร้าง)