Đình Bình Phú thờ hai vị thành hoàng làng là Cao Sơn đại vương và Tam Giang đại vương, thời vua Hùng thứ XVIII. Tương truyền, hai ông có công đánh giặc, bảo vệ triều vua Hùng, giúp dân trị thủy và phát triển nông nghiệp.
Theo các cụ trong làng, ban đầu đình Bình Phú được xây dựng trên đất xứ Nhà Cận ở ngoài bờ sông. Sau nhiều trận lũ lụt hư hại, ngôi đình được di chuyển vào xóm Tỉnh Viên, cách nơi cũ chừng 300m. Sau khi chuyển đình một thời gian, trong làng Bình Phú xảy ra những biến cố, dân làng không được bình an, ngôi đình lại được di chuyển từ xứ Tỉnh Viên sang xứ Gò Lem hiện nay (gọi là Gò Lem vì trước kia, nơi đây là rừng lem rậm rạp).

Theo các cụ cao niên, vị trí đình Bình Phú tọa lạc hiện nay có thế đất Hoàng Xà (con rắn vàng), ngôi đình ở trên đầu con rắn.   Niên đại của đình Bình Phú cũng chưa được khẳng định một cách chính xác, căn cứ theo đạo sắc phong sớm nhất cho thành hoàng của đình vào năm Cảnh Hưng nguyên hiên (1740) thì đình được dựng vào khoảng đầu thế kỷ XVIII. Theo tư liệu điều tra về việc thờ cúng thành hoàng làng trong các làng xã do Viện Viễn Đông Bác Cổ Pháp tại Việt Nam thực hiện trong những năm 1932 – 1939, đình Bình Phú được trùng tu lớn vào năm Bảo Đại thứ 8 (1932).