Theo tương truyền thì đình thờ hai vị thành hoàng làng là Cao Sơn đại vương và Bản Cảnh đại vương. Cùng với đình, tại Yên Dưỡng còn có một số di tích tâm linh khác như đền Song Nưa thờ Quỳnh Hoa công chúa; đền Móng thờ công chúa Liễu Hạnh; miếu Mường thờ quan Mường; chùa Yên Dưỡng (tên chữ là An Phú tự).

Căn cứ vào nhiều tài liệu khác nhau và các đạo sắc phong thời Nguyễn (03 đạo sắc triều Tự Đức, 01 đạo triều Duy Tân  thì có thể đoán định đình Yên Dưỡng được xây dựng khoảng giữa thế kỷ XIX. Theo các cụ cao niên trong làng, đình Yên Dưỡng trước đây dựng tại gò Đình (cách vị trí đình hiện tại khoảng 600m theo hướngTây). Ngôi đình làng Yên Dưỡng xưa kia được làm bằng vật liệu tranh, tre, nứa lá, nhưng sau này đã bị hư hỏng và đến năm 1910 thì được dân làng di chuyển vào vị trí hiện nay. Đến năm 1990, đình Yên Dưỡng được tu sửa và đến năm 2005 đình tiếp tục được tôn tạo với quy mô như bây giờ.