Cao Thượng là làng cổ có lịch sử hình thành từ khá sớm, trong lịch sử phát triển của các dân tộc tỉnh Bắc Giang. Làng nằm uốn vòng dọc theo sườn của ngọn núi Yên Ngựa - một ngọn núi có vị trí chiến lược quan trọng trong cuộc kháng chiến chống Pháp kiên cường của nghĩa quân Đề Thám. Phía trước làng có con ngòi Ngân Chử, bắt nguồn từ vùng rừng núi Đạm Phong, chảy qua một số làng xã rồi đổ ra sông Thương. Như vậy, nơi đây vừa có núi, vừa có sông, hội tụ được những linh khí của trời đất tạo nên một vẻ đẹp oai hùng cho vùng đất Cao Thượng - xứng danh là một trung tâm kinh tế chính trị quan trọng của phủ Yên Thế, trong giai đoạn từ thời Lê sang đến thời Nguyễn..

Đình Cao Thượng là một ngôi đình cổ to đẹp lộng lẫy, bề thế nhất vùng Tân Yên. Đình tọa lạc ở phía đông Nam của núi Yên Ngựa, thuộc xóm Đình hay còn gọi là xóm Ngoài, xã Cao Thượng, Đây là một công trình kiến trúc tiêu biểu, mang đặc trưng phong cách nghệ thuật của thời Lê thế kỷ XVII. Đình thờ đức thánh Cao Sơn - Quý Minh, là những người có nhiều công lao trong việc đánh tan quân giặc, bảo vệ sự bình yên của đất nước.
Nhìn tổng thể, đình Cao Thượng được gồm toà đại đình 5 gian 2 dĩ ở phía trước, hậu cung 3 gian nhỏ song song ở phía sau. Trên mái đình, 4 đao cong vút tạo sự thanh thoát, mềm mại cho ngôi đình. Bên trong, hệ thống khung gỗ được liên kết các vì, theo kiểu chồng rường giá chiêng, thượng tam hạ tứ. Các mảng điêu khắc của đình đều tập trung vào các đầu bẩy, với những mảng đề tài hết sức phong phú, đa dạng. Ngoài đề tài chính là rồng, ở các mảng điêu khắc khác đều có hình hổ, voi, tứ linh... Đặc biệt, hình tượng người đàn ông chiếm ưu thế trong các bức chạm khắc ở đình. Nghệ thuật chạm khắc, trang trí ở đây thật cầu kỳ tinh xảo, thể hiện tài năng tuyệt đỉnh của người nghệ nhân dân gian xưa.
Bên cạnh những giá trị về mặt kiến trúc nghệ thuật, đình Cao Thượng còn là nơi chứng kiến nhiều sự kiện quan trọng trong lịch sử dân tộc. Tương truyền: khi quân Tây Sơn tiến ra Bắc Hà, vua Lê Chiêu Thống đã bỏ chạy ra khỏi kinh thành Thăng Long, lên đóng ở đình Cao Thượng. Khi quân Tây Sơn đuổi đến nơi, Lê Chiêu Thống đang chơi cờ, đã vội vàng vứt quân cờ bằng ngà voi vào hốc cột đình và trốn biệt. Tiếp đến, trong thời gian có phong trào khởi nghĩa Yên Thế, nghĩa quân Yên Thế do Hoàng Hoa Thám lãnh đạo, đã có mối liên hệ rất mật thiết với làng Cao Thượng và đình Cao Thượng. Bởi thế, Đề Thám đã cho lập căn cứ ở trên núi Yên Ngựa. Trong năm 1890, thực dân Pháp dò biết ở núi Yên Ngựa có quân của cụ Đề, nên đã tổ chức lực lượng tấn công. Trận đánh giữa thực dân Pháp với nghĩa quân diễn ra rất ác liệt. Quân Pháp nã đại bác liên tục vào núi, rồi xung phong đánh vào. Tất cả các cuộc tấn công ấy đều bị đánh bật ra. Quân Pháp phải tăng cường quân chi viện từ Bố Hạ sang hỗ trợ. Đề Thám biết tin, chỉ để một lực lượng nhỏ ở núi Yên Ngựa cầm cự, đem lực lượng lớn đi đánh quân tiếp viện. Đội quân tiếp viện của Pháp bị đè bẹp và tổn thất nặng ở Luộc Hạ. Sau chiến thắng, Đề Thám cho số quân ở núi Yên Ngựa rút lui an toàn. Quân Pháp khi vào được Cao Thượng chỉ còn trận địa không. Điên cuồng, chúng đốt phá đình, chùa và núi Yên Ngựa. Vì thế, ngôi chùa trăm gian của làng đã bị tiêu huỷ. Ngôi đình Cao Thượng được nhân dân kịp thời đổ ra cứu, nên không bị cháy. Song đình còn nhiều vết đạn găm trên cột cái, xà, kẻ … là chứng tích nêu rõ tội ác của quân Pháp. Sau này, khi cuộc hoà hoãn lần thứ hai giữa Đề Thám và quân Pháp diễn ra tốt đẹp, Đề Thám đã giúp dân Cao Thượng tu sửa đình và dựng lại ngôi chùa. Những khi có hội lệ lớn tại đình chùa, Đề Thám cùng nghĩa quân đều về tham dự góp vui.
Trải qua bao thời gian, cùng sự thăng trầm của đất nước, đình Cao Thượng vẫn còn bảo lưu được nhiều nét kiến trúc cổ kính, với những mảng chạm khắc trang trí độc đáo, tinh xảo, không phải nơi nào cũng giữ được. Đồng thời, trong đình còn nhiều tài liệu, hiện vật có giá trị cho việc nghiên cứu lịch sử vùng đất, con người Cao Thượng xưa.

Hàng năm, để tưởng nhớ công ơn đức thánh thờ trong đình, dân làng Cao Thượng còn tổ chức hội lệ vào hai dịp xuân thu nhị kỳ. Hội xuân được mở từ ngày 12 đến ngày 14 tháng giêng tại 2 làng: Đầu Cầu và Cao Thượng. Trong lễ hội, dân làng có tổ chức rước thánh từ đình Chanh và đình Trên về đình Cao Thượng để tổ chức tế lễ Thành hoàng. Trong lễ tế, làng Cao Thượng còn có một phong tục rất độc đáo, đó là tục tế thần bằng lợn đen. Sau cuộc tế lễ trang nghiêm long trọng, ở trong đình có hát ca trù thờ thánh. Ở ngoài sân hội, làng có tổ chức các trò vui như: leo cầu kiều, bắt vịt, đáo đĩa, đập niêu, chơi đu, đấu vật, chơi cờ bỏi, bịt mắt bắt dê, tổ tôm, tam cúc điếm, bắt phỗng (nhảy phỗng). Buổi tối, ở sân đình có hát tuồng, hát chèo…thu hút rất đông người già trẻ, trai gái cùng tham dự, thưởng thức những hình thức văn hoá dân gian truyền thống đặc sắc của địa phương mình.
Giờ đây, khi xã hội đã có nhiều sự biến đổi, hội đình Cao Thượng vẫn thường xuyên được duy trì, nhưng nhiều trò chơi dân gian trong lễ hội xưa không còn được tổ chức nữa và quy mô lễ hội cũng thu hẹp thời gian hơn. Song lễ hội đình làng Cao Thượng vẫn là một lễ hội lớn, mang đậm những nét văn hoá truyền thống tốt đẹp của dân tộc. Người dân khắp nơi đến dự hội không chỉ được chiêm ngưỡng một công trình kiến trúc, điêu khắc gỗ độc đáo, cổ kính, mà còn được thưởng thức nét đẹp sinh hoạt văn hoá tinh thần của người dân làng Cao Thượng. 
                                                                                                                                                  BBT