Đình Cao Thượng là một làng cổ có lịch sử hình thành từ khá sớm trong lịch sử phát triển của các dân tộc tỉnh Bắc Giang. Làng nằm uốn vòng dọc theo sườn của ngọn núi Yên Ngựa-một ngọn núi có vị trí chiến lược quan trọng trong cuộc kháng chiến chống Pháp kiên cường của nghĩa quân Đề Thám. Phía trước làng có con ngòi Ngân Chử bắt nguồn từ vùng rừng núi Đạm Phong chảy qua một số làng xã rồi đố ra sông Thương. Như vậy, nơi đây vừa có núi, vừa có sông hội tụ được những linh khí của trời đất tạo nên một vẻ đẹp oai hùng cho vùng đất Cao Thượng - xứng danh là một trung tâm kinh tế chính trị quan trọng của phủ Yên Thế trong giai đoạn từ thời Lê sang đến thời Nguyễn.
Mỗi khi nói đến làng Cao Thượng, người ta thường nhắc đến đình Cao Thượng - một ngôi đình cổ to đẹp lộng lẫy, bề thế nhất vùng Tân Yên. Để tới di tích, du khách có thể đi từ thành phô Bắc Giang theo đường tỉnh lộ 398 khoảng 15km theo hướng Tây Bắc (tuyến Bắc Giang - Cầu Gồ) đến đầu thị trấn Cao Thượng (Tân Yên), rẽ phải theo đường liên thôn chừng 900m là tới đình Cao Thượng. Ngôi đình tọa lạc ở phía Đông Nam của núi Yên Ngựa thuộc xóm Đình hay còn gọi là xóm Ngoài, kề đường giao thông liên xã. Phía sau đình dựa lưng vào núi, phía trước nhìn ra bến Ngân của con ngòi Ngân Chử. Đây là một công trình kiến trúc tiêu biểu mang đặc trưng phong cách nghệ thuật của thời Lê thê kỷ XVII. Đình thờ Đức Thánh Cao Sơn, Quý Minh, là những người có nhiều công lao trong việc đánh tan quân giặc, bảo vệ sự bình yên của đất nước.
Nhìn tổng thể, đình Cao Thượng được bô cục theo lối kiến trúc hình chữ nhị gồm toà đại đình 5 gian 2 dĩ ở phía trước, hậu cung 3 gian nhỏ song song ở phía sau. Trên mái đình có 4 góc đao cong vút tạo sự thanh thoát, mềm mại cho ngôi đình. Bên trong, hệ thống khung gỗ được liên kết các vì theo kiểu chồng rường giá chiêng, thượng tam hạ tứ. Các mảng điêu khắc của đình đều tập trung
vào các đầu bẩy với những mảng đề tài hết sức phong phú đa dạng. Ngoài đề tài chính là rồng, ở các mảng điêu khắc khác đều có hình hổ, voi, tứ linh... Đặc biệt hình tương người đàn ông chiếm ưu thê trong các bức chạm khắc ở đình. Nghệ thuật chạm khắc, trang trí ở đây thật cầu kỳ tinh xảo thế hiện tài năng tuyệt đỉnh của người nghệ nhân dân gian xưa.
Bên cạnh những giá trị về mặt kiến trúc nghệ thuật, đình Cao Thượng là nơi chứng kiến nhiều sự kiện quan trọng trong lịch sử dân tộc. Đặc biệt trong thời gian có phong trào khởi nghĩa Yên Thế, nghĩa quân Yên Thê do Hoàng Hoa Thám lãnh đạo đã có môi liên hệ rất mật thiết với làng Cao Thượng và đình Cao Thượng. Bởi thế, Đề Thám đã cho lập căn cứ ở trên núi Yên Ngựa. Trong năm 1890, thực dân Pháp dò biết ở núi Yên Ngựa có quân của cụ Đề nên đã tố chức lực lượng tấn công đánh nghĩa quân. Chúng tổ chức một đạo quân lớn gần 700 súng trường và 5 cỗ trọng pháo do tướng Gô-đanh chỉ huy. Mục tiêu cuộc tấn công là chiếm Cao Thượng - một vị trí tiền tiêu của nghĩa quân, trước đây một đơn vị lính khô xanh đã tấn công nhưng thất bại.
Ngày 6 tháng 11, địch tập trung hai cánh quân đánh vào Cao Thượng, còn một cánh khác do đại úy Tê-ta (Testart) chỉ huy càn quét dọc đường Luộc Hạ đi Bố Hạ. Nghĩa quân đã kịp thời biết được kế hoạch của địch nên đế một bộ phận nhỏ kiềm chế hai phần ba lực lượng địch ở Cao Thượng, còn đại bộ phận phục kích dọc đường cái lớn để bao vây tiêu diệt cánh quân Tê-ta
Tại Cao Thượng, tuy lực lượng ít nhưng nghĩa quân biết dựa vào địa hình địa vật thuận lợi. Chiến sự diễn ra rất ác liệt từ 7h30 sáng đến 3 giờ 30 chiều. Địch phải bắn tới 197 phát đại bác, mất 20 tên vừa chết vừa bị thương mới chiếm được Cao Thượng, lúc này chỉ còn cột nhà cháy dở. Thiếu tá Bê-li-ê (Beylie) đã tham dự trận đánh kể lại như sau: “Thật khó mà ước lượng quân sô' của địch (nghĩa quân Yên Thế) trong trận này. Chắc là không đông lắm và không quá 100 người. Nhưng cuộc kháng cự đã diễn ra rất kịch liệt và người ta không thể hiểu nổi tại sao một nhóm người trong một địa bàn nhỏ hẹp lại có thể đương đầu với đại bác đặt cách không đầy 300 thước trong một thời gian khá lâu như vậy”.
Trong khi địch bị giam chân ở Cao Thượng như vậy thì trên đường Luộc Hạ đi Bố Hạ, nghĩa quân đã bao vây chặt cánh quân của đại úy Tê-ta trên các ngọn đồi (núi Yên Ngựa) gần làng Luộc Hạ. Suốt ba ngày địch loanh quanh trên các ngọn đồi (núi Yên Ngựa) lo chống trả các đợt xung phong gan dạ của nghĩa quân. Mãi đến sáng ngày 9 tháng 11, sau khi địch làm chủ được Cao Thượng và kéo lên giải vây, nghĩa quân mới chịu rút một cách an toàn. Vì vậy, khi quân Pháp vào được Cao Thượng thì thấy nơi đây chỉ còn trận địa không. Điên cuồng, chúng đốt phá đình, chùa và núi Yên Ngựa. Vì thê, ngôi chùa
trăm gian của làng đã bị tiêu hủy. Ngôi đình Cao Thượng được nhân dân kịp thời đổ ra cứu được nên không bị cháy. Song đình còn nhiều vết đạn găm trên cột cái, xà, kẻ... là chứng tích nêu rõ tội ác của quân Pháp. Sau này, trong thời gian diễn ra cuộc hòa hoãn lần thứ hai giữa Đề Thám và quân Pháp (1897-1909), Đề Thám đã giúp dân Cao Thượng tu sửa lại đình và dựng ngôi chùa. Những khi có hội lệ lớn tại đình chùa, Đề Thám cùng nghĩa quân đều về tham dự góp vui.
Trải qua bao thời gian cùng sự thăng trầm của đất nước, đình Cao Thượng vẫn còn bảo lưu được nhiều nét kiến trúc cổ kính, với những mảng chạm khắc trang trí độc đáo, tinh xảo không phải nơi nào cũng có được. Đồng thời, trong đình còn nhiều tài liệu, hiện vật có giá trị trong việc nghiên cứu lịch sử vùng đất, con người Cao Thượng xưa.
Hàng năm để tưởng nhớ công ơn đức Thánh thờ trong đình, dân làng Cao Thượng còn tổ chức hội lệ vào hai dịp xuân thu nhị kỳ. Hội xuân được mở từ ngày 12 đến ngày 14 tháng Giêng tại 2 làng Đầu Cầu và Cao Thượng. Trong lễ hội, dân làng có tổ chức rước Thánh từ đình Chanh và đình Trên về đình Cao Thượng để tổ chức tế lễ Thành hoàng. Trong lễ tế, làng Cao Thượng còn có một phong tục rất độc đáo đó là tục tê Thần bằng lợn đen. Sau cuộc tế lễ trang nghiêm long trọng, ở trong đình có hát ca trù thờ Thánh, ơ ngoài sân hội, làng có tố chức các trò vui
như: leo cầu kiều, bắt vịt, đáo đĩa, đập niêu, chơi đu, đấu vật, chơi cờ bỏi, bịt mắt bắt dê, tổ tôm, tam cúc điếm, bắt phỗng (nhảy phỗng). Buổi tối ở sân đình có hát tuồng, hát chèo...thu hút rất đông người già trẻ, trai gái cùng tham dự, thưởng thức những hình thức văn hoá dân gian truyền thống đặc sắc của địa phương mình.
Hiện nay khi xã hội đã có nhiều sự biến đổi, hội đình Cao Thượng vẫn thường xuyên được duy trì. Tuy rằng, nhiều trò chơi dân gian trong lễ hội xưa không còn được tố chức nữa và quy mô lễ hội cũng thu hẹp hơn. Song lễ hội đình làng Cao Thượng vẫn là một lễ hội lớn mang đậm những nét văn hóa truyền thống tốt đẹp của dân tộc. Người dân khắp nơi đến dự hội không chỉ được chiêm ngưỡng một công trình kiến trúc, điêu khắc gỗ độc đáo, cổ kính mà còn được thưởng thức nét đẹp sinh hoạt văn hoá tinh thần của người dân làng Cao Thượng.
Với ý nghĩa là một di tích cổ còn bảo lưu nhiều nét kiến trúc nghệ thuật đặc sắc của thời Lê (thế kỷ XVII), đồng thời là một địa điểm quan trọng liên quan đến cuộc khởi nghĩa Yên Thế do Hoàng Hoa Thám lãnh đạo (cuối thê kỷ XIX - đầu thê kỷ XX), đình Cao Thượng trở thành một trong 23 di tích và cụm di tích thuộc Hệ thống di tích lịch sử Những địa điểm khởi nghĩa Yên Thế ở Bắc Giang được Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg ngày 10/5/2012 công nhận là Di tích quốc gia đặc biệt.