Tại thôn Còn Pheo, cách trung tâm UBND xã Thuỵ Hùng (huyện Cao Lộc) chừng 3km có một cây cầu đá nhỏ bắc qua suối Khao, trước đây nhân dân vẫn thường qua lại và gọi là cầu Khao.
Cầu Khao được xây dựng hoàn toàn bằng đá làm theo lối cổ khá phổ biến ở Lạng Sơn. Cầu có chiều dài 7m, rộng 3m và cao khoảng 3m. Cầu chỉ có hai trụ làm bằng các khối đá xanh hình hộp chữ nhật khá lớn ở hai đầu nhưng rất chắc chắn, vững chãi. Mặt cầu làm bằng những thanh đá lớn nhẵn phẳng ghép vào với nhau. Khi nhìn nghiêng, cầu có hình vòm cuốn kiểu parabon rất đẹp. Nhân dân địa phương cho biết, cây cầu này có từ rất lâu đời. Trước đây, cạnh cầu có 1 tấm bia đá thể khối nhỏ, năm 1997, trong khi tu sửa, đổ bê tông trên mặt cầu, tấm bia đã bị vùi lấp chưa tìm lại được. Rất tình cờ, trong một dịp đi khảo sát di tích lịch sử cách mạng trên địa bàn huyện Cao Lộc, cán bộ Bảo tàng tổng hợp Lạng Sơn phát hiện ven đường- cạnh cầu Khao có một tấm bia bê bết bùn đất, mới phát lộ khi một đơn vị thi công giao thông san ủi đất làm cầu mới song song với cây cầu đá cũ trên tuyến đường liên xã Thuỵ Hùng - Phú Xá. Xác định đây chính là tấm bia đá đã bị vùi lấp từ năm 1997, Bảo tàng Lạng Sơn đã cử cán bộ tới nghiên cứu, khảo sát và xem xét đề xuất phương án quản lý, bảo vệ
.
Những kết quả nghiên cứu bước đầu cho thấy đây là một tấm bia cổ ghi lại việc làm cầu bắc qua suối Khao. Bia có kích thước nhỏ, mang những nét rất đặc trưng của loại hình bia đá thể khối thời Nguyễn. Toàn bộ chỉ cao 77cm, thân rộng 48cm. Đế và thân rời nhau được lắp khít lại. Trán bia có dạng gần hình thang, đục chạm khá đơn giản, mặt trước khắc chìm chữ Hán theo kiểu đại tự "Thạch kiều bia ký" (Văn bia cầu đá), hai bên trang trí chạm nổi hình hai bông hoa sen mãn khai. Thân bia có hình khối hộp chữ nhật, mặt trước phẳng, khắc chìm chữ Hán theo kiểu chữ chân. Nội dung ghi lại việc làm cầu đá bắc qua con suối ở thôn Hương Bài (Háng Pài) từ tháng 5 đến tháng 8 năm 1895 (năm Thành Thái thứ 7) và những đặc điểm của cây cầu. Bên dưới ghi tên những người đóng góp tiền dựng cầu. Phần kê tên cho thấy không chỉ nhân dân trong xã góp tiền mà các vị quan ở nơi khác cũng góp rất nhiều tiền để dựng cây cầu này. Phần lớn số tiền làm cầu Khao là do 3 vị quan: quan tri châu Văn Uyên, quan châu uý và quan giữ đồn Đồng Đăng đóng góp. Phía dưới có chữ ký xác nhận của xã trưởng và kỳ mục trong xã. Diềm bia hơi nổi cao so với mặt bia, hai bên trang trí chạm nổi đề tài Phật giáo với hình cúc - trúc cắm trong bình. Đế bia có hình khối hộp chữ nhật rộng 58 cm, dày 16cm trang trí chạm nổi ở 3 mặt: mặt trước là hình rùa, 2 mặt bên trang trí hình 2 con thỏ, mặt sau để trơn.
So sánh những hình chạm khắc trang trí trên bia cầu đá suối Khao với hình chạm khắc trên chân tảng đình Háng Pài cách đó không xa có thể dễ dàng nhận thấy giữa chúng có rất nhiều nét tương đồng, mang giá trị văn hoá nghệ thuật cao. Cán bộ Bảo tàng Lạng Sơn đã đo vẽ, chụp ảnh, dập - dịch bia và các hoạ tiết trang trí làm tư liệu lưu trữ phục vụ nghiên cứu. Để kịp thời gìn giữ, bảo vệ bia cầu đá suối Khao, sau khi nhận được báo cáo của Bảo tàng Lạng Sơn về việc phát hiện bia cầu đá cổ, Sở Văn hoá, Thể thao và Du lịch đã chỉ đạo phòng Văn hoá Thông tin Cao Lộc phối hợp với chính quyền địa phương triển khai phương án quản lý, bảo vệ bia. Hiện tại, bia cầu Khao đã được cọ rửa, vệ sinh sạch sẽ và đưa về bảo quản ở nơi an toàn để tránh hư hỏng, thất lạc. Trong tương lai, khi việc làm cầu - đường hoàn thành thì sẽ lựa chọn địa điểm phù hợp để dựng bia theo nguyên tắc bảo tồn tại chỗ để phục vụ khách tham quan, nghiên cứu.
Mặc dù đã trải qua hơn 100 năm tồn tại, nhưng bia đá và cầu Khao vẫn còn rất nguyên vẹn. Lạng Sơn vốn là vùng đất lắm sông, nhiều suối, việc bắc cầu đá qua các con suối nhỏ phục vụ giao thông đi lại của bà con là việc làm mang tính cộng đồng rất được coi trọng. Người xưa coi đây là việc làm phúc đức cho con cháu nên thường rất tự nguyện góp công, góp của để dựng cầu. Trong lịch sử, Lạng Sơn từng có các cây cầu đá cổ nổi tiếng như cầu đá Kỳ Lừa thành phố Lạng Sơn, cầu đá Xuân Mai (Văn Quan), cầu đá Nà Mạt (Hoàng Việt, Văn Lãng)... Trong số này, nhiều cây cầu có niên đại khá sớm (đầu thế kỷ 18). Đến nay do nhiều nguyên nhân khác nhau, phần nhiều những cây cầu đá này đã bị hư hỏng, thậm chí một số không còn dấu tích. Cầu Khao là một trong số ít những cây cầu đá cổ còn sót lại trên đất Lạng Sơn ở dạng nguyên vẹn nhất, rất có giá trị trong việc nghiên cứu lịch sử, văn hoá của địa phương. Vì vậy cần có phương án bảo tồn hữu hiệu để phục vụ công tác nghiên cứu, tuyên truyền giới thiệu di sản văn hoá của tỉnh.
