Hàng năm, đã thành nếp bao đời, cứ đến ngày rằm tháng riêng âm lịch, tại từ đường Nguyễn Khuyến lại tổ chức trọng thể lễ tưởng niệm ngày mất của nhà thơ. Quan chức trong xã, trong huyện và của tỉnh, các tầng lớp nhân dân xa gần về dự lễ khá đông.
Nguyên từ đường là một phần trong khu nhà cũ mà nhà thơ đã sống thuộc làng Vị Hạ (tục gọi là làng Và Hạ) xã Trung Lương, Huyện Bình Lục, tỉnh Hà Nam.
Năm 1843 lần đầu tiên dân làng Vị Hạ làm nhà đón cụ Nguyễn Liễn bố đẻ của nhà thơ về dạy cho con em ở quê hương. Nhân dân và học trò đã tự nguyện bỏ tiền ra mua đất rồi đóng góp công sức ra đổ nền, sắm gỗ lạt, gạch ngói để xây dựng một ngôi nhà ở xứ Cửa Quán tại vườn Bùi. Đây là chỗ cụ Liễn ngồi dậy học đồng thời cũng là nơi ở của gia đình cụ, sau một thời gian dài trở lại quê hương.
Vườn Bùi bao gồm cả thôn Vị Hạ, điều này chính nhà thơ đã khẳng định:
Nhà ta ở xứ vườn Bùi
Nơi nhà ta ở trước đây
(Mừng làm nhà riêng ở vườn Bùi)
Hai mươi tám năm kể từ khi Nguyễn Khuyến theo gia đình về quê cho đến lúc ra làm quan vào năm 1871, căn nhà này đã có nhiều kỷ niệm vui buồn gắn bó với cuộc đời ông.
Khi Nguyến Khuyến ra làm quan gia đình đi theo, nơi ở cũ là mấy gian từ đường, sau này giao lại cho con cháu trông coi. Năm 1874, bà mẹ mất tại phủ đường nơi ông làm việc tại Thanh Hoá. Ông đã đưa mẹ về quê, trở về căn nhà vườn Bùi chịu tang ba năm. Vào năm 1884 khi nhà thơ vừa tròn 50 tuổi, ông xin nghỉ hưu, trở lại quê nhà, sống trọn những ngày còn lại ở quê hương.
Chính trên mảnh đất cũ do dân làng mua và dựng nhà cho cụ Liễn ngồi dạy học, trong khi chưa đỗ đạt, còn túng bấn. Vào năm 1861 nhà thơ đã phải bán bớt đi để lấy tiền sinh sống
Bốn khoá thi hương không đậu cả
Một mảnh vườn hoang bán sạch rồi.
(Giễu mình chưa đỗ)
Từ quan trở về sống cuộc đời nhàn tản, nhà thơ không ở chỗ cũ mà chuyển sang một khu đất khác, chắc vì chốn cũ sau khi bán bớt đất quá chật chội:
Tuy chẳng phải trên nền nhà cũ
Song vẫn là xứ vườn Bùi
(Mừng làm nhà riêng ở xứ vườn Bùi)
Đây là một thửa đất mới:
Đất một sào cũng ở xứ vườn Bùi.
(Mừng làm nhà riêng ở xứ vườn Bùi)
Với một cái ao khá rộng:
Ông lão về hưu tuổi 50 với cái ao nửa mẫu
(Sau khi say)
Như vậy, ngôi nhà của Nguyễn Khuyến được làm vào lúc nghỉ hưu như sau: diện tích đất thổ cư một sào, cộng với năm sào ao. Toàn bộ cột và khung nhà là tận dụng nguyên liệu của ngôi từ đường trước đây của cụ thân sinh, do học trò và nhân dân làm cho (theo bài “Mừng làm nhà riêng ở xứ Vườn Bùi”). Đây là ngôi nhà thứ hai tại quê hương mà nhà thơ đã ở mà lần này do chính Nguyễn Khuyến xây dựng.
Ngôi nhà 5 gian lợp tranh, tường là phên nứa. Phía ngoài cổng bằng rào tre không phải mở ra mà chống lên hàng ngày, loại cổng thường gặp ở nhà dân thường (theo các bài: Ngày hè ngẫu hứng, Trong lúc ốm).
Chỉ sau mấy năm nghỉ hưu, trong bài “Ngày hè ngẫu thành” nhà thơ lại ca ngợi một ngôi nhà mới:
Ta về nghỉ đã năm sáu năm
Nơi ở có ngôi nhà bẩy gian
Phía Tây Nam có ao nước trong
Cúi nhìn cá lội thung thăng
Con trai của nhà thơ là Nguyễn Hoan đỗ Phó bảng năm Kỷ Sửu (1889) đã mua thêm đất xung quanh mảnh đất nhà thơ đã làm nhà hồi mới nghỉ hưu, rồi vượt thổ đào ao mở rộng ra tới 9 sào đất.
Trên mảnh đất ấy, Phó bảng Nguyễn Hoan cho dựng nhà tế đường và nhiều công trình khác, nổi bật nhất là nhà tế đường xây theo kiểu chữ nhị, đằng trước là nhà đại tế gồm 7 gian, đằng sau 3 gian cách nhau một cái sân nhỏ. Chính tại khu nhà này nhà thơ đã sống gần 20 năm cuối đời và trút hơi thở cuối cùng.
Vào năm 1915 cháu đích tôn nhà thơ là Thừa Du, con trai cả của Nguyễn Hoan đã đem bán 7 gian đại tế cho dân làng Giải Đông (nay thuộc xã Yên Đổ, huyện Bình Lục) dỡ về làm đình. Ngôi đình đó nằm ngay ven sông Sắt chảy qua làng. Trên mảnh đất cũ chỉ còn lại một cổng gạch và ba gian sau của khu nhà tế đường đã chứng kiến những năm tháng cuối cùng của nhà thơ. Mảnh vườn xưa vẫn sum suê hoa trái. Ba gian nhà còn lại nay trở thành Từ Đường thờ nhà thơ. Thế hệ cháu chắt thứ năm của ông vẫn đang làm nhiệm vụ sạch cỏ đỏ đèn để đón khách bốn phương vốn rất yêu thơ ông về viếng thăm, chiêm ngưỡng một tài năng, một nhà thơ lớn của dân tộc.
Năm 1985 UBND tỉnh Hà Nam Ninh phối hợp với Uỷ ban khoa học xã hội Việt Nam trọng thể kỷ niệm 150 năm ngày sinh của nhà thơ và tổ chức một Hội nghị khoa học lớn bàn chuyên đề về cuộc đời và sự nghiệp thơ văn của ông, với sự tham gia của nhiều giáo sư, tiến sỹ, và các nhà khoa học có tên tuổi.
Đi theo đường lát gạch từ đầu làng Vị Hạ vào hơn 100m, qua một vài cái ao quen thuộc của vùng đồng chiêm là đến ngõ nhỏ dẫn vào Từ Đường nhà thơ. Trúc hiện nay không còn nhiều như thuở nào, chỉ điểm xuyết đôi bụi cây trước cổng.
“Ngõ trúc quanh co” dẫn vào một cổng gạch cổ kính. Mặt đằng trước, phía trên cùng là ba chữ lớn “Môn tử môn” (Cửa ra vào của các học trò) đã khẳng định vị trí chủ nhân của khu nhà này.
Hai bên cổng là đôi câu đối đắp nổi, chứ hán nhấn vào vữa. Bậc thềm được xây dật ba cấp cao 0,40m. Lối ra vào là một khuôn hình chữ nhật, các con sơn và những đấu trụ đắp cầu kỳ bằng vữa đã làm cho mặt phía trước cổng sinh động hẳn lên. Đây là những mô típ khá quen thuộc trong các kiểu kiến trúc cổ. Mặt phía trong có một bán mái gác tường ba mặt, lợp ngói nam. Dạng cổng gạch kiểu này cũng rất phổ biến ở nông thôn miền Bắc trước đây.
Khu nhà tế đường có 7 gian đã bị con cháu dỡ bán đi cách đây hơn 80 năm. Sau đó ông Hàn Đạm con trai thứ hai của Nguyễn Hoan cho dựng lại trên nền nhà cũ, bẩy gian nhà lợp tranh nhưng rồi do túng bấn chính ông lại đem dỡ bán. Bẩy gian nhà này, ba gian giữa để tiếp khách, mỗi đầu hồi hai gian được ngăn ra bằng gỗ để làm buồng. Mấy gian nhà này làm theo kiểu vì kèo giá chiêng, cột có đường kính 0,35m, điêu khắc mang phong cách thời Nguyễn đơn giản.
Qua một sân gạch rộng 0,35m hai đầu hồi xây tường gạch là đến nhà thứ hai. Trong sân về phía giáp tường có một số bồn xây để trồng hoa và cây cảnh. Nhà thứ hai hiện nay là Từ đường Nguyễn Khuyến. Ngôi nhà gồm ba gian, bốn hàng cột, đường kính cột là 0,25m, kiểu vì chèo giá chiêng chồng rường. Hai đầu hồi và tường sau được xây tường gạch, còn đằng trước là dãy cửa bức bàn bằng gỗ, mỗi gian có bốn cánh cửa. Cửa này mỗi khi có việc có thể tháo ra toàn bộ làm cho lòng nhà thoáng đãng, sáng sủa, không gian mở rộng thêm. Trong nhà trạm khắc không cầu kỳ. Ngoài một số hình lá lật, một vài chữ triện đơn giản, kỹ thuật ở đây chủ yếu là ghép mộng, ngang bằng sổ ngay dứt khoát, kết cấu với nhau chặt chẽ.
Trên 9 sào đất, ngoài công trình kiến trúc có từ trước và được xây mới chiếm khoảng 1/3 diện tích, còn lại chủ yếu được trồng cây ăn quả. Cây lưu niên có nhãn, mít, dừa, cau, rồi cam, bưởi, na, ổi…mùa nào quả ấy. Đằng trước 3 gian từ đường có hoa nhài, hoa huệ, hoa hồng, hoa ngọc lan, vạn tuế thay nhau nở hoa đưa mùi hương thoảng nhẹ trong gió.
Tấm ảnh Nguyễn Khuyến đầu đội khăn lượt mặc áo dài, tay nâng chiếc chén hạt mít, chụp lúc sinh thời được đặt trang trọng trong Từ đường. Ngay lúc còn sống, xem ảnh mình, tác giả đã có bài thơ “Đề ảnh” và tự đặt câu hỏi:
Trăm chén hình ta xin tặng ảnh ta
Nghìn năm sau ta sẽ là ai?
Một điều mà Nguyễn Khuyến không ngờ rằng, chẳng phải chờ đến một nghìn năm sau mà chưa đầy 1/10 khoảng thời gian ấy, tên tuổi nhà thơ đã để lại một dấu ấn không thể phai mờ trên văn đàn thi ca Việt Nam.
Tại đây còn hai hòm sách và một ống quyển để lưu giữ văn bài mà cậu khoá Thắng ngày nào còn dùi mài kinh sử. Sau khoa thi Tân Mùi (1871) khi đã đỗ đầu ba khoa, triều đình ban cho ông hai biển “ân tứ vinh quy” để quan nghè Nguyễn Khuyến trở về quê hương ra mắt dân làng và tạ ơn tổ tiên. Hai biển vua ban nền sơn son thiếp vàng lộng lẫy ấy nay vẫn đặt tại Từ đường.
Tại Từ đường hiện nay vẫn còn một câu đối của tổng đốc Ninh Thái làm năm Nhâm Thân (1872) và một cuốn thư mà Tiến sĩ Dương Khuê làm năm Tân Mùi (1871) mừng Nguyễn Khuyến đỗ đầu ba khoa. Gian bên phải Từ đường còn kê một chiếc sập gụ, một hiện vật rất gắn bó với cuộc đời nhà thơ trong những năm tháng cuối cùng.
Từ đường Nguyễn Khuyến đã được Bộ Văn hoá Thông tin công nhận là di tích lịch sử văn hoá, nhiều năm nay là địa điểm du lịch, một điểm tham quan của các nhà nghiên cứu để tìm hiểu thêm về cuộc đời và sự nghiệp của nhà thơ.
Với vốn của chương trình mục tiêu quốc gia căn nhà đại tế 7 gian đã được dựng lại trên nền cũ, ao thu tôn tạo lại và cảnh quan vườn Bùi xưa từng bước phục hồi.
Cùng với tu bổ, tôn tạo để tôn vinh nhà thơ, từ khi còn là tỉnh Hà Nam Ninh, Nam Hà (cũ) và nay là Hà Nam, giải thưởng văn học mang tên Nguyễn Khuyến được bình chọn 5 năm một lần. Ngay tại quê hương Trung Lương có trường trung học cơ sở Nguyễn Khuyến, năm 2000 công viên Nguyễn Khuyến ra đời ở thị xã Phủ Lý (nay là thành phố Phủ Lý) Hà Nam và cũng thật tự hào tại thủ đô Hà Nội cũng có đường phố mang tên nhà thơ.