Lý Bí là một hào trưởng địa phương quê ở Thái Bình - phủ Long Hưng (Sơn Tây) ven sông Hồng, phía trên thị xã Sơn Tây, từ nhỏ ông đã có tài võ nghệ, thông minh đồng thời ông cũng là người hết mực yêu thương dân.Quân phong kiến phương Bắc đô hộ, nhà Lương (thời Nam Bắc triều) đàn áp dân ta vô cùng cực khổ, ông bỏ chức quan ở Châu Đốc - Hà Tĩnh về nhà mưu việc lớn. Oán ghét quân Lương nên ông đã triệu tập binh mã, tập hợp các hào kiệt có lòng yêu nước và được hào kiệt khắp nơi hưởng ứng như Triệu Túc tù trưởng ở Chu Diên (con trai Triệu Quang Phục), Tinh Thiều, Phạm Tu...Trong đó lão tướng Phạm Tu dù tuổi đã ngoài 60 vẫn rất hăng hái luyện tập. Mùa xuân năm 542 Lý Bí phất cờ khởi nghĩa. Lý Bí hành quân và chiêu mộ quân lính tiếp. Vào ngày đẹp trời khi qua vùng đất Thái Bình ông dừng lại nơi đây lúc bấy giờ gọi là An Để trang (thuộc thôn Phương Tảo 2 - Xuân Hòa - Vũ Thư -Thái Bình bây giờ). Vì thấy phong cảnh hữu tình, địa thế thuận lợi cho việc đóng quân luyện tập bèn sai dựng hành cung, đồn lũy (vì đất đai ở đây rộng rãi). Trước cảnh sắc non sông như vậy ngài liền đọc 4 câu thơ:
“Thành thị lâu đài giai bảo ngọc
Giang sơn hoa thảo thống đan thành
Dư khí tung hoành tuy tiểu mạch
Mặc cư châm khả khiến cung thành”
Tạm dịch:
“Chợ búa lâu đài sinh tiểu ngọc
Núi sông cây cỏ biếc xanh màu
Dân nước trung thành tuy đất hẹp
Giục ta dựng luỹ đắp cung thành”
Ngài liền lệnh cho quân sĩ đắp cung thành tại đây. Đó là ngày 10/2 âm lịch năm 542. Nghĩa quân đắp thành để luyện tập và chiêu mộ thêm quân ngày một đông và mạnh. Một buổi đẹp trời ngài đi dạo mát ngắm cảnh đẹp cánh đồng lúa xanh tươi. Bỗng ngài thấy rực ánh hào quang và nghe thấy tiếng người con gái cắt cỏ hát:
“Tay cầm bán nguyệt giật vào
Muôn ngàn hoa thảo biết vào tay ai”
Đó chính là bà Đỗ Thị Khương Nương “mặt hoa da phấn, mắt phượng mày ngài, đủ đức công dung ngôn hạnh” con gái cụ Đỗ Công Cẩn làm nghề dạy học và cắt thuốc chữa bệnh cho dân. Ngài đắp đồn, luyện tập binh sĩ sau đó tiếp tục đi dẹp giặc Lương nơi khác và giao cho bà Đỗ Thị Khương Nương cai quản. Chỉ sau 3 tháng dẹp xong giặc Lương, quân tướng nhà Lương run sợ bỏ thành Long Biên chạy về Trung Quốc. Thắng lợi hoàn toàn ngài lệnh về đón bà Đỗ Thị Khương Nương về triều làm hoàng hậu. Ngài dựng nên nước lấy tên là Vạn Xuân năm 544, xưng danh là Tiền Lý Nam Đế, kinh đô đóng ở bờ sông Tô Lịch - Hà Nội, xây điện Vạn Thọ làm nơi vua họp bàn việc nước với quần thần.
Khi Lý Bí và Đỗ Thị Khương Nương qua đời nhân dân các làng trong vùng để tưởng nhớ công ơn đã góp công, góp sức xây đền Hữu Lộc là chính từ, các điểm phụ cận là vọng từ, công trình kiến trúc kiểu chữ ≡ . Phía trước có Tảo môn làm bình phong, hệ thống tường hoa xung quanh. Đệ nhị đệ tam xây cuối thời nhà Lê giống như chùa Keo. Miếu được đại tu vào năm 1680, gồm 3 toà, 11 gian. Trước sân xây cuốn thư cổ, cổng hoành mã. Hiện phía trước của hai toà đều đánh bạo kép, ngưỡng kép, chấn phong thượng hạ, các mảng cánh gà hồi hiên chạm lõng 3 tầng rồng lửa; tường sau, hồi tả, hồi hữu đều đắp đố lụa bằng gỗ lim. Các đồ tế khí đời Lê, các cổ khám rất lớn, những cỗ ngai đồ sộ chạm lõng 5 tầng đủ các đề tài trúc long, long cuốn, long ổ… tất cả đều sơn son, thếp vàng. Đặc biệt, miếu còn lưu giữ bức tranh cao 1,6m, rộng 2,2 m vẽ vào nửa cuối thế kỷ XVII, tranh miêu tả vua Tiền Lý Nam Đế và Hoàng Hậu rất sinh động và được xem là độc nhất vô nhị. Theo truyền thuyết, miếu Hai Thôn xưa là hành cung, phủ đệ của hoàng hậu. Các triều đại sau đều tôn tạo thêm nay là một trong số ít công trình kiến trúc thời Lê còn được bảo lưu khá nguyên vẹn với nhiều đồ thờ quý hiếm.
Hàng năm miếu Hai Thôn mở hội từ ngày 10 đến ngày 13 tháng 2 âm lịch quy tụ nhân dân các vùng lân cận nên mang tính hội vùng. Phần lễ hội miếu Hai Thôn có hoạt động: rước bà, cúng tế, dâng hương, hát giao duyên nam nữ, các trò: vật võ, tổ tôm, hát chèo, chọi gà. Những năm gần đây, hội miếu Hai Thôn có thêm các hoạt động văn nghệ thể thao hiện đại do người dân tự tổ chức để làm sống lại không khí những ngày nghĩa quân luyện tập thuở xưa và để cầu mong cho dân thôn mạnh khoẻ, mùa màng bội thu.