Chùa có tên chữ là chùa Quảng Nghiêm, được lập từ thời vua Lý Cao Tông, niên hiệu Trịnh Phù thứ 10 (1185). Đến thời nhà Trần, chùa là nơi tu học của hoà thượng Bình An, tên thật là Nguyễn Lữ, quê ở Bối Khê. Tương truyền, hoà thượng là người tinh thông kinh sách, có nhiều phép lạ nên sau khi ông mất, dân làng xây tháp để gìn giữ hài cốt và tôn là Đức Thánh Bối. Chùa vừa thờ Phật vừa thờ Đức Thánh Bối. 

Chùa Trăm Gian là một quần thể kiến trúc độc đáo gồm 104 gian. Cổng chùa được xây hai trụ lớn tạo một lối đi ở giữa, hai bên là hai tường nối với hai trụ nhỏ. Bước qua cổng chùa vào bên trong là một khuôn viên rộng lớn có sân chùa được lát gạch sạch sẽ, có hai dãy hàng lang ở hai bên, hành lang bên trái dẫn đến tam quan và gác chuông, hành lang bên phải dẫn lên nhà bia tưởng niệm. Ở giữa là ngôi chính điện cổ kính, trang nghiêm. 

Tam quan nằm trên trục tâm của khu Tam bảo. Qua tam quan chùa, du khách sẽ được chiêm ngưỡng một trong những gác chuông cổ còn lại cho đến nay. Đó là một tòa gác 2 tầng 8 mái, có lan can chạy quanh bốn mặt. Các ván bằng gỗ đều có chạm hình hoa đao uốn hắt lên như một bông sen khổng lồ tỏa hương. Tại đây treo một quả chuông cao 1,1 m, đường kính 0,6 m, đúc năm 1794. Trên chuông có khắc một bài minh của Phan Huy Ích.

Khu trung tâm chùa bao gồm tòa tiền đường, thiên hương và thượng điện kết nối với nhau thành một nội thất theo hình chữ “công”. Hai hành lang dài ở hai bên thông với tiền đường ở phía trước và hậu đường ở phía sau tạo thành một kiến trúc đóng hình chữ “quốc”. Tòa tiền đường gồm 7 gian, thượng điện chỉ có 3 gian nhưng mái trước kéo dài, có tường bên kéo thẳng sang tiền đường, trong khi đó hậu đường được bố trí thành 9 gian.

Ở giữa thượng điện có một bệ đất nung đỏ hình khối chữ nhật, giống các kiểu bệ đá thời Trần. Trên bệ là đài sen, xung quanh có trang trí nhiều hình động vật, hoa lá, bốn góc có hình chim thần. Trên đài đặt các tượng Phật tam thế. 

Ngoài ra, khoảng sân sau thượng điện trước hậu đường dựng tòa Phương đình treo cả trống và khánh, cũng là chỗ cho du khách nghỉ chân ngắm cảnh xung quanh. Tất cả các công trình ở hai khu chính và phụ gắn bó với nhau theo hai không gian đạo và đời, khác nhau nhưng lại hòa quyện thống nhất dàn khắp đỉnh đồi. 

Hiện chùa còn lưu giữ bộ sưu tập tượng gồm 153 pho tượng, hầu hết bằng gỗ, một số ít bằng đất nung trong đó đặc biệt quý là tượng Tuyết Sơn, tượng Quan Âm Bồ Tát và tượng Đô đốc Đặng Tiến Đông, một tướng lĩnh nhà Tây Sơn. Ngoài ra, chùa còn có tượng thờ Đức Thánh Bối được đặt trong khám gỗ. Pho tượng này được rút cốt bằng mây đan ngoài bọc vải sơn, tương truyền là tượng bỏ hài cốt của ông. 

Chùa Trăm Gian còn có một số hiện vật thuộc loại quý hiếm. Đó là đôi rồng đá thời Trần được dùng làm lan can lên cửa chùa, có thân dài mập nhưng ghép đầu rồng thời Nguyễn. Đó là những viên gạch thời Mạc được dùng xây bệ tượng Tam thế, nhiều viên chạm chim thần và các con thú rất sinh động. Đó cũng là bộ tranh La hán và tranh Thập điện được chạm nổi có kết hợp vẽ… Trong chùa còn nhiều hoành phi, câu đối, đặc biệt là có hai câu đối được khảm trai, tương truyền là có từ thời nhà Hồ. 

Lễ hội chùa Trăm Gian được tổ chức từ ngày 4 - 6 tháng Giêng âm lịch hằng năm nhằm tưởng nhớ Đức Thánh Bối. Trong lễ hội có rước kiệu thánh, thi cỗ chay và trình rối cạn; ngoài ra còn các trò vui như đánh cờ người, đấu vật, múa rối nước, đốt pháo hoa… Chùa đã được công nhận là Di tích Lịch sử cấp quốc gia.