Chùa Tam Thanh nằm trong cùng một khối núi đá vôi đã hình thành từ hơn 300 triệu năm trước, hai động Tam Thanh và Nhị Thanh có nhiều tầng hang khô, trong đó có hang rất lớn cách mặt đất 5-7m (có cửa sổ thông thiên, từ đó nước tiếp tục nhỏ xuống tí tách tạo thành nhũ đá), và được dùng làm nơi thờ cúng từ hàng trăm năm trước. Đặc biệt, hai động còn được kết nối với nhau bằng một dòng chảy ngầm - gọi là suối Ngọc Tuyền - chảy từ động Tam Thanh đến động Nhị Thanh. Các động này trước đây đã từng được các Đạo sĩ sử dụng. Sau này động Nhị Thanh được khám phá, đặt tên bởi vị tổng đốc, danh nhân văn hóa nổi tiếng Ngô Thì Sĩ (1726-1780), Chùa Tam Thanh thờ Phật giáo, Nho giáo và Đạo giáo cùng đức Thánh Trần và các vị Thánh Mẫu. Trên trần và thành hang đến nay vẫn còn lưu giữ được hệ thống bia ma nhai khắc các bài thơ của Ngô Thì Sĩ và nhiều danh nhân sau này, trong đó có tấm bia cổ nhất được khắc vào năm 1677, đặc biệt nhất là tượng phật A Di Ðà được tạc thẳng vào vách đá trong tư thế đứng trong hình lá đề mang phong cách thời Lê - Mạc. Tượng cao 202cm, rộng 65 cm trong tư thế áo cà sa buông dài, chân định tuệ, tay chỉ xuống đất.