Trong những lời đồn đại này, chuyện được bàn tán nhiều nhất vẫn là những giai thoại về Nghiêm phủ. Người ta kể lại rành mạch rõ ràng, trong đó chuyện khiến mọi người hứng thú nhất là tiểu thừa tướng Nghiêm Thế Phiên lại cưới thêm một tiểu thiếp, mà còn là một người đã có chồng. Vị tiểu thiếp này vốn là thê tử của một thuộc hạ dưới trướng Nghiêm Thế Phiên. Khi Nghiêm Thế Phiên đến nhà thuộc hạ "thị sát công việc" thì đã câu dẫn được nàng ta. Dăm ba bận như thế, có lần người thuộc hạ này tan việc trở về, phát hiện tiểu thừa tướng đang "thị sát" thê tử của mình ngay trên giường nhà mình... Gã thuộc hạ này cũng thuộc dạng kỳ lạ, chẳng những không tức giận mà ngược lại còn lấy làm vinh hạnh, chạy ra cửa canh gác cho bọn họ. Nửa năm sau, gã thuộc hạ này thậm chí còn cảm thấy tiểu thừa tướng đến nhà mình "thị sát" quá nhọc công xe ngựa, bèn chủ động dâng thê tử của mình cho tiểu thừa tướng làm tiểu thiếp.

Người ta bàn tán rất nhiều về Nghiêm phủ, ngay cả kẻ gánh phân ở cổng thành cũng kể đủ chuyện, nào là Nghiêm phủ nguy nga tráng lệ hơn cả hoàng cung, giường dát vàng nạm ngọc, đũa bằng ngà voi, ca múa không ngớt, một bữa ăn tốn đến mấy trăm lượng bạc, Nghiêm Thế Phiên mỗi ngày ít nhất cũng phải mây mưa ba lần, đại loại vậy.