Ngũ Phương tập cách Ngọc Hoa thành một trăm tám mươi dặm, bên trái tựa vào Chử Tú phong, bên phải giáp Vị Ương hà, vốn là một yếu đạo thông thương bốn phương.

Thuở ban đầu, nơi đây chỉ là chỗ để các thương nhân giang hồ tụ hội, trao đổi hàng hóa với nhau.

Thời gian trôi qua, dần dần có người chọn nơi này làm điểm hẹn, lâu ngày tạo thành một khu chợ mua bán sầm uất.

Sau khi Phương thị nhất tộc dời đến Trung Vực, đã chọn Ngũ Phương tập làm nơi an cư lập nghiệp.