ในอดีตวังยะหริ่งเป็น 1 ใน 7 ซึ่งเป็นเมืองประเทศราชของไทย ต้องส่งเครื่องราชบรรณาการ ต้นไม้เงิน ต้นไม้ทอง ให้แก่ไทย 3 ปี ต่อ 1 ครั้ง ทั้ง 7 หัวเมือง
วังยะหริ่งพระยาพิพิธเสนาบดีสงคราม ท่านเป็นเจ้าเมืองยะหริ่งคนที่ 3 ท่านได้มอบหมายช่างเชื้อสายจีนที่มาจากกรุงเทพ เป็นผู้สร้างวัง เมื่อปี พ.ศ. 2438 ถึงปัจจุบันอายุ 124 ปี ใช้เวลาในการสร้าง 5 ปี จึงเสร็จสมบูรณ์ ส่วนลายที่แกะสลักภายในวังเป็นลายชวา ซึ่งใช้ช่างจากอินโดนีเซีย
สถาปัตยกรรมของวัง ได้รับแนวคิด 3 สไตล์รวมกัน ประกอบไปด้วย มลายู ชวา และยุโรปตัววังจะสร้างด้วยไม้ตะเคียนทองทั้งหลัง แบ่งออกเป็น 2 ชั้น ชั้นล่างเป็นปูน ชั้นบนเป็นไม้ ชั้นบนจะเป็นที่ทำการของเจ้าเมืองไว้ตัดสินคดีความและรับแขกบ้านแขกเมือง โดยเจ้าเมืองกับลูกหลานจะอาศัยอยู่ชั้นบน ส่วนชั้นล่างจะเป็นที่อยู่อาศัยของทาสหรือเครือญาติ ภายในวังจะสร้างเป็นรูปตัวยู ปัจจุบันวังแห่งนี้เป็นที่อยู่อาศัยของลูกหลานไม่ใช่พิพิธภัณฑ์
