ภาษาที่ใช้ภายในวัง

อดีตวังยะหริ่งเป็น 1 ใน 7 ซึ่งเป็นเมืองประเทศราชของไทย ต้องส่งเครื่องราชบรรณาการ ต้นไม้เงิน ต้นไม้ทอง ให้แก่ไทย 3 ปี ต่อ 1 ครั้ง ทั้ง 7 หัวเมืองประกอบไปด้วย หัวเมืองยะหริ่ง หัวเมืองสายบุรี หัวเมืองหนองจิก หัวเมืองจะบังตีกอ หัวเมืองรามัน หัวเมืองยาลอ และหัวเมืองระแงะ สำหรับวังยะหริ่งพระยาพิพิธเสนาบดีสงคราม ท่านเป็นเจ้าเมืองยะหริ่งคนที่ 3 ท่านได้มอบหมายช่างเชื้อสายจีนที่มาจากกรุงเทพ เป็นผู้สร้างวัง เมื่อปี พ.ศ. 2438 ถึงปัจจุบันอายุ 124 ปี

เมืองสายบุรีเดิม ตั้งอยู่ที่อำเภอยี่งอ จังหวัดนราธิวาส การตั้งเมืองสมัยก่อน จะตั้งริมแม่น้ำพอแม่น้ำตื้นเขินการคมนาคมไม่สะดวก เจ้าเมืองสายบุรีคนที่ 3 ก็ย้ายเมืองมาอยู่ที่อำเภอไม้แก่น ตัววังตั้งอยู่ที่ริมแม่น้ำกอตอฝั่งซ้าย ช่วงหลังแม่น้ำเกิดตื้นเขิน เจ้าเมืองสายบุรีก็ย้ายมาตั้งเมืองอยู่ที่ซาลิงดงบารู ตำบลตะลุบัน อำเภอสายบุรีปัจจุบัน