SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းတွင် ကန့်သတ်ချက်၏အဓိပ္ပာယ် (y_i (mathbf{x}_i cdot mathbf{w} + b) geq 1) ကို ရှင်းပြပါ။

/ / Published in ပြည်တွင်းသတင်း ဉာဏ်ရည်တု, Python ကို အသုံးပြု၍ EITC/AI/MLP Machine Learning, ပံ့ပိုးမှုအားနည်းချက်ကိုစက်, ပံ့ပိုးမှုအားနည်းချက်ကိုစက်စက် optimization, စာမေးပွဲသုံးသပ်ချက်

ကန့်သတ်ချက် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 ပံ့ပိုးမှု Vector Machines (SVMs) ၏ ပိုမိုကောင်းမွန်အောင်လုပ်ဆောင်ခြင်းလုပ်ငန်းစဉ်တွင် အခြေခံအစိတ်အပိုင်းတစ်ခုဖြစ်သည့် စက်သင်ယူခြင်းနယ်ပယ်တွင် ရေပန်းစားပြီး အစွမ်းထက်သောနည်းလမ်းဖြစ်သည်။ ဤကန့်သတ်ချက်သည် မတူညီသောအတန်းများကြားရှိအနားသတ်များကို တိုးမြှင့်စေပြီး SVM မော်ဒယ်သည် လေ့ကျင့်ရေးဒေတာအမှတ်များကို မှန်ကန်စွာ အမျိုးအစားခွဲကြောင်း သေချာစေရန်အတွက် အရေးကြီးသောအခန်းကဏ္ဍမှ ပါဝင်ပါသည်။ ဤကန့်သတ်ချက်၏ အရေးပါမှုကို အပြည့်အဝသဘောပေါက်ရန်၊ SVM ၏ စက်ပြင်များ၊ ကန့်သတ်ချက်၏ ဂျီဩမေတြီဆိုင်ရာ အဓိပ္ပာယ်ဖွင့်ဆိုချက်နှင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာအတွက် ၎င်း၏သက်ရောက်မှုများကို ထည့်သွင်းစဉ်းစားရန် အရေးကြီးပါသည်။

ပံ့ပိုးမှု Vector Machines သည် မတူညီသောအတန်းများ၏ ဒေတာမှတ်များကို အများဆုံးအနားသတ်ဖြင့် ပိုင်းခြားထားသော အကောင်းဆုံး hyperplane ကိုရှာဖွေရန် ရည်ရွယ်သည်။ n-dimensional space ရှိ ဟိုက်ပါလေယာဉ်ကို ညီမျှခြင်းဖြင့် သတ်မှတ်သည်။ \mathbf{w} \cdot \mathbf{x} + b = 0အဘယ်မှာရှိသနည်း \mathbf{w} hyperplane ၏ အလေးချိန် vector သည် ပုံမှန်ဖြစ်သည်၊ \mathbf{x} input feature vector နှင့် b ဘက်လိုက်သောအသုံးအနှုန်းဖြစ်သည်။ ရည်ရွယ်ချက်မှာ အတန်းတစ်ခုမှ အမှတ်များသည် ဟိုက်ပါပျံ၏ တစ်ဖက်ခြမ်းတွင် ရှိနေသည့် ဒေတာအချက်များ နှင့် အခြားအတန်းမှ အမှတ်များသည် ဆန့်ကျင်ဘက်ဘက်တွင် ရှိနေသော ဒေတာအမှတ်များကို ခွဲခြားရန်ဖြစ်သည်။

ကန့်သတ်ချက် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 data point တစ်ခုစီကို သေချာစေတယ်။ (\mathbf{x}_i၊ y_i) မှန်ကန်စွာ ခွဲခြားထားပြီး အနားသတ်၏ ညာဘက်ခြမ်းတွင် တည်ရှိသည်။ ဒီမှာ, y_i i-th data point ၏ class label ကို ကိုယ်စားပြုသည်။ y_i = +1 အတန်းတစ်ခုအတွက်နှင့် y_i = -1 အခြားအတန်းအတွက်။ ဝေါဟာရ \mathbf{x}_i \cdot \mathbf{w} + b ဟိုက်ပါယာဉ်ပျံနှင့် သက်ဆိုင်သည့် ဒေတာအမှတ်၏ တည်နေရာကို ဆုံးဖြတ်သည့် ဆုံးဖြတ်ချက် လုပ်ဆောင်ချက် ဖြစ်သည်။

ဂျီဩမေတြီ အဓိပ္ပာယ်ဖွင့်ဆိုချက်ကို နားလည်ရန် အောက်ပါတို့ကို သုံးသပ်ပါ။

1. အပြုသဘောနှင့် အနုတ်လက္ခဏာ လူတန်းစားခွဲခြားခြင်း။: အချက်တစ်ခုအတွက် \mathbf{x}_i အပြုသဘော အတန်းပိုင် (y_i = +1) ကန့်သတ်ချက် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 ရိုးရှင်းစေသည်။ \mathbf{x}_i \cdot \mathbf{w} + b \geq 1. ဆိုလိုတာက data point ပါ။ \mathbf{x}_i သတ်မှတ်ထားသောအနားသတ်နယ်နိမိတ်ပေါ်တွင် သို့မဟုတ် အပြင်ဘက်တွင် အိပ်ရမည်။ \mathbf{w} \cdot \mathbf{x} + b = 1. ထို့အတူ ဒေတာအချက်တစ်ခုအတွက် \mathbf{x}_i အနုတ်လက္ခဏာအတန်းပိုင် (y_i = -1) ကန့်သတ်ချက်သည် ရိုးရှင်းပါသည်။ \mathbf{x}_i \cdot \mathbf{w} + b \leq -1ဒေတာအမှတ်သည် သတ်မှတ်ထားသောအနားသတ်နယ်နိမိတ်ပေါ်တွင် သို့မဟုတ် အပြင်ဘက်တွင် ရှိနေကြောင်း သေချာပါစေ။ \mathbf{w} \cdot \mathbf{x} + b = -1.

2. Margin Maximization− အနားသတ်သည် အတန်းအစားတစ်ခုမှ ဟိုက်ပါယာဉ်ပျံနှင့် အနီးစပ်ဆုံးဒေတာအချက်များကြား အကွာအဝေးဖြစ်သည်။ ကန့်သတ်ချက်များသည် မှန်ကန်သော အမျိုးအစားခွဲခြားမှုကို ဆက်လက်ထိန်းသိမ်းထားစဉ်တွင် မှန်ကန်သော အမျိုးအစားခွဲခြင်းကို ဆက်လက်ထိန်းသိမ်းထားစဉ် ဒေတာအမှတ်များကို ဟိုက်ပါပျံနှင့် ဝေးနိုင်သမျှဝေးဝေးသို့ တွန်းပို့ခြင်းဖြင့် အနားသတ်များကို အမြင့်ဆုံးဖြစ်အောင် ချဲ့ထွင်ထားကြောင်း သေချာစေပါသည်။ အမှတ်တစ်ခုမှ အကွာအဝေး \mathbf{x}_i hyperplane က ပေးထားတာပါ။ \frac{|\mathbf{x}_i \cdot \mathbf{w} + b|}{\|\mathbf{w}\|}. ကန့်သတ်ချက်များကို လိုက်နာခြင်းဖြင့် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1SVM algorithm သည် ဤအကွာအဝေးကို ထိထိရောက်ရောက် ချဲ့ထွင်ပြီး ပိုကြီးသောအနားသတ်နှင့် ပိုမိုကောင်းမွန်သော အထွေထွေလုပ်ဆောင်နိုင်စွမ်းကို ဖြစ်ပေါ်စေသည်။

3. ပံ့ပိုးမှု Vectors: အနားသတ်မျဉ်းများပေါ်တွင် အတိအကျဖော်ပြထားသော ဒေတာအချက်များ \mathbf{w} \cdot \mathbf{x} + b = 1 နှင့် \mathbf{w} \cdot \mathbf{x} + b = -1 support vectors လို့ ခေါ်ပါတယ်။ အဆိုပါအချက်များသည် ဟိုက်ပါလေယာဉ်နှင့် အနီးစပ်ဆုံးဖြစ်ပြီး ၎င်း၏အနေအထားနှင့် တိမ်းညွှတ်မှုကို တိုက်ရိုက်လွှမ်းမိုးနိုင်သောကြောင့် အကောင်းမွန်ဆုံးသော ဟိုက်ပါလေယာဉ်ကို သတ်မှတ်ရာတွင် အရေးကြီးပါသည်။ ကန့်သတ်ချက်များသည် ဤပံ့ပိုးမှု vector များကို မှန်ကန်စွာ ခွဲခြားထားပြီး အနားသတ်နယ်နိမိတ်များပေါ်တွင် ရှိနေကြောင်း သေချာစေကာ၊ ထို့ကြောင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာတွင် အဓိကအခန်းကဏ္ဍမှ ပါဝင်ပါသည်။

SVM များအတွက် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာကို အလေးချိန် vector ၏ စံနှုန်းကို လျှော့ချရန် ရည်ရွယ်ချက်မှာ ခုံးပိုကောင်းအောင်ပြုလုပ်ခြင်းပြဿနာအဖြစ် ပုံဖော်နိုင်သည်။ \mathbf{w} (အနားသတ်များကို ချဲ့ထွင်ခြင်းနှင့် ညီမျှသည်) ကန့်သတ်ချက်များအပေါ် မူတည်သည်။ y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 လေ့ကျင့်ရေးဒေတာအချက်များအားလုံးအတွက်။ သင်္ချာနည်းအားဖြင့် ဤအရာကို ဖော်ပြနိုင်သည်-

    \[ \begin{aligned} &\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \\ &\text{subject to} \quad y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1၊ \quad \forall i။ \end{aligned} \]

အချက်တစ်ချက် \frac{1}{2} ပိုမိုကောင်းမွန်အောင်ပြုလုပ်နေစဉ်အတွင်း ဆင်းသက်လာယူသည့်အခါ သင်္ချာအဆင်ပြေစေရန်အတွက် ပါဝင်သည်။ ဤဖော်မြူလာကို SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာ၏ အဓိကပုံစံအဖြစ် လူသိများသည်။

ဤပိုကောင်းအောင်ပြုလုပ်ခြင်းပြဿနာကိုဖြေရှင်းရန်၊ ပုံမှန်အားဖြင့်၊ တစ်ခုသည် Lagrange အမြှောက်များကဲ့သို့သော ခုံးပိုကောင်းအောင်ပြုလုပ်ခြင်းမှ နည်းပညာများကို အသုံးပြုသည်။ Lagrange အမြှောက်များကို မိတ်ဆက်ပေးခြင်းဖြင့် \alpha_i \geq 0 ကန့်သတ်ချက်တစ်ခုစီအတွက်၊ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာကို ၎င်း၏နှစ်ထပ်ပုံစံအဖြစ်သို့ ပြောင်းလဲနိုင်သည်၊ အထူးသဖြင့် မြင့်မားသောဒေတာနှင့် ကိုင်တွယ်သောအခါတွင် ဖြေရှင်းရန်ပိုမိုလွယ်ကူသည်။ SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာ၏ နှစ်ထပ်ပုံစံကို အောက်ပါတို့က ပေးထားသည်။

    \[ \begin{aligned} &\max_{\alpha} \sum_{i=1}^{N} \alpha_i - \frac{1}{2} \sum_{i=1}^{N} \sum_{ j=1}^{N} \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \\ &\text{subject to} \quad \sum_{i=1}^{ N} \alpha_i y_i = 0၊ \\ &\quad \quad \quad \quad \quad 0 \leq \alpha_i \leq C၊ \quad \forall i၊ \end{aligned} \]

ဘယ်မှာ N လေ့ကျင့်ရေးဒေတာအချက်များ အရေအတွက်နှင့် C အနားသတ်ကို ချဲ့ထွင်ခြင်းနှင့် လေ့ကျင့်ရေးဒေတာပေါ်ရှိ အမျိုးအစားခွဲခြားမှု အမှားအယွင်းကို လျှော့ချခြင်းကြား အပေးအယူလုပ်ခြင်းကို ထိန်းချုပ်သည့် ပုံမှန်ပြုလုပ်ခြင်း ဘောင်တစ်ခုဖြစ်သည်။

ဖော်မြူလာနှစ်ခုသည် လိုင်းရိုးခြားခြင်း ဖြစ်နိုင်သည့် ပိုမိုမြင့်မားသော အသွင်အပြင်ကို ပုံဖော်ခြင်းဖြင့် SVMs များကို လိုင်းမဟုတ်သော ခွဲထုတ်နိုင်သော ဒေတာကို ကိုင်တွယ်နိုင်စေမည့် ပေါင်းစပ်ဖော်မြူလာကို လွှမ်းမိုးစေသည်။ အသွင်ပြောင်းခြင်းကို ပြတ်သားစွာလုပ်ဆောင်ခြင်းမရှိဘဲ မြင့်မားသောဘက်ခြမ်းရှိ အာကာသအတွင်း အစက်ကို ပြတ်ပြတ်သားသား တွက်ချက်ပေးသော polynomial kernel၊ radial based function (RBF) kernel နှင့် sigmoid kernel ကဲ့သို့သော kernel လုပ်ဆောင်ချက်များမှ ရရှိသည်။

dual optimization ပြဿနာကို ဖြေရှင်းခြင်းဖြင့်၊ တစ်ဦးသည် အကောင်းဆုံး Lagrange အမြှောက်များကို ရယူသည်။ \alpha_iအကောင်းဆုံးအလေးချိန် vector ကိုဆုံးဖြတ်ရန်အသုံးပြုနိုင်သည့်၊ \mathbf{w} ဘက်လိုက်မှုဆိုတဲ့ အသုံးအနှုန်းပါ။ b. ပံ့ပိုးမှု vector များသည် သုညမဟုတ်သော Lagrange အမြှောက်များဖြင့် ဒေတာအမှတ်များနှင့် ဆက်စပ်နေပြီး ဒေတာအချက်အသစ်များကို ခွဲခြားသတ်မှတ်ရန်အတွက် ဆုံးဖြတ်ချက်လုပ်ဆောင်ချက် \mathbf{x} ပေးသည်-

    \[ f(\mathbf{x}) = \text{sign} \left( \sum_{i=1}^{N} \alpha_i y_i (\mathbf{x}_i \cdot \mathbf{x}) + b \မှန်ပါ)။ \]

ကန့်သတ်ချက် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 ထို့ကြောင့် မော်ဒယ်သည် လေ့ကျင့်ရေးဒေတာကို မှန်ကန်စွာ အမျိုးအစားခွဲခြင်းနှင့် အနားသတ်များကို ချဲ့ထွင်ခြင်းကြား ဟန်ချက်ညီညီ ရရှိစေရန် SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းလုပ်ငန်းစဉ်တွင် ပါ၀င်ပါသည်။

ဥပမာတစ်ခုဖြင့် ဤကန့်သတ်ချုပ်ချယ်မှု၏ အရေးပါမှုကို သရုပ်ဖော်ရန်၊ နှစ်ဘက်မြင်ဒေတာအချက်များဖြင့် ရိုးရှင်းသော ဒွိအမျိုးအစားခွဲခြားခြင်းပြဿနာကို သုံးသပ်ကြည့်ပါ။ ကျွန်ုပ်တို့တွင် အောက်ပါလေ့ကျင့်ရေးဒေတာရှိသည်ဆိုပါစို့။

    \[ \begin{aligned} &\mathbf{x}_1 = (2, 3), \quad y_1 = +1, \\ &\mathbf{x}_2 = (1, 1), \quad y_2 = +1 , \\ &\mathbf{x}_3 = (-1၊ -1), \quad y_3 = -1, \\ &\mathbf{x}_4 = (-2, -3), \quad y_4 = -1 . \end{aligned} \]

ရည်ရွယ်ချက်မှာ အပြုသဘောဆောင်သော လူတန်းစားကို ပိုင်းခြားထားသည့် အကောင်းဆုံး ဟိုက်ပါလေယာဉ်ကို ရှာဖွေရန်ဖြစ်သည် (y = +1အနုတ်လက္ခဏာ လူတန်းစားမှ (y = -1) ဤပြဿနာအတွက် ကန့်သတ်ချက်များကို အောက်ပါအတိုင်း ရေးသားနိုင်သည်။

    \[ \begin{aligned} &y_1 (\mathbf{x}_1 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (2၊ 3) \cdot \mathbf{w} + b \geq 1၊ \\ &y_2 (\mathbf{x}_2 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (1၊ 1) \cdot \mathbf{w} + b \geq 1၊ \ \&y_3 (\mathbf{x}_3 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-1၊ -1) \cdot \mathbf{w} + b \leq -1၊ \ \&y_4 (\mathbf{x}_4 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-2၊ -3) \cdot \mathbf{w} + b \leq -1။ \end{aligned} \]

ဤကန့်သတ်ချက်များနှင့်အတူ SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းပြဿနာကို ဖြေရှင်းခြင်းဖြင့်၊ ကျွန်ုပ်တို့သည် အကောင်းဆုံးအလေးချိန် vector ကို ရရှိပါသည်။ \mathbf{w} ဘက်လိုက်မှုဆိုတဲ့ အသုံးအနှုန်းပါ။ b အတန်းနှစ်ခုကို အမြင့်ဆုံးအနားသတ်ဖြင့် ပိုင်းခြားထားသော ဟိုက်ပါလေယာဉ်ကို သတ်မှတ်သည်။

ကန့်သတ်ချက် y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 မတူညီသော အတန်းများကြားအနားသတ်များကို တိုးမြှင့်စေပြီး လေ့ကျင့်ရေးဒေတာအမှတ်များကို မှန်ကန်စွာ အမျိုးအစားခွဲရန် သေချာစေသောကြောင့် SVM ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းလုပ်ငန်းစဉ်အတွက် အရေးကြီးပါသည်။ ၎င်းသည် SVM မော်ဒယ်၏ ပိုမိုကောင်းမွန်သော ယေဘုယျလုပ်ဆောင်နိုင်စွမ်းနှင့် ကြံ့ခိုင်မှုကို ဖြစ်စေသည်။

အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ Python ကို အသုံးပြု၍ EITC/AI/MLP Machine Learning:

Python ဖြင့် EITC/AI/MLP Machine Learning တွင် နောက်ထပ်မေးခွန်းများနှင့် အဖြေများကို ကြည့်ပါ။

နောက်ထပ်မေးခွန်းများနှင့် အဖြေများ-

အောက်တွင် tag လုပ်ခဲ့သည် , , , , ,