algorithm ၏ hyperparameter များသည် အဘယ်နည်း။

/ / Published in ပြည်တွင်းသတင်း ဉာဏ်ရည်တု, EITC/AI/GCML Google Cloud Machine Learning, နိဒါန္း, စက်သင်ယူမှုဆိုတာဘာလဲ

စက်သင်ယူမှုနယ်ပယ်တွင်၊ အထူးသဖြင့် Artificial Intelligence (AI) နှင့် Google Cloud Machine Learning ကဲ့သို့သော cloud-based platform များအတွင်း၊ hyperparameters များသည် algorithms ၏စွမ်းဆောင်ရည်နှင့် ထိရောက်မှုတွင် အရေးပါသောအခန်းကဏ္ဍမှပါဝင်သည်။ Hyperparameters များသည် သင်ကြားရေး အယ်လဂိုရီသမ်၏ အပြုအမူကို ထိန်းချုပ်ပြီး မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို တိုက်ရိုက်လွှမ်းမိုးသည့် လေ့ကျင့်ရေးလုပ်ငန်းစဉ်မစတင်မီတွင် သတ်မှတ်ထားသော ပြင်ပဖွဲ့စည်းပုံများဖြစ်သည်။

hyperparameter များကိုနားလည်ရန်၊ ၎င်းတို့ကို parameters များနှင့်ခွဲခြားရန်မရှိမဖြစ်လိုအပ်သည်။ ကန့်သတ်ချက်များသည် မော်ဒယ်၏ အတွင်းပိုင်းဖြစ်ပြီး သင်ယူမှုလုပ်ငန်းစဉ်အတွင်း လေ့ကျင့်ရေးဒေတာမှ သင်ယူသည်။ ကန့်သတ်ချက်များ၏နမူနာများတွင် အာရုံကြောကွန်ရက်များတွင် အလေးချိန်များ သို့မဟုတ် မျဉ်းကြောင်းဆုတ်ယုတ်မှုပုံစံများတွင် ကိန်းများပါဝင်သည်။ အခြားတစ်ဖက်တွင်၊ Hyperparameters များသည် လေ့ကျင့်ရေးဒေတာမှသင်ယူခြင်းမဟုတ်သော်လည်း လေ့ကျင့်သူမှ ကြိုတင်သတ်မှတ်ထားသည်။ သူတို့က မော်ဒယ်ရဲ့ လေ့ကျင့်ရေး လုပ်ငန်းစဉ်နဲ့ ဖွဲ့စည်းပုံကို ထိန်းချုပ်ပါတယ်။

Hyperparameters အမျိုးအစားများ

1. မော်ဒယ် Hyperparameters: ယင်းတို့သည် မော်ဒယ်၏ ဖွဲ့စည်းပုံကို ဆုံးဖြတ်သည်။ ဥပမာအားဖြင့်၊ အာရုံကြောကွန်ရက်များတွင် ဟိုက်ပါပါရာမီတာများသည် အလွှာတစ်ခုစီရှိ အလွှာအရေအတွက်နှင့် နျူရွန်အရေအတွက်တို့ ပါဝင်သည်။ ဆုံးဖြတ်ချက်သစ်ပင်များတွင်၊ ဟိုက်ပါပါရာမီတာများသည် သစ်ပင်၏အမြင့်ဆုံးအတိမ်အနက် သို့မဟုတ် node တစ်ခုကိုခွဲရန် လိုအပ်သောနမူနာအနည်းဆုံးအရေအတွက် ပါဝင်နိုင်သည်။

2. Algorithm Hyperparameters- ဤအရာများသည် သင်ယူမှုလုပ်ငန်းစဉ်ကို ကိုယ်တိုင်ထိန်းချုပ်သည်။ ဥပမာများတွင် gradient descent algorithms တွင် သင်ယူမှုနှုန်း၊ mini-batch gradient descent ရှိ batch size နှင့် လေ့ကျင့်ရေး အတွက် epochs အရေအတွက်တို့ ပါဝင်သည်။

Hyperparameters နမူနာများ

1. သင်ယူမှုနှုန်း: ၎င်းသည် gradient ဆင်းသက်ခြင်းကဲ့သို့ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းဆိုင်ရာ အယ်လဂိုရီသမ်များတွင် အရေးကြီးသော hyperparameter တစ်ခုဖြစ်သည်။ ၎င်းသည် ဆုံးရှုံးမှုလုပ်ဆောင်ချက်တစ်ခုစီတွင် ဆုံးရှုံးမှုတစ်ခုစီသို့ ရွေ့လျားနေစဉ် ခြေလှမ်းအရွယ်အစားကို ဆုံးဖြတ်သည်။ မြင့်မားသောသင်ယူမှုနှုန်းသည် မော်ဒယ်အား အသင့်တော်ဆုံးဖြေရှင်းချက်တစ်ခုသို့ လျင်မြန်စွာပေါင်းစပ်သွားစေနိုင်ပြီး သင်ယူမှုနှုန်းနည်းပါးခြင်းသည် ဒေသတွင်းအသေးစားလေ့ကျင့်မှုတွင် ကြာရှည်စွာပိတ်မိသွားနိုင်သည့် လေ့ကျင့်မှုလုပ်ငန်းစဉ်ကို ဖြစ်ပေါ်စေနိုင်သည်။

2. အသုတ်အရွယ်အစား− stochastic gradient descent (SGD) နှင့် ၎င်း၏မျိုးကွဲများတွင်၊ အသုတ်အရွယ်အစားသည် တစ်ကြိမ်ထပ်လုပ်ရာတွင် အသုံးပြုသည့် လေ့ကျင့်ရေးနမူနာများ၏ အရေအတွက်ဖြစ်သည်။ သေးငယ်သောအသုတ်အရွယ်အစားသည် gradient ၏ပိုမိုတိကျသောခန့်မှန်းချက်ကိုပေးစွမ်းသော်လည်းတွက်ချက်မှုအရစျေးကြီးပြီးဆူညံနိုင်သည်။ အပြန်အလှန်အားဖြင့်၊ ပိုကြီးသောအသုတ်အရွယ်အစားသည် တွက်ချက်မှုကို အရှိန်မြှင့်နိုင်သော်လည်း တိကျမှုနည်းသော gradient ခန့်မှန်းချက်များကို ဖြစ်ပေါ်စေနိုင်သည်။

3. Epochs အရေအတွက်: ဤ hyperparameter သည် သင်ကြားရေး အယ်လဂိုရီသမ် လေ့ကျင့်ရေးဒေတာအတွဲတစ်ခုလုံးတွင် အလုပ်လုပ်မည့် အကြိမ်အရေအတွက်ကို သတ်မှတ်သည်။ မော်ဒယ်သည် လေ့ကျင့်ရေးဒေတာတွင် ဆူညံသံကို သိရှိပါက ပိုမိုကောင်းမွန်သော သင်ယူမှုကို ဖြစ်ပေါ်စေနိုင်သော်လည်း မော်ဒယ်သည် လေ့ကျင့်ရေးဒေတာတွင် ဆူညံသံကို သိရှိပါက အံဝင်ခွင်ကျဖြစ်နိုင်ခြေကို တိုးမြင့်စေသည်။

4. ကျောင်းထွက်နှုန်း: အာရုံကြောကွန်ရက်များတွင် ကျောင်းထွက်ခြင်းသည် လေ့ကျင့်နေစဉ်တွင် ကျပန်းရွေးချယ်ထားသော အာရုံကြောများကို လျစ်လျူရှုထားသည့် ပုံမှန်ပြုလုပ်သည့်နည်းလမ်းတစ်ခုဖြစ်သည်။ ကျောင်းထွက်နှုန်းသည် ကျဆင်းသွားသော နူရွန်အပိုင်းအစဖြစ်သည်။ ၎င်းသည် ကွန်ရက်သည် သီးခြား နျူရွန်များအပေါ် အလွန်အမင်း အားမကိုးကြောင်း သေချာစေခြင်းဖြင့် အံဝင်ခွင်ကျမဖြစ်စေရန် ကူညီပေးသည်။

5. ကြီးကြီးကျယ်ကျယ် ကန့်သတ်ချက်များ− ၎င်းတို့တွင် မော်ဒယ်ရှိ ကြီးမားသောအလေးချိန်များကို အပြစ်ပေးသည့် L1 နှင့် L2 ပုံမှန်ပြုလုပ်သည့်ကိန်းဂဏန်းများ ပါဝင်သည်။ ပိုကြီးသောအလေးချိန်များအတွက် ဒဏ်ငွေထည့်ခြင်းဖြင့် ရိုးရှင်းသောပုံစံများကို တွန်းအားပေးခြင်းဖြင့် စည်းချက်ညီအောင် ထိန်းညှိပေးသည်။

Hyperparameter ဖြတ်တောက်ခြင်း။

Hyperparameter tuning သည် သင်ယူမှု algorithm တစ်ခုအတွက် အကောင်းဆုံး hyperparameters အစုအဝေးကို ရှာဖွေသည့် လုပ်ငန်းစဉ်ဖြစ်သည်။ hyperparameters များ၏ရွေးချယ်မှုသည်မော်ဒယ်၏စွမ်းဆောင်ရည်ကိုသိသိသာသာအကျိုးသက်ရောက်နိုင်သောကြောင့်၎င်းသည်အရေးကြီးပါသည်။ hyperparameter ချိန်ညှိခြင်းအတွက် ဘုံနည်းလမ်းများ ပါဝင်သည်။

1. ဂရစ်ရှာ: ဤနည်းလမ်းတွင် ဟိုက်ပါပါရာမီတာများ သတ်မှတ်ခြင်းနှင့် ဖြစ်နိုင်ချေရှိသော ပေါင်းစပ်မှုအားလုံးကို ကြိုးပမ်းခြင်းတို့ ပါဝင်ပါသည်။ ပြည့်စုံနေချိန်တွင်၊ ၎င်းသည် တွက်ချက်မှုအရ ဈေးကြီးပြီး အချိန်ကုန်နိုင်သည်။

2. ကျပန်းရှာဖွေမှု: ပေါင်းစပ်မှုအားလုံးကို စမ်းသုံးမည့်အစား၊ ကျပန်းရှာဖွေမှုသည် ကြိုတင်သတ်မှတ်ထားသောနေရာမှ hyperparameter ပေါင်းစပ်မှုများကို ကျပန်းနမူနာယူသည်။ ဤနည်းလမ်းသည် ဇယားကွက်ရှာဖွေမှုထက် မကြာခဏ ပိုမိုထိရောက်ပြီး ထပ်ကာထပ်ကာ အနည်းငယ်မျှဖြင့် ကောင်းမွန်သော hyperparameter များကို ရှာဖွေနိုင်သည်။

3. Bayesian Optimization: ဤသည်မှာ ရည်မှန်းချက်လုပ်ဆောင်ချက်၏ ဖြစ်နိုင်ခြေရှိသော စံနမူနာကို တည်ဆောက်ကာ အကဲဖြတ်ရန် အလားအလာအရှိဆုံး hyperparameters များကို ရွေးချယ်ရန် ၎င်းကို အသုံးပြုသည့် ပိုမိုဆန်းပြားသော နည်းလမ်းဖြစ်သည်။ အကောင်းဆုံး hyperparameters များကို ထိထိရောက်ရောက်ရှာဖွေရန် စူးစမ်းရှာဖွေခြင်းနှင့် အသုံးချခြင်းတို့ကို ချိန်ခွင်လျှာညှိပေးသည်။

4. ဟိုက်ပါဘန်း: ဤနည်းလမ်းသည် ကျပန်းရှာဖွေမှုနှင့် စောစီးစွာရပ်တန့်ခြင်းတို့ကို ပေါင်းစပ်ထားသည်။ ၎င်းသည် ဖွဲ့စည်းမှုပုံစံများစွာဖြင့် စတင်ပြီး ဖွဲ့စည်းမှုပုံစံများကို အစောပိုင်းတွင် လုပ်ဆောင်မှု ညံ့ဖျင်းမှုကို ရပ်တန့်ခြင်းဖြင့် ရှာဖွေမှုနေရာကို တဖြည်းဖြည်း ကျဉ်းမြောင်းစေသည်။

လက်တွေ့ဥပမာများ

Google Cloud Machine Learning ရှိ TensorFlow မူဘောင်ကို အသုံးပြု၍ ရုပ်ပုံအမျိုးအစားခွဲခြင်းအတွက် အာရုံကြောကွန်ရက်ပုံစံကို သုံးသပ်ကြည့်ပါ။ အောက်ပါ hyperparameter များကို ထည့်သွင်းစဉ်းစားနိုင်သည်-

1. သင်ယူမှုနှုန်း− ပုံမှန်အပိုင်းအခြားသည် [0.001၊ 0.01၊ 0.1] ဖြစ်နိုင်သည်။ အကောင်းဆုံးတန်ဖိုးသည် သီးခြားဒေတာအတွဲနှင့် မော်ဒယ်ဗိသုကာအပေါ်မူတည်ပါသည်။

2. အသုတ်အရွယ်အစား: ဘုံတန်ဖိုးများ 32၊ 64 နှင့် 128 တို့ ပါဝင်သည်။ ရွေးချယ်မှုသည် ရရှိနိုင်သော တွက်ချက်မှုဆိုင်ရာ အရင်းအမြစ်များနှင့် ဒေတာအတွဲ၏ အရွယ်အစားပေါ်တွင် မူတည်သည်။

3. Epochs အရေအတွက်: မော်ဒယ် မည်မျှ လျင်မြန်စွာ ပေါင်းစည်းနိုင်သည် ပေါ်မူတည်၍ ၎င်းသည် 10 မှ 100 သို့မဟုတ် ထို့ထက်ပို၍ ကွာနိုင်သည်။

4. ကျောင်းထွက်နှုန်း: 0.2၊ 0.5 နှင့် 0.7 ကဲ့သို့သော တန်ဖိုးများကို အချိုးအစားမညီခြင်း နှင့် အလွန်အကျွံ အံဝင်ခွင်ကျ အကြား အကောင်းဆုံး အပေးအယူကို ရှာတွေ့နိုင်သည် ။

5. Regularization Coefficient ပါ။L2 ပုံမှန်ပြုလုပ်ခြင်းအတွက် 0.0001၊ 0.001 နှင့် 0.01 ကဲ့သို့သော တန်ဖိုးများကို ထည့်သွင်းစဉ်းစားနိုင်ပါသည်။

မော်ဒယ်စွမ်းဆောင်ရည်အပေါ် သက်ရောက်မှု

မော်ဒယ်စွမ်းဆောင်ရည်အပေါ် ဟိုက်ပါပါရာမီတာများ၏ သက်ရောက်မှုသည် လေးနက်နိုင်သည်။ ဥပမာအားဖြင့်၊ မသင့်လျော်သော သင်ယူမှုနှုန်းသည် မော်ဒယ်ကို အနိမ့်ဆုံးပတ်ပတ်လည်တွင် တုန်လှုပ်သွားစေသည် သို့မဟုတ် အလွန်နှေးကွေးစွာ ပေါင်းစည်းသွားနိုင်သည်။ အလားတူ၊ မလုံလောက်သော အသုတ်အရွယ်အစားသည် လေ့ကျင့်ရေးလုပ်ငန်းစဉ်၏ တည်ငြိမ်မှုကို ထိခိုက်စေပြီး ဆူညံသော gradient ခန့်မှန်းချက်များကို ဖြစ်ပေါ်စေနိုင်သည်။ အထူးသဖြင့် ကန့်သတ်ဘောင်များစွာရှိသော ရှုပ်ထွေးသော မော်ဒယ်များတွင် စည်းကြပ်မှုအား ထိန်းချုပ်ရန်အတွက် ပုံမှန်သတ်မှတ်မှုဘောင်များသည် အရေးကြီးပါသည်။

ကိရိယာများနှင့်ဘောင်များ

ကိရိယာများနှင့် မူဘောင်များစွာသည် hyperparameter ချိန်ညှိခြင်းကို လွယ်ကူချောမွေ့စေသည်။ Google Cloud Machine Learning သည် Google ၏ အခြေခံအဆောက်အအုံကို အသုံးပြု၍ အကောင်းဆုံး hyperparameter များကို အလိုအလျောက်ရှာဖွေပေးသည့် AI Platform Hyperparameter Tuning ကဲ့သို့သော ဝန်ဆောင်မှုများကို ပေးပါသည်။ အခြားသော လူကြိုက်များသော မူဘောင်များ ပါဝင်သည်-

1. Keras Tuner: လွယ်ကူသော ဟိုက်ပါပါရာမီတာ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရန် ခွင့်ပြုသည့် Keras အတွက် တိုးချဲ့မှု။
2. Optuna: ထိရောက်သောနမူနာနှင့် ဖြတ်တောက်ခြင်းဗျူဟာများကို အသုံးပြု၍ ဟိုက်ပါပါရာမီတာ ပိုမိုကောင်းမွန်အောင်လုပ်ဆောင်ခြင်းအတွက် ဆော့ဖ်ဝဲဘောင်။
3. Scikit-learn ၏ GridSearchCV နှင့် RandomizedSearchCVဤအရာများသည် scikit-learn မော်ဒယ်များတွင် hyperparameter ချိန်ညှိခြင်းအတွက် ရိုးရှင်းသော်လည်း အစွမ်းထက်သောကိရိယာများဖြစ်သည်။

အကောင်းဆုံးအလေ့အကျင့်

1. ကြမ်းတမ်းသောရှာဖွေမှုဖြင့် စတင်ပါ။: မော်ဒယ်၏စွမ်းဆောင်ရည်အပေါ် ၎င်းတို့၏အကျိုးသက်ရောက်မှုကို နားလည်ရန် ကျယ်ပြန့်သော ဟိုက်ပါပါရာမီတာများပေါ်တွင် ကျယ်ပြန့်သောရှာဖွေမှုဖြင့် စတင်ပါ။
2. ရှာဖွေမှုကို သန့်စင်ပါ။: အလားအလာရှိသော ဒေသတစ်ခုကို ဖော်ထုတ်ပြီးသည်နှင့် အကောင်းဆုံးသော ဟိုက်ပါပါရာမီတာများကို လိုက်လျောညီထွေဖြစ်စေရန် ထိုဒေသအတွင်း ပိုမိုအသေးစိတ်ရှာဖွေမှုကို လုပ်ဆောင်ပါ။
3. Cross-Validation ကိုသုံးပါ။: ဟိုက်ပါပါရာမီတာများသည် မမြင်ရသောဒေတာအတွက် ကောင်းမွန်စွာ ယေဘုယျလုပ်ဆောင်နိုင်စေရန်အတွက် အပြန်အလှန်အတည်ပြုခြင်းကို အသုံးပြုပါ။
4. Overfitting အတွက် စောင့်ကြည့်ပါ။: အလွန်အကျွံ စောစီးစွာ သိရှိနိုင်စေရန် အတည်ပြုခြင်းဒေတာတွင် မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို စောင့်ကြည့်ပါ။
5. အလိုအလျောက် ကိရိယာများကို အသုံးချပါ။အချိန်နှင့် တွက်ချက်မှုဆိုင်ရာ အရင်းအမြစ်များကို သက်သာစေရန် အလိုအလျောက် ဟိုက်ပါပါရာမီတာ ချိန်ညှိကိရိယာများကို အသုံးပြုပါ။

Hyperparameter များသည် ဂရုတစိုက် ထည့်သွင်းစဉ်းစားရန်နှင့် ချိန်ညှိရန် လိုအပ်သည့် စက်သင်ယူမှု၏ အခြေခံကျသော ကဏ္ဍတစ်ခုဖြစ်သည်။ ၎င်းတို့သည် ၎င်းတို့၏ စွမ်းဆောင်ရည်နှင့် ယေဘူယျလုပ်ဆောင်နိုင်စွမ်းများကို သိသိသာသာ သက်ရောက်မှုရှိသော မော်ဒယ်များ၏ လေ့ကျင့်ရေးလုပ်ငန်းစဉ်နှင့် ဖွဲ့စည်းပုံကို အုပ်ချုပ်သည်။ ထိရောက်သော ဟိုက်ပါပါရာမီတာ ချိန်ညှိခြင်းများသည် မော်ဒယ်တိကျမှုနှင့် ထိရောက်မှုတွင် သိသိသာသာတိုးတက်မှုများကို ဖြစ်ပေါ်စေနိုင်ပြီး ၎င်းသည် စက်သင်ယူမှုလုပ်ငန်းအသွားအလာတွင် အရေးပါသောအဆင့်တစ်ခု ဖြစ်လာစေသည်။

အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ စက်သင်ယူမှုဆိုတာဘာလဲ:

စက်သင်ယူမှုဆိုတာဘာလဲ မှာ မေးခွန်းတွေနဲ့ အဖြေတွေကို ပိုမိုကြည့်ရှုပါ

နောက်ထပ်မေးခွန်းများနှင့် အဖြေများ-

အောက်တွင် tag လုပ်ခဲ့သည် , , , , ,