နက်ရှိုင်းသောသင်ယူမှုနယ်ပယ်၊ အထူးသဖြင့် convolutional neural networks (CNNs) သည် မကြာသေးမီနှစ်များအတွင်း ထူးထူးခြားခြားတိုးတက်မှုများကိုတွေ့မြင်ခဲ့ပြီး ကြီးမားပြီးရှုပ်ထွေးသော neural network ဗိသုကာများကို ဖွံ့ဖြိုးတိုးတက်လာစေပါသည်။ ဤကွန်ရက်များသည် ရုပ်ပုံအသိအမှတ်ပြုမှု၊ သဘာဝဘာသာစကားဖြင့် လုပ်ဆောင်ခြင်းနှင့် အခြားဒိုမိန်းများတွင် စိန်ခေါ်မှုအလုပ်များကို ကိုင်တွယ်ရန် ဒီဇိုင်းထုတ်ထားသည်။ ဖန်တီးထားသော အကြီးဆုံး convolutional neural network ကို ဆွေးနွေးသည့်အခါ၊ အလွှာအရေအတွက်၊ ကန့်သတ်ချက်များ၊ ကွန်ပြူတာလိုအပ်ချက်များနှင့် ကွန်ရက်ကို ဒီဇိုင်းထုတ်ထားသည့် သီးခြားအက်ပလီကေးရှင်းကဲ့သို့သော ရှုထောင့်အမျိုးမျိုးကို ထည့်သွင်းစဉ်းစားရန် အရေးကြီးပါသည်။
ကြီးမားသော convolutional neural network ၏ အထင်ရှားဆုံးဥပမာတစ်ခုမှာ VGG-16 မော်ဒယ်ဖြစ်သည်။ အောက်စဖို့ဒ်တက္ကသိုလ်မှ Visual Geometry Group မှတီထွင်ထားသည့် VGG-16 ကွန်ရက်တွင် convolutional အလွှာ 16 ခုနှင့် အပြည့်အဝချိတ်ဆက်ထားသော အလွှာ 13 ခုအပါအဝင် အလေးချိန်အလွှာ 3 ခု ပါဝင်သည်။ ဤကွန်ရက်သည် ရုပ်ပုံမှတ်သားခြင်းလုပ်ငန်းဆောင်တာများတွင် ၎င်း၏ရိုးရှင်းမှုနှင့် ထိရောက်မှုတို့အတွက် ရေပန်းစားလာခဲ့သည်။ VGG-16 မော်ဒယ်သည် ခန့်မှန်းခြေအားဖြင့် ကန့်သတ်ချက်ပေါင်း 138 သန်းရှိပြီး ၎င်းကို တီထွင်ချိန်၌ အကြီးဆုံးသော အာရုံကြောကွန်ရက်များထဲမှ တစ်ခုဖြစ်လာသည်။
နောက်ထပ်ထင်ရှားသော အာရုံကြောကွန်ရက်သည် ResNet (Residual Network) ဗိသုကာဖြစ်သည်။ ResNet ကို Microsoft Research မှ 2015 ခုနှစ်တွင် မိတ်ဆက်ခဲ့ပြီး အချို့သော ဗားရှင်းများတွင် အလွှာ 100 ကျော်ပါရှိသော ၎င်း၏ နက်နဲသော ဖွဲ့စည်းပုံကြောင့် လူသိများသည်။ ResNet ၏ အဓိက ဆန်းသစ်တီထွင်မှုမှာ ပျောက်ကွယ်နေသော gradient ပြဿနာကို ဖြေရှင်းခြင်းဖြင့် အလွန်နက်နဲသော ကွန်ရက်များကို လေ့ကျင့်သင်ကြားနိုင်စေသည့် ကျန်ရှိသော ဘလောက်များကို အသုံးပြုခြင်းဖြစ်ပါသည်။ ဥပမာအားဖြင့် ResNet-152 မော်ဒယ်တွင် အလွှာပေါင်း 152 ခု ပါ၀င်ပြီး ကန့်သတ်ချက်များ သန်း 60 ဝန်းကျင် ရှိပြီး နက်နဲသော အာရုံကြောကွန်ရက်များ၏ အတိုင်းအတာကို ပြသထားသည်။
သဘာဝဘာသာစကားလုပ်ဆောင်ခြင်းနယ်ပယ်တွင် BERT (Bidirectional Encoder Representations from Transformers) မော်ဒယ်သည် သိသာထင်ရှားသောတိုးတက်မှုတစ်ခုအဖြစ် ထင်ရှားသည်။ BERT သည် သမားရိုးကျ CNN တစ်ခုမဟုတ်သော်လည်း၊ ၎င်းသည် NLP နယ်ပယ်ကို တော်လှန်ခဲ့သော Transformer-based model တစ်ခုဖြစ်သည်။ BERT-base၊ မော်ဒယ်၏သေးငယ်သောဗားရှင်းတွင် ကန့်သတ်ချက်များ သန်း ၁၁၀ ပါရှိပြီး BERT အကြီးစားတွင် ကန့်သတ်ဘောင်ပေါင်း သန်း ၃၄၀ ရှိသည်။ BERT မော်ဒယ်များ၏ ကြီးမားသော အရွယ်အစားသည် ၎င်းတို့အား ရှုပ်ထွေးသော ဘာသာစကားပုံစံများကို ဖမ်းယူနိုင်ပြီး NLP လုပ်ငန်းများစွာတွင် ခေတ်မီသော စွမ်းဆောင်ရည်ကို ရရှိစေပါသည်။
ထို့အပြင်၊ OpenAI မှတီထွင်ထားသော GPT-3 (Generative Pre-trained Transformer 3) မော်ဒယ်သည် နက်ရှိုင်းသောသင်ယူမှုတွင် နောက်ထပ်မှတ်တိုင်တစ်ခုကို ကိုယ်စားပြုပါသည်။ GPT-3 သည် ကန့်သတ်ချက်များ ၁၇၅ ဘီလီယံပါရှိသော ဘာသာစကားမော်ဒယ်တစ်ခုဖြစ်ပြီး ၎င်းသည် ယနေ့အထိ ဖန်တီးထားသော အကြီးဆုံးသော အာရုံကြောကွန်ရက်များထဲမှ တစ်ခုဖြစ်သည်။ ဤကြီးမားသောစကေးသည် GPT-175 သည် လူသားနှင့်တူသော စာသားများကို ဖန်တီးနိုင်စေပြီး ကျယ်ပြန့်သော နက်ရှိုင်းသော သင်ယူမှုပုံစံများ၏ စွမ်းအားကို ပြသကာ ဘာသာစကားနှင့်ပတ်သက်သည့် အလုပ်များစွာကို လုပ်ဆောင်နိုင်စေပါသည်။
သုတေသီများသည် စိန်ခေါ်မှုအလုပ်များကို စွမ်းဆောင်ရည်မြှင့်တင်ရန် ဗိသုကာပညာအသစ်များနှင့် နည်းစနစ်အသစ်များကို စူးစမ်းလေ့လာခြင်းဖြင့် convolutional neural networks များ၏ အရွယ်အစားနှင့် ရှုပ်ထွေးမှုများ ဆက်လက်တိုးလာသည်ကို သတိပြုရန် အရေးကြီးပါသည်။ ပိုကြီးသောကွန်ရက်များသည် လေ့ကျင့်ရေးနှင့် ကောက်ချက်ချရန်အတွက် များပြားလှသော တွက်ချက်မှုဆိုင်ရာ အရင်းအမြစ်များ လိုအပ်သော်လည်း၊ ၎င်းတို့သည် ကွန်ပျူတာအမြင်၊ သဘာဝဘာသာစကား လုပ်ဆောင်ခြင်းနှင့် အားဖြည့်သင်ကြားခြင်းအပါအဝင် နယ်ပယ်အသီးသီးတွင် သိသာထင်ရှားသောတိုးတက်မှုများကို ပြသထားသည်။
ကြီးမားသော convolutional အာရုံကြောကွန်ရက်များ ဖွံ့ဖြိုးတိုးတက်မှုသည် နက်နဲသောသင်ယူမှုနယ်ပယ်တွင် သိသာထင်ရှားသောလမ်းကြောင်းကိုကိုယ်စားပြုပြီး ရှုပ်ထွေးသောအလုပ်များအတွက် ပိုမိုအားကောင်းပြီး ဆန်းပြားသောပုံစံများကို ဖန်တီးနိုင်စေပါသည်။ VGG-16၊ ResNet၊ BERT နှင့် GPT-3 ကဲ့သို့သော မော်ဒယ်များသည် မတူညီသော နယ်ပယ်များတစ်လျှောက် စိန်ခေါ်မှုများကို ကိုင်တွယ်ရာတွင် အာရုံကြောကွန်ရက်များ၏ အရွယ်အစားနှင့် ထိရောက်မှုကို ပြသသည်။
အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ Convolution အာရုံကြောကွန်ယက် (CNN):
- အထွက်လိုင်းတွေက ဘာတွေလဲ။
- ထည့်သွင်းသည့်ချန်နယ်အရေအတွက် (nn.Conv1d ၏ 2st ဘောင်) ၏ အဓိပ္ပါယ်ကား အဘယ်နည်း။
- လေ့ကျင့်နေစဉ်အတွင်း CNN ၏စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန် ဘုံနည်းပညာအချို့က အဘယ်နည်း။
- CNN လေ့ကျင့်ရေးတွင် အသုတ်အရွယ်အစား၏ အရေးပါမှုကား အဘယ်နည်း။ လေ့ကျင့်ရေး လုပ်ငန်းစဉ်အပေါ် ဘယ်လိုသက်ရောက်မှုရှိလဲ။
- ဒေတာများကို လေ့ကျင့်ရေးနှင့် မှန်ကန်ကြောင်း အတည်ပြုမှုအစုများအဖြစ် ပိုင်းခြားရန် အဘယ်ကြောင့် အရေးကြီးသနည်း။ တရားဝင်အတည်ပြုရန်အတွက် ဒေတာမည်မျှကို ယေဘုယျအားဖြင့် ခွဲဝေပေးသနည်း။
- CNN အတွက် လေ့ကျင့်ရေးဒေတာကို ကျွန်ုပ်တို့ ဘယ်လိုပြင်ဆင်မလဲ။ ပါဝင်သည့် အဆင့်များကို ရှင်းပြပါ။
- convolutional neural network (CNN) လေ့ကျင့်ရေးတွင် optimizer and loss function ၏ ရည်ရွယ်ချက်ကား အဘယ်နည်း။
- CNN ကို လေ့ကျင့်နေစဉ်အတွင်း မတူညီသော အဆင့်များတွင် ထည့်သွင်းဒေတာ၏ ပုံသဏ္ဍာန်ကို စောင့်ကြည့်ရန် အဘယ်ကြောင့် အရေးကြီးသနည်း။
- ပုံများမှလွဲ၍ အခြားဒေတာအတွက် convolutional အလွှာများကို သုံးနိုင်ပါသလား။ ဥပမာတစ်ခုပေးပါ။
- CNN ရှိ linear အလွှာများအတွက် သင့်လျော်သောအရွယ်အစားကို သင်မည်သို့ဆုံးဖြတ်နိုင်မည်နည်း။
Convolution neural network (CNN) တွင် နောက်ထပ်မေးခွန်းများနှင့် အဖြေများကို ကြည့်ပါ