TensorFlow Extended (TFX) သည် ထုတ်လုပ်မှုပတ်ဝန်းကျင်တွင် machine learning (ML) မော်ဒယ်များ ဖွံ့ဖြိုးတိုးတက်မှုနှင့် အသုံးချမှုကို လွယ်ကူချောမွေ့စေရန် ဒီဇိုင်းထုတ်ထားသည့် အားကောင်းသည့် open-source platform တစ်ခုဖြစ်သည်။ ၎င်းသည် end-to-end ML ပိုက်လိုင်းများ တည်ဆောက်မှုကို ပံ့ပိုးပေးသည့် ပြီးပြည့်စုံသော ကိရိယာများနှင့် စာကြည့်တိုက်များကို ပံ့ပိုးပေးသည်။ ဤပိုက်လိုင်းများသည် သီးခြားအဆင့်များစွာပါ၀င်သည်၊ တစ်ခုစီသည် တိကျသောရည်ရွယ်ချက်တစ်ခုစီနှင့် ML လုပ်ငန်းအသွားအလာ၏ အလုံးစုံအောင်မြင်မှုကို ပံ့ပိုးပေးပါသည်။ ဤအဖြေတွင်၊ ကျွန်ုပ်တို့သည် TFX ရှိ ML ပိုက်လိုင်း၏ မတူညီသောအဆင့်များကို လေ့လာပါမည်။
1. ဒေတာထည့်သွင်းခြင်း-
ML ပိုက်လိုင်း၏ ပထမအဆင့်တွင် အမျိုးမျိုးသော ရင်းမြစ်များမှ ဒေတာများကို ထည့်သွင်းပြီး ML လုပ်ငန်းများအတွက် သင့်လျော်သော ဖော်မတ်အဖြစ်သို့ ပြောင်းလဲခြင်း ပါဝင်ပါသည်။ TFX သည် CSV ဖိုင်များ သို့မဟုတ် ဒေတာဘေ့စ်များကဲ့သို့ မတူညီသော အရင်းအမြစ်များမှ ဒေတာများကို ဖတ်ပြပြီး TensorFlow ၏ Example ဖော်မတ်သို့ ပြောင်းပေးသည့် ExampleGen ကဲ့သို့သော အစိတ်အပိုင်းများကို ပံ့ပိုးပေးပါသည်။ ဤအဆင့်သည် နောက်ဆက်တွဲအဆင့်များအတွက် လိုအပ်သော ဒေတာများကို ထုတ်ယူခြင်း၊ အတည်ပြုခြင်းနှင့် ကြိုတင်လုပ်ဆောင်ခြင်းတို့အတွက် ခွင့်ပြုပေးပါသည်။
2. ဒေတာအတည်ပြုခြင်း-
ဒေတာကို ထည့်သွင်းပြီးသည်နှင့်၊ ၎င်း၏အရည်အသွေးနှင့် လိုက်လျောညီထွေရှိစေရန်အတွက် နောက်တစ်ဆင့်တွင် ဒေတာအတည်ပြုခြင်း ပါဝင်ပါသည်။ TFX သည် ဒေတာ၏ အကျဉ်းချုပ် ကိန်းဂဏန်းများကို တွက်ချက်ပေးသည့် StatisticsGen အစိတ်အပိုင်းနှင့် စာရင်းအင်းဇယားကို အခြေခံ၍ ကောက်ချက်ချသည့် SchemaGen အစိတ်အပိုင်းကို ပံ့ပိုးပေးပါသည်။ ဤအစိတ်အပိုင်းများသည် ကွဲလွဲချက်များ၊ ပျောက်ဆုံးနေသောတန်ဖိုးများနှင့် ဒေတာအတွင်း မကိုက်ညီမှုများကို ဖော်ထုတ်ရာတွင် အထောက်အကူဖြစ်စေပြီး ဒေတာအင်ဂျင်နီယာများနှင့် ML လေ့ကျင့်သူများအား သင့်လျော်သောလုပ်ဆောင်ချက်များကို လုပ်ဆောင်နိုင်စေပါသည်။
3. ဒေတာကူးပြောင်းခြင်း-
ဒေတာအတည်ပြုပြီးနောက်၊ ML ပိုက်လိုင်းသည် ဒေတာအသွင်ပြောင်းသည့်အဆင့်သို့ ဆက်လက်ရွေ့လျားသည်။ TFX သည် အချက်အလက်သို့ ပုံမှန်ပြုလုပ်ခြင်း၊ hot encoding နှင့် feature crossing ကဲ့သို့သော အင်္ဂါရပ်များဖြစ်သည့် အင်ဂျင်နီယာနည်းပညာများကို အသုံးပြုသည့် Transform အစိတ်အပိုင်းကို ပေးဆောင်ပါသည်။ ဤအဆင့်သည် မော်ဒယ်လ်၏စွမ်းဆောင်ရည်နှင့် ယေဘုယျလုပ်ဆောင်နိုင်မှုစွမ်းရည်များကို မြှင့်တင်ရာတွင် အထောက်အကူဖြစ်စေသောကြောင့် မော်ဒယ်လေ့ကျင့်ရေးအတွက် ဒေတာပြင်ဆင်ရာတွင် အရေးကြီးသောအခန်းကဏ္ဍမှ ပါဝင်ပါသည်။
4. မော်ဒယ်သင်တန်း-
မော်ဒယ်လေ့ကျင့်ရေးအဆင့်တွင် အသွင်ပြောင်းဒေတာကို အသုံးပြု၍ လေ့ကျင့်ရေး ML မော်ဒယ်များ ပါဝင်ပါသည်။ TFX သည် ဖြန့်ဝေထားသော စနစ်များ သို့မဟုတ် GPU များပေါ်တွင် မော်ဒယ်များကို လေ့ကျင့်ရန်အတွက် TensorFlow ၏ အစွမ်းထက်သော လေ့ကျင့်ရေးစွမ်းရည်များကို မြှင့်တင်ပေးသည့် Trainer အစိတ်အပိုင်းကို ပံ့ပိုးပေးပါသည်။ ဤအစိတ်အပိုင်းသည် လေ့ကျင့်မှုဘောင်ကန့်သတ်ချက်များ၊ မော်ဒယ်ဗိသုကာများနှင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းဆိုင်ရာ အယ်လဂိုရီသမ်များကို စိတ်ကြိုက်ပြုလုပ်နိုင်စေကာ ML လေ့ကျင့်သူများကို ၎င်းတို့၏မော်ဒယ်များကို ထိထိရောက်ရောက် စမ်းသပ်ပြီး ထပ်တလဲလဲပြုလုပ်နိုင်စေပါသည်။
5. မော်ဒယ် အကဲဖြတ်ခြင်း-
မော်ဒယ်များကို လေ့ကျင့်ပြီးသည်နှင့် နောက်တစ်ဆင့်မှာ မော်ဒယ်အကဲဖြတ်ခြင်း ဖြစ်သည်။ TFX သည် တိကျမှု၊ တိကျမှု၊ ပြန်လည်သိမ်းဆည်းမှုနှင့် F1 ရမှတ်များကဲ့သို့သော အကဲဖြတ်မှုမက်ထရစ်များကို အသုံးပြု၍ လေ့ကျင့်ထားသည့် မော်ဒယ်များ၏ စွမ်းဆောင်ရည်ကို အကဲဖြတ်သည့် အကဲဖြတ်သည့် အစိတ်အပိုင်းကို ပံ့ပိုးပေးပါသည်။ ဤအဆင့်သည် မော်ဒယ်များနှင့် ဖြစ်နိုင်ခြေရှိသော ပြဿနာများကို ဖော်ထုတ်ရာတွင် ကူညီပေးပြီး မမြင်ရသော အချက်အလက်များတွင် ၎င်းတို့၏ အပြုအမူဆိုင်ရာ ထိုးထွင်းသိမြင်မှုများကို ပံ့ပိုးပေးပါသည်။
6. မော်ဒယ်အတည်ပြုချက်-
မော်ဒယ်အကဲဖြတ်ပြီးနောက်၊ ML ပိုက်လိုင်းသည် မော်ဒယ်စစ်ဆေးခြင်းသို့ ဆက်သွားပါသည်။ TFX သည် ယခင်က တွက်ချက်ထားသော schema နှင့် ပတ် သက်၍ လေ့ကျင့်သင်ကြားထားသော မော်ဒယ်များကို သက်သေပြမည့် ModelValidator အစိတ်အပိုင်းကို ပေးဆောင်ပါသည်။ ဤအဆင့်သည် မော်ဒယ်များသည် ဒေတာ၏မျှော်လင့်ထားသည့်ဖော်မတ်ကို လိုက်နာစေပြီး ဒေတာပျံ့လွင့်ခြင်း သို့မဟုတ် စီမာဆင့်ကဲဖြစ်စဉ်ကဲ့သို့သော ပြဿနာများကို ရှာဖွေရာတွင် အထောက်အကူဖြစ်စေကြောင်း သေချာစေပါသည်။
7. မော်ဒယ် ဖြန့်ကျက်မှု-
ML ပိုက်လိုင်း၏ နောက်ဆုံးအဆင့်တွင် လေ့ကျင့်ထားသော မော်ဒယ်များကို ထုတ်လုပ်မှုပတ်ဝန်းကျင်တွင် အသုံးချခြင်း ပါဝင်သည်။ TFX သည် TensorFlow Serving သို့မဟုတ် TensorFlow Lite ကဲ့သို့သော ဝန်ဆောင်မှုစနစ်သို့ လေ့ကျင့်သင်ကြားထားသော မော်ဒယ်များနှင့် ဆက်စပ်ပစ္စည်းများကို တင်ပို့သည့် Pusher အစိတ်အပိုင်းကို ပံ့ပိုးပေးပါသည်။ ဤအဆင့်သည် ML မော်ဒယ်များကို အပလီကေးရှင်းများတွင် ပေါင်းစည်းနိုင်စေပြီး ဒေတာအသစ်အတွက် ခန့်မှန်းချက်များကို ပြုလုပ်နိုင်စေပါသည်။
TFX ရှိ ML ပိုက်လိုင်းတွင် ဒေတာထည့်သွင်းမှု၊ ဒေတာအတည်ပြုမှု၊ ဒေတာအသွင်ပြောင်းမှု၊ မော်ဒယ်လေ့ကျင့်မှု၊ မော်ဒယ်အကဲဖြတ်မှု၊ မော်ဒယ်အတည်ပြုချက်နှင့် မော်ဒယ်ခွဲဝေမှုတို့အပါအဝင် အဆင့်များစွာ ပါဝင်သည်။ အဆင့်တစ်ခုစီသည် ဒေတာအရည်အသွေးကိုသေချာစေရန်၊ အင်္ဂါရပ်အင်ဂျင်နီယာကိုဖွင့်ပေးခြင်း၊ တိကျသောမော်ဒယ်များကိုလေ့ကျင့်ပေးခြင်း၊ ၎င်းတို့၏စွမ်းဆောင်ရည်ကိုအကဲဖြတ်ခြင်းနှင့် ထုတ်လုပ်မှုပတ်ဝန်းကျင်တွင်အသုံးချခြင်းဖြင့် ML လုပ်ငန်းလည်ပတ်မှုတစ်ခုလုံး၏အောင်မြင်မှုကို ပံ့ပိုးပေးပါသည်။
အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ EITC/AI/TFF TensorFlow အခြေခံများ:
- စာလုံးများကို vector များအဖြစ် ကိုယ်စားပြုသည့်ကွက်တစ်ခုအတွက် သင့်လျော်သော ပုဆိန်များကို အလိုအလျောက်သတ်မှတ်ရန် မြှပ်ထားသောအလွှာကို မည်သို့အသုံးပြုရမည်နည်း။
- CNN တွင် အမြင့်ဆုံးပေါင်းထည့်ခြင်း၏ ရည်ရွယ်ချက်ကား အဘယ်နည်း။
- convolutional neural network (CNN) ရှိ အင်္ဂါရပ် ထုတ်ယူခြင်းလုပ်ငန်းစဉ်သည် ရုပ်ပုံအသိအမှတ်ပြုခြင်းတွင် မည်သို့သက်ရောက်သနည်း။
- TensorFlow.js တွင်အသုံးပြုနေသည့် စက်သင်ယူမှုမော်ဒယ်များအတွက် အညီအမျှ သင်ယူမှုလုပ်ဆောင်ချက်ကို အသုံးပြုရန် လိုအပ်ပါသလား။
- TensorFlow Keras Tokenizer API သည် စကားလုံးများ၏ အများဆုံး အရေအတွက် ကန့်သတ်ချက် ဆိုသည်မှာ အဘယ်နည်း။
- TensorFlow Keras Tokenizer API ကို အသုံးအများဆုံး စကားလုံးများကို ရှာတွေ့နိုင်ပါသလား။
- TOCO ဆိုတာဘာလဲ။
- စက်သင်ယူမှုပုံစံတစ်ခုရှိ ခေတ်များစွာ၏ ဆက်စပ်မှုနှင့် မော်ဒယ်ကို လုပ်ဆောင်ခြင်းမှ ခန့်မှန်းချက် တိကျမှုတို့အကြား ဆက်စပ်မှုမှာ အဘယ်နည်း။
- TensorFlow ၏ Neural Structured Learning တွင်ရှိသော အိမ်နီးချင်း API သည် သဘာဝဂရပ်ဒေတာကို အခြေခံ၍ တိုးမြှင့်ထားသော လေ့ကျင့်ရေးဒေတာအတွဲကို ထုတ်လုပ်ပါသလား။
- TensorFlow ၏ Neural Structured Learning တွင် pack အိမ်နီးချင်း API သည် အဘယ်နည်း။
EITC/AI/TFF TensorFlow Fundamentals တွင် နောက်ထပ်မေးခွန်းများနှင့် အဖြေများကို ကြည့်ပါ။