TFX၊ TensorFlow Extended သည် ထုတ်လုပ်မှုအသင့်ရှိသော စက်သင်ယူမှုပိုက်လိုင်းများ တည်ဆောက်ရန်အတွက် ပြီးပြည့်စုံသော အဆုံးမှအဆုံး ပလပ်ဖောင်းတစ်ခုဖြစ်သည်။ ၎င်းသည် အတိုင်းအတာနှင့် ယုံကြည်စိတ်ချရသော စက်သင်ယူမှုစနစ်များ ဖွံ့ဖြိုးတိုးတက်မှုနှင့် အသုံးချမှုကို လွယ်ကူချောမွေ့စေမည့် ကိရိယာများနှင့် အစိတ်အပိုင်းများကို ထောက်ပံ့ပေးသည်။ TFX သည် အခြေခံအဆောက်အအုံနှင့် ဒေတာစီမံခန့်ခွဲမှု၏ ရှုပ်ထွေးမှုများကို ကိုင်တွယ်ဖြေရှင်းရမည့်အစား ဒေတာသိပ္ပံပညာရှင်များနှင့် အင်ဂျင်နီယာများအား မော်ဒယ်များပေါ်တွင် တည်ဆောက်ခြင်းနှင့် ထပ်တလဲလဲအာရုံစိုက်နိုင်စေမည့် စက်သင်ယူမှုပိုက်လိုင်းများကို စီမံခန့်ခွဲခြင်းနှင့် ပိုမိုကောင်းမွန်အောင်လုပ်ဆောင်ခြင်းဆိုင်ရာ စိန်ခေါ်မှုများကို ဖြေရှင်းရန် ဒီဇိုင်းရေးဆွဲထားသည်။
TFX သည် စက်သင်ယူမှု ပိုက်လိုင်းအား အလျားလိုက် အလွှာများစွာသို့ စုစည်းပေးသည်၊ တစ်ခုစီသည် အလုပ်အသွားအလာတစ်ခုလုံးအတွက် သီးခြားရည်ရွယ်ချက်တစ်ခုစီကို ဆောင်ရွက်ပေးပါသည်။ ဤအလွှာများသည် ဒေတာစီးဆင်းမှု ချောမွေ့စေရန်နှင့် မော်ဒယ်လ်ပစ္စည်းများ ချောမွေ့စွာ လည်ပတ်နိုင်စေရန်နှင့် ပိုက်လိုင်းကို ထိရောက်စွာ လုပ်ဆောင်နိုင်စေရန်အတွက် အတူတကွ လုပ်ဆောင်ပါသည်။ ပိုက်လိုင်းစီမံခန့်ခွဲမှုနှင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရန်အတွက် TFX ရှိ မတူညီသောအလွှာများကို လေ့လာကြည့်ကြပါစို့။
1. ဒေတာထည့်သွင်းခြင်းနှင့် အတည်ပြုခြင်း-
ဤအလွှာသည် ဖိုင်များ၊ ဒေတာဘေ့စ်များ သို့မဟုတ် တိုက်ရိုက်ထုတ်လွှင့်မှုစနစ်များကဲ့သို့သော အရင်းအမြစ်အမျိုးမျိုးမှ ဒေတာအကြမ်းများကို စားသုံးရန် တာဝန်ရှိသည်။ TFX သည် ဒေတာအတည်ပြုခြင်းနှင့် စာရင်းအင်းများထုတ်လုပ်ရန်အတွက် TensorFlow Data Validation (TFDV) ကဲ့သို့သော ကိရိယာများကို ပံ့ပိုးပေးပါသည်။ TFDV သည် ကွဲလွဲချက်များ၊ ပျောက်ဆုံးနေသောတန်ဖိုးများနှင့် ဒေတာပျံ့လွင့်မှုကို ခွဲခြားသိရှိနိုင်ပြီး ထည့်သွင်းဒေတာ၏ အရည်အသွေးနှင့် ကိုက်ညီမှုရှိမရှိကို သေချာစေသည်။
2. ဒေတာကြိုတင်လုပ်ဆောင်ခြင်း-
ဤအလွှာတွင်၊ TFX သည် ဒေတာကြိုတင်လုပ်ဆောင်ခြင်းနှင့် အင်္ဂါရပ်အင်ဂျင်နီယာလုပ်ဆောင်ရန် TensorFlow Transform (TFT) ကို ပေးပါသည်။ TFT သည် အသုံးပြုသူများအား အတိုင်းအတာချဲ့ခြင်း၊ ပုံမှန်ပြုလုပ်ခြင်း၊ one-hot encoding နှင့် အခြားအရာများကဲ့သို့သော input data တွင် အသွင်ပြောင်းခြင်းကို သတ်မှတ်နိုင်စေပါသည်။ ဤအသွင်ပြောင်းမှုများကို လေ့ကျင့်ချိန်နှင့် ဝန်ဆောင်မှုပေးနေစဉ်အတွင်း တသမတ်တည်း အသုံးချကာ ဒေတာညီညွတ်မှုကို သေချာစေပြီး ဒေတာ လှည့်စားမှုအန္တရာယ်ကို လျှော့ချပေးသည်။
3. မော်ဒယ်သင်တန်း-
TFX သည် TensorFlow ၏ အစွမ်းထက်သော လေ့ကျင့်ရေးစွမ်းရည်များကို ဤအလွှာတွင် အသုံးချသည်။ အသုံးပြုသူများသည် TensorFlow ၏အဆင့်မြင့် APIs သို့မဟုတ် စိတ်ကြိုက် TensorFlow ကုဒ်ကို အသုံးပြု၍ ၎င်းတို့၏ စက်သင်ယူမှုပုံစံများကို သတ်မှတ်ပြီး လေ့ကျင့်ပေးနိုင်ပါသည်။ TFX သည် မက်ထရစ်များ၊ ပုံဖော်မှုများနှင့် ပိုင်းဖြတ်ခြင်းဆိုင်ရာ နည်းပညာများကို အသုံးပြု၍ လေ့ကျင့်ထားသော မော်ဒယ်များကို အကဲဖြတ်ရန်နှင့် တရားဝင်ကြောင်း အတည်ပြုရန်အတွက် TensorFlow Model Analysis (TFMA) ကဲ့သို့သော ကိရိယာများကို ပံ့ပိုးပေးပါသည်။ TFMA သည် မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို အကဲဖြတ်ရန်နှင့် ဖြစ်နိုင်ချေရှိသော ပြဿနာများ သို့မဟုတ် ဘက်လိုက်မှုများကို ဖော်ထုတ်ရန် ကူညီပေးသည်။
4. မော်ဒယ်အတည်ပြုခြင်းနှင့် အကဲဖြတ်ခြင်း-
ဤအလွှာသည် လေ့ကျင့်သင်ကြားထားသော မော်ဒယ်များကို အတည်ပြုခြင်းနှင့် အကဲဖြတ်ခြင်းအပေါ် အလေးပေးသည်။ TFX သည် ပြီးပြည့်စုံသော မော်ဒယ်စစ်ဆေးခြင်းနှင့် အကဲဖြတ်ခြင်းအတွက် TensorFlow Data Validation (TFDV) နှင့် TensorFlow Model Analysis (TFMA) ကို ပံ့ပိုးပေးပါသည်။ TFDV သည် ဒေတာထည့်သွင်းမှုအဆင့်အတွင်း သတ်မှတ်ထားသော မျှော်လင့်ချက်များနှင့် ကိုက်ညီမှုရှိစေရန် ကူညီပေးပြီး TFMA သည် သုံးစွဲသူများအား ကြိုတင်သတ်မှတ်ထားသော မက်ထရစ်များနှင့် အချပ်များအလိုက် မော်ဒယ်၏စွမ်းဆောင်ရည်ကို အကဲဖြတ်နိုင်စေပါသည်။
5. မော်ဒယ် ဖြန့်ကျက်မှု-
TFX သည် TensorFlow Serving၊ TensorFlow Lite နှင့် TensorFlow.js အပါအဝင် ပတ်ဝန်းကျင်အမျိုးမျိုးတွင် မော်ဒယ်ဖြန့်ကျက်မှုကို ပံ့ပိုးပေးသည်။ TensorFlow Serving သည် အသုံးပြုသူများအား ၎င်းတို့၏ မော်ဒယ်များကို အရွယ်အစား အတိုင်းအတာနှင့် ထိရောက်သော ဝဘ်ဝန်ဆောင်မှုများအဖြစ် ဆောင်ရွက်ပေးနိုင်စေပြီး TensorFlow Lite နှင့် TensorFlow.js တို့သည် မိုဘိုင်းနှင့် ဝဘ်ပလက်ဖောင်းများတွင် ဖြန့်ကျက်မှုကို အသီးသီး လုပ်ဆောင်ပေးထားသည်။ TFX သည် လေ့ကျင့်သင်ကြားထားသော မော်ဒယ်များကို လွယ်ကူစွာ ထုပ်ပိုးပြီး အသုံးပြုနိုင်စေရန် ကိရိယာများနှင့် အသုံးဝင်မှုများကို ပံ့ပိုးပေးပါသည်။
6. Orchestration နှင့် Workflow Management-
TFX သည် စက်သင်ယူမှုပိုက်လိုင်းတစ်ခုလုံးကို စီမံကွပ်ကဲရန်နှင့် စီမံခန့်ခွဲရန်အတွက် Apache Airflow နှင့် Kubeflow Pipelines ကဲ့သို့သော အလုပ်အသွားအလာစီမံခန့်ခွဲမှုစနစ်များနှင့် ပေါင်းစပ်ထားသည်။ ဤစနစ်များသည် အချိန်ဇယားဆွဲခြင်း၊ စောင့်ကြည့်ခြင်းနှင့် အမှားအယွင်းများကို ကိုင်တွယ်ခြင်းအတွက် စွမ်းရည်များကို ပေးစွမ်းပြီး ပိုက်လိုင်း၏ ယုံကြည်စိတ်ချရသော အကောင်အထည်ဖော်မှုကို သေချာစေသည်။
ပိုက်လိုင်းအား ဤအလျားလိုက်အလွှာများအတွင်း စုစည်းခြင်းဖြင့် TFX သည် ဒေတာသိပ္ပံပညာရှင်များနှင့် အင်ဂျင်နီယာများအား စက်သင်ယူမှုစနစ်များကို ထိရောက်စွာ ဖွံ့ဖြိုးတိုးတက်ပြီး အကောင်းဆုံးဖြစ်အောင် လုပ်ဆောင်နိုင်စေပါသည်။ ၎င်းသည် ဒေတာထည့်သွင်းမှု၊ ကြိုတင်လုပ်ဆောင်မှု၊ မော်ဒယ်လေ့ကျင့်မှု၊ တရားဝင်မှု၊ အကဲဖြတ်မှုနှင့် အသုံးချမှုတို့၏ ရှုပ်ထွေးမှုများကို စီမံခန့်ခွဲရန် ဖွဲ့စည်းပုံနှင့် အရွယ်အစားရှိ ချဉ်းကပ်မှုတို့ကို ပံ့ပိုးပေးပါသည်။ TFX ဖြင့် သုံးစွဲသူများသည် အရည်အသွေးမြင့် မော်ဒယ်များကို တည်ဆောက်ကာ ၎င်းတို့၏ အဖွဲ့အစည်းများကို တန်ဖိုးများ ပေးဆောင်ရန် အာရုံစိုက်နိုင်သည်။
ပိုက်လိုင်းစီမံခန့်ခွဲမှုနှင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းအတွက် TFX တွင် ဒေတာထည့်သွင်းခြင်းနှင့် အတည်ပြုခြင်းအတွက် အလျားလိုက်အလွှာများ၊ ဒေတာကြိုတင်လုပ်ဆောင်ခြင်း၊ မော်ဒယ်လေ့ကျင့်ခြင်း၊ မော်ဒယ်အတည်ပြုခြင်းနှင့် အကဲဖြတ်ခြင်း၊ မော်ဒယ်အသုံးပြုခြင်းနှင့် စုစည်းမှုလုပ်ဆောင်ခြင်းနှင့် အလုပ်အသွားအလာစီမံခန့်ခွဲမှုတို့အတွက် အလျားလိုက်အလွှာများပါဝင်သည်။ ဤအလွှာများသည် စက်သင်ယူမှုပိုက်လိုင်းများ ဖွံ့ဖြိုးတိုးတက်မှုနှင့် အသုံးချမှုကို ချောမွေ့စေရန်၊ ဒေတာသိပ္ပံပညာရှင်များနှင့် အင်ဂျင်နီယာများကို အတိုင်းအတာနှင့် ယုံကြည်စိတ်ချရသော စက်သင်ယူမှုစနစ်များကို တည်ဆောက်နိုင်စေရန် အတူတကွလုပ်ဆောင်သည်။
အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ EITC/AI/TFF TensorFlow အခြေခံများ:
- စာလုံးများကို vector များအဖြစ် ကိုယ်စားပြုသည့်ကွက်တစ်ခုအတွက် သင့်လျော်သော ပုဆိန်များကို အလိုအလျောက်သတ်မှတ်ရန် မြှပ်ထားသောအလွှာကို မည်သို့အသုံးပြုရမည်နည်း။
- CNN တွင် အမြင့်ဆုံးပေါင်းထည့်ခြင်း၏ ရည်ရွယ်ချက်ကား အဘယ်နည်း။
- convolutional neural network (CNN) ရှိ အင်္ဂါရပ် ထုတ်ယူခြင်းလုပ်ငန်းစဉ်သည် ရုပ်ပုံအသိအမှတ်ပြုခြင်းတွင် မည်သို့သက်ရောက်သနည်း။
- TensorFlow.js တွင်အသုံးပြုနေသည့် စက်သင်ယူမှုမော်ဒယ်များအတွက် အညီအမျှ သင်ယူမှုလုပ်ဆောင်ချက်ကို အသုံးပြုရန် လိုအပ်ပါသလား။
- TensorFlow Keras Tokenizer API သည် စကားလုံးများ၏ အများဆုံး အရေအတွက် ကန့်သတ်ချက် ဆိုသည်မှာ အဘယ်နည်း။
- TensorFlow Keras Tokenizer API ကို အသုံးအများဆုံး စကားလုံးများကို ရှာတွေ့နိုင်ပါသလား။
- TOCO ဆိုတာဘာလဲ။
- စက်သင်ယူမှုပုံစံတစ်ခုရှိ ခေတ်များစွာ၏ ဆက်စပ်မှုနှင့် မော်ဒယ်ကို လုပ်ဆောင်ခြင်းမှ ခန့်မှန်းချက် တိကျမှုတို့အကြား ဆက်စပ်မှုမှာ အဘယ်နည်း။
- TensorFlow ၏ Neural Structured Learning တွင်ရှိသော အိမ်နီးချင်း API သည် သဘာဝဂရပ်ဒေတာကို အခြေခံ၍ တိုးမြှင့်ထားသော လေ့ကျင့်ရေးဒေတာအတွဲကို ထုတ်လုပ်ပါသလား။
- TensorFlow ၏ Neural Structured Learning တွင် pack အိမ်နီးချင်း API သည် အဘယ်နည်း။
EITC/AI/TFF TensorFlow Fundamentals တွင် နောက်ထပ်မေးခွန်းများနှင့် အဖြေများကို ကြည့်ပါ။