TensorFlow Keras Tokenizer API သည် စကားလုံးများ၏ အများဆုံး အရေအတွက် ကန့်သတ်ချက် ဆိုသည်မှာ အဘယ်နည်း။
TensorFlow Keras Tokenizer API သည် Natural Language Processing (NLP) လုပ်ငန်းဆောင်တာများတွင် အရေးကြီးသော အဆင့်တစ်ခုဖြစ်သည့် စာသားဒေတာကို ထိရောက်သော တိုကင်ပြုလုပ်ခြင်းကို ခွင့်ပြုပါသည်။ TensorFlow Keras တွင် Tokenizer instance ကို configure လုပ်သောအခါ၊ သတ်မှတ်နိုင်သည့် parameters များထဲမှ တစ်ခုသည် frequency ကိုအခြေခံ၍ သိမ်းဆည်းရမည့် စကားလုံးအများဆုံးအရေအတွက်ကို သတ်မှတ်ပေးသည့် `num_words` parameter ဖြစ်သည်။
- Published in ပြည်တွင်းသတင်း ဉာဏ်ရည်တု, EITC/AI/TFF TensorFlow အခြေခံများ, TensorFlow ဖြင့်သဘာဝဘာသာစကားထုတ်ယူခြင်း, တိုကင်ယူခြင်း
TensorFlow ဖြင့် နက်နဲသောသင်ယူမှုတွင် အဘိဓာန်တစ်ခုကို ဖန်တီးရခြင်း၏ ရည်ရွယ်ချက်မှာ အဘယ်နည်း။
ဝေါဟာရ သို့မဟုတ် စကားလုံးစာရင်းဟု လူသိများသော အဘိဓာန်တစ်ခုသည် TensorFlow ဖြင့် နက်ရှိုင်းစွာ သင်ယူမှုတွင် အရေးပါသော အခန်းကဏ္ဍမှ ပါဝင်ပါသည်။ ၎င်းသည် သတ်မှတ်ထားသော ဒိုမိန်း သို့မဟုတ် ပြဿနာတစ်ခုနှင့် သက်ဆိုင်သည့် ကျယ်ကျယ်ပြန့်ပြန့် စကားလုံးများ သို့မဟုတ် တိုကင်များ စုစည်းမှုအား ပေးအပ်ရန် ရည်ရွယ်ချက်ဖြင့် ဆောင်ရွက်သည်။ အဘိဓာန်တစ်ခုဖန်တီးခြင်းသည် သဘာဝဘာသာစကားများစွာကို လုပ်ဆောင်ခြင်းအတွက် မရှိမဖြစ်လိုအပ်သော အဆင့်တစ်ခုဖြစ်သည်။
- Published in ပြည်တွင်းသတင်း ဉာဏ်ရည်တု, TensorFlow နှင့်အတူ EITC/AI/DLTF နက်ရှိုင်းစွာသင်ယူမှု, TensorFlow, ပိုမိုသောအချက်အလက်များကိုအသုံးပြုခြင်း, စာမေးပွဲသုံးသပ်ချက်