TensorFlow Keras Tokenizer API သည် စကားလုံးများ၏ အများဆုံး အရေအတွက် ကန့်သတ်ချက် ဆိုသည်မှာ အဘယ်နည်း။
တနင်္ဂနွေ, 14 Aprilပြီ 2024
by ankarb
TensorFlow Keras Tokenizer API သည် Natural Language Processing (NLP) လုပ်ငန်းဆောင်တာများတွင် အရေးကြီးသော အဆင့်တစ်ခုဖြစ်သည့် စာသားဒေတာကို ထိရောက်သော တိုကင်ပြုလုပ်ခြင်းကို ခွင့်ပြုပါသည်။ TensorFlow Keras တွင် Tokenizer instance ကို configure လုပ်သောအခါ၊ သတ်မှတ်နိုင်သည့် parameters များထဲမှ တစ်ခုသည် frequency ကိုအခြေခံ၍ သိမ်းဆည်းရမည့် စကားလုံးအများဆုံးအရေအတွက်ကို သတ်မှတ်ပေးသည့် `num_words` parameter ဖြစ်သည်။
- Published in ပြည်တွင်းသတင်း ဉာဏ်ရည်တု, EITC/AI/TFF TensorFlow အခြေခံများ, TensorFlow ဖြင့်သဘာဝဘာသာစကားထုတ်ယူခြင်း, တိုကင်ယူခြင်း