ကျပန်းကိန်းရှင်တစ်ခု၏ အင်ထရိုပီသည် ကိန်းရှင်နှင့်ဆက်စပ်နေသော မသေချာမရေရာမှု သို့မဟုတ် ကျပန်းပမာဏကို ရည်ညွှန်းသည်။ ဆိုက်ဘာလုံခြုံရေးနယ်ပယ်တွင်၊ အထူးသဖြင့် ကွမ်တမ် လျှို့ဝှက်ရေးပညာတွင်၊ ကျပန်းပြောင်းလဲနိုင်သော entropy ၏ entropy ပျောက်ကွယ်သွားသည့် အခြေအနေများကို နားလည်ရန် အရေးကြီးပါသည်။ ဤအသိပညာသည် ကုဒ်ဝှက်စနစ်များ၏ လုံခြုံရေးနှင့် ယုံကြည်စိတ်ချရမှုကို အကဲဖြတ်ရာတွင် ကူညီပေးသည်။
ကျပန်း variable X ၏ entropy ကို X ၏ရလဒ်များကိုဖော်ပြရန် လိုအပ်သော bits ဖြင့်တိုင်းတာထားသော ပျမ်းမျှအချက်အလက်ပမာဏအဖြစ် သတ်မှတ်သည်။ ၎င်းသည် ကိန်းရှင်နှင့်ဆက်စပ်နေသောမသေချာမရေရာမှုကို တွက်ချက်ပေးသည်၊ ပိုကြီးသောကျပန်းဖြစ်နိုင်မှု သို့မဟုတ် မှန်းလို့မရနိုင်မှုကို ညွှန်ပြသော မြင့်မားသောအင်တာရိုပီ။ အပြန်အလှန်အားဖြင့်၊ အင်ထရိုပီသည် နိမ့်ပါးသောအခါ သို့မဟုတ် ကွယ်ပျောက်သွားသောအခါ၊ ၎င်းသည် ကိန်းရှင်သည် အဆုံးအဖြတ်ဖြစ်လာပြီး ၎င်း၏ရလဒ်များကို သေချာစွာ ခန့်မှန်းနိုင်သည်ဟု ဆိုလိုသည်။
classical entropy ၏အခြေအနေတွင်၊ ကျပန်းပြောင်းလဲမှုတစ်ခု၏ entropy ပျောက်ကွယ်သွားသည့်အခြေအနေများသည် variable ၏ဖြစ်နိုင်ခြေဖြန့်ဝေမှုအပေါ် မူတည်သည်။ ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်မှု P(X) ပါရှိသော သီးခြားကျပန်းပြောင်းလဲနိုင်သော X တစ်ခုအတွက်၊ entropy H(X) ကို ဖော်မြူလာဖြင့် ပေးသည်-
H(X) = – Σ P(x) log2 P(x)
summation သည် X ယူနိုင်သော ဖြစ်နိုင်သည့်တန်ဖိုးများအားလုံးကို ကျော်လွန်သွားသည့်နေရာ။ Entropy H(X) သည် သုညနှင့် ညီမျှသောအခါ၊ X နှင့်ဆက်စပ်နေသော မသေချာမရေရာမှု သို့မဟုတ် ကျပန်းဖြစ်ခြင်း မရှိဟု ဆိုလိုသည်။ ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်ချက် P(X) သည် ရလဒ်တစ်ခုဆီသို့ 1 ဖြစ်နိုင်ခြေနှင့် 0 ဖြစ်နိုင်ခြေအားလုံးကို သတ်မှတ်ပေးသောအခါတွင် ဖြစ်ပေါ်သည်။ အခြားရလဒ်များ။ တစ်နည်းဆိုရသော် ကိန်းရှင်သည် လုံးဝအဆုံးအဖြတ်ဖြစ်လာသည်။
ဤသဘောတရားကို သရုပ်ဖော်ရန်၊ တရားမျှတသော ဒင်္ဂါးပြားကို လွှင့်ပစ်ရန် စဉ်းစားပါ။ ကျပန်းပြောင်းလဲနိုင်သော X သည် ပစ်ခြင်း၏ရလဒ်ကို ကိုယ်စားပြုသည်၊ ဖြစ်နိုင်သည့်တန်ဖိုးနှစ်ခု- heads (H) သို့မဟုတ် tails (T)။ ဤအခြေအနေတွင် ဖြစ်နိုင်ခြေရှိသော ဒြပ်ထုလုပ်ဆောင်မှုသည် P(H) = 0.5 နှင့် P(T) = 0.5 ဖြစ်သည်။ အထက်ပါဖော်မြူလာကို အသုံးပြု၍ အင်ထရိုပီကို တွက်ချက်ခြင်း-
H(X) = – (0.5 * log2(0.5) + 0.5 * log2(0.5))
= – (0.5 * (-1) + 0.5 * (-1))
= – (-0.5 – 0.5)
= – (-၁)
= 1 ဘစ်
အကြွေစေ့ပစ်ခြင်း၏ အင်ထရိုပီသည် 1 ဘစ်ဖြစ်ပြီး ရလဒ်နှင့် ဆက်စပ်နေသော မသေချာမရေရာမှု သို့မဟုတ် ကျပန်းကျပန်း ရှိနေကြောင်း ညွှန်ပြသည်။ သို့သော်၊ အကြွေစေ့သည် ဘက်လိုက်နေပြီး ခေါင်းပေါ်တွင် အမြဲပေါ်နေပါက ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်ချက်သည် P(H) = 1 နှင့် P(T) = 0 ဖြစ်လာသည်။ အင်ထရိုပီ တွက်ချက်မှု ဖြစ်လာနိုင်သည်-
H(X) = – (1 * log2(1) + 0 * log2(0))
= – (1 * 0 + 0 * သတ်မှတ်မထားသော)
= – (0 + သတ်မှတ်မထားသော)
= သတ်မှတ်မထားသော
ဤကိစ္စတွင်၊ သုည၏ လော့ဂရစ်သမ်ကို မသတ်မှတ်ထားသောကြောင့် အင်ထရိုပီကို သတ်မှတ်မထားပါ။ သို့သော်၊ ၎င်းသည် အမြဲတမ်း ဦးခေါင်းများကို ထုတ်ပေးသောကြောင့် ပြောင်းလဲနိုင်သော X သည် အဆုံးအဖြတ်ဖြစ်လာသည်ဟု ဆိုလိုသည်။
ဖြစ်နိုင်ခြေ ဖြန့်ဖြူးမှုသည် 1 ရလဒ်တစ်ခုသို့ ဖြစ်နိုင်ခြေနှင့် 0 ဖြစ်နိုင်ခြေ၏ XNUMX သို့ဖြစ်နိုင်ခြေကို သတ်မှတ်ပေးသည့်အခါ classical entropy ၏ context ရှိ ကျပန်းကိန်းရှင်တစ်ခု၏ entropy သည် ကွယ်ပျောက်သွားပါသည်။ ယင်းက ကိန်းရှင်သည် အဆုံးအဖြတ်ဖြစ်လာပြီး ၎င်း၏ကျပန်းဖြစ်နိုင်မှု သို့မဟုတ် မှန်းဆမရခြင်းကို ဆုံးရှုံးကြောင်း ညွှန်ပြသည်။
အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ ဂန္ထဝင် entropy:
- အင်ထရိုပီကို နားလည်ခြင်းသည် ဆိုက်ဘာလုံခြုံရေးနယ်ပယ်ရှိ ခိုင်မာသော ကုဒ်ဝှက်စနစ်ဆိုင်ရာ အယ်လဂိုရီသမ်များကို ဒီဇိုင်းနှင့် အကဲဖြတ်ရာတွင် မည်သို့အထောက်အကူပြုသနည်း။
- အင်ထရိုပီ၏ အမြင့်ဆုံးတန်ဖိုးသည် အဘယ်နည်း၊ ၎င်းကို မည်သည့်အချိန်တွင် အောင်မြင်သနည်း။
- အင်ထရိုပီ၏ သင်္ချာဂုဏ်သတ္တိများကား အဘယ်နည်း၊ ၎င်းသည် အဘယ်ကြောင့် အနုတ်လက္ခဏာမဟုတ်သနည်း။
- ဖြစ်နိုင်ခြေကို ရလဒ်တစ်ခုသို့ ဘက်လိုက်သောအခါနှင့် နှိုင်းယှဉ်ပါက ရလဒ်များကြားတွင် ဖြစ်နိုင်ခြေကို အညီအမျှ ခွဲဝေသည့်အခါ ကျပန်းပြောင်းလဲနိုင်သော အင်ထရိုပီသည် မည်သို့ပြောင်းလဲသွားသနည်း။
- binary entropy သည် classical entropy နှင့် မည်သို့ကွာခြားသနည်း၊ ရလဒ်နှစ်ခုရှိသော binary ကျပန်း variable အတွက် ၎င်းကို မည်သို့တွက်ချက်သနည်း။
- ကုဒ်စကားလုံးများ၏ မျှော်မှန်းထားသော အရှည်နှင့် ပြောင်းလဲနိုင်သော အရှည်ကုဒ်တွင် ကျပန်း variable တစ်ခု၏ entropy အကြား ဆက်စပ်မှုမှာ အဘယ်နည်း။
- ထိရောက်သော သတင်းအချက်အလက် ကုဒ်ပြောင်းခြင်းအတွက် ရှေးရိုး အင်ထရိုပီ၏ သဘောတရားကို မပြောင်းလဲနိုင်သော အရှည်ကုဒ်ရေးနည်းများတွင် မည်သို့အသုံးပြုကြောင်း ရှင်းပြပါ။
- classical entropy ၏ ဂုဏ်သတ္တိများကား အဘယ်နည်း၊ ရလဒ်များ၏ ဖြစ်နိုင်ခြေနှင့် မည်သို့ဆက်စပ်နေသနည်း။
- ရှေးရိုးအင်ထရိုပီသည် ပေးထားသည့်စနစ်တစ်ခုရှိ မသေချာမရေရာမှု သို့မဟုတ် ကျပန်းဖြစ်မှုကို မည်သို့တိုင်းတာသနည်း။