Entropy သည် သတင်းအချက်အလက်သီအိုရီတွင် အခြေခံကျသော အယူအဆတစ်ခုဖြစ်ပြီး ဆိုက်ဘာလုံခြုံရေးနှင့် ကွမ်တမ် ကွမ်တမ် လျှို့ဝှက်စာဝှက်စနစ်တို့အပါအဝင် နယ်ပယ်အသီးသီးတွင် အရေးပါသောအခန်းကဏ္ဍမှ ပါဝင်ပါသည်။ classical entropy ၏အခြေအနေတွင်၊ entropy ၏သင်္ချာဂုဏ်သတ္တိများကို ကောင်းစွာသတ်မှတ်ထားပြီး သတင်းအချက်အလက်၏သဘောသဘာဝနှင့် ၎င်း၏မသေချာမရေရာမှုများအတွက် အဖိုးတန်သောထိုးထွင်းသိမြင်မှုများကို ပေးဆောင်သည်။ ဤအဖြေတွင်၊ ဤသင်္ချာဂုဏ်သတ္တိများကို လေ့လာပြီး အဘယ်ကြောင့် အင်ထရိုပီသည် အနုတ်လက္ခဏာမဟုတ်ကြောင်း ရှင်းပြပါမည်။
ပထမဦးစွာ၊ ကျွန်ုပ်တို့သည် entropy ကိုသတ်မှတ်ကြပါစို့။ သတင်းအချက်အလက်သီအိုရီတွင်၊ entropy သည် ကျပန်းပြောင်းလဲမှုတစ်ခုတွင်ပါရှိသော ပျမ်းမျှအချက်အလက်ပမာဏကို တိုင်းတာသည်။ ၎င်းသည် ကျပန်းကိန်းရှင်၏ ဖြစ်နိုင်ခြေရှိသောရလဒ်များနှင့် ဆက်စပ်နေသော မသေချာမရေရာမှုကို တွက်ချက်သည်။ သင်္ချာနည်းအရ၊ ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်မှု P(X) ပါသော သီးခြားကျပန်းပြောင်းလဲနိုင်သော X တစ်ခုအတွက်၊ အင်ထရိုပီ H(X) ကို ပေးအပ်သည်-
H(X) = -∑ P(x) log₂ P(x)
summation ကို X ၏ ဖြစ်နိုင်သော တန်ဖိုးများအားလုံးကို ကျော်လွန်သွားပါသည်။ လောဂရစ်သမ်ကို ပုံမှန်အားဖြင့် base 2 သို့ ခေါ်ဆောင်သွားသောကြောင့် အင်ထရိုပီကို ဘစ်များဖြင့် တိုင်းတာသည်။
ကဲ၊ အင်ထရိုပီရဲ့ သင်္ချာဂုဏ်သတ္တိတွေကို သုံးသပ်ကြည့်ရအောင်။ ပထမပိုင်ဆိုင်မှုမှာ entropy သည် အမြဲတမ်း အနုတ်လက္ခဏာမဟုတ်သော အရာဖြစ်သည်။ ဆိုလိုသည်မှာ ကျပန်း variable သို့မဟုတ် စနစ်တစ်ခု၏ entropy သည် အနုတ်လက္ခဏာမဖြစ်နိုင်ပါ။ အင်ထရိုပီသည် အနုတ်လက္ခဏာမဟုတ်သည့် အကြောင်းရင်းကို နားလည်ရန်၊ ကျွန်ုပ်တို့သည် လော့ဂရစ်သမ်လုပ်ဆောင်ချက်၏ ဂုဏ်သတ္တိများကို ထည့်သွင်းစဉ်းစားရန် လိုအပ်သည်။
လော့ဂရစ်သမ်လုပ်ဆောင်ချက်ကို အပြုသဘောတန်ဖိုးများအတွက်သာ သတ်မှတ်ထားသည်။ အင်ထရိုပီဖော်မြူလာတွင်၊ ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်ချက် P(x) သည် x တန်ဖိုးတစ်ခုစီ၏ ဖြစ်ပေါ်နိုင်ခြေကို ကိုယ်စားပြုသည်။ ဖြစ်နိုင်ခြေများသည် အနုတ်လက္ခဏာမဟုတ်သော (ဆိုလိုသည်မှာ P(x) ≥ 0) ဖြစ်သောကြောင့် အနုတ်လက္ခဏာမဟုတ်သောဖြစ်နိုင်ခြေ၏ လော့ဂရစ်သမ်ကို သတ်မှတ်ပါမည်။ ထို့အပြင်၊ 1 ၏ လော့ဂရစ်သမ်သည် 0 နှင့် ညီမျှသည်။ ထို့ကြောင့်၊ အင်ထရိုပီဖော်မြူလာ၏ ပေါင်းချုပ်မှုတွင် သက်တမ်းတစ်ခုစီသည် အနုတ်မဟုတ်သော သို့မဟုတ် သုညနှင့် ညီမျှမည်ဖြစ်သည်။ ရလဒ်အနေဖြင့်၊ အနုတ်လက္ခဏာမဟုတ်သော ဝေါဟာရပေါင်းလဒ်သည်လည်း အနုတ်လက္ခဏာမဟုတ်သောကြောင့် အင်ထရိုပီသည် အနုတ်လက္ခဏာမဟုတ်ကြောင်း သေချာစေသည်။
ဤပိုင်ဆိုင်မှုကို သရုပ်ဖော်ရန်၊ မျှတသောဒင်္ဂါးပြားကို လွှင့်ပစ်ရန် စဉ်းစားပါ။ ကျပန်းပြောင်းလဲနိုင်သော X သည် အကြွေစေ့ပစ်ခြင်း၏ရလဒ်ကိုကိုယ်စားပြုသည်၊ ထိုနေရာတွင် X = 0 နှင့် အမြီးများအတွက် X = 1 ။ ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်ချက် P(X) ကို P(0) = 0.5 နှင့် P(1) = 0.5 ဖြင့်ပေးသည်။ ဤတန်ဖိုးများကို entropy ဖော်မြူလာထဲသို့ ပေါင်းထည့်ခြင်းဖြင့် ကျွန်ုပ်တို့ ရရှိသည်-
H(X) = -(0.5 log₂ 0.5 + 0.5 log₂ 0.5) = -(-0.5 – 0.5) = 1
မျှတသောအကြွေစေ့ပစ်ခြင်း၏ အင်ထရိုပီသည် 1 ဘစ်ဖြစ်ပြီး၊ အကြွေစေ့ပစ်ခြင်း၏ရလဒ်နှင့် ဆက်စပ်နေသော မသေချာမှုတစ်နည်းနည်းရှိကြောင်း ညွှန်ပြသည်။
အနုတ်လက္ခဏာမဟုတ်သည့်အပြင်၊ entropy သည်လည်း အခြားသော အရေးကြီးသော ဂုဏ်သတ္တိများပါရှိသည်။ ထိုကဲ့သို့သော ပိုင်ဆိုင်မှုတစ်ခုမှာ ရလဒ်များအားလုံး ညီတူညီမျှဖြစ်နိုင်သောအခါတွင် အင်ထရိုပီကို ချဲ့ထွင်ခြင်းဖြစ်သည်။ တစ်နည်းဆိုရသော် ဖြစ်နိုင်ခြေအစုလိုက်အပြုံလိုက်လုပ်ဆောင်ချက် P(x) သည် P(x) = 1/N ဖြစ်နိုင်ချေရှိသော တန်ဖိုးများအားလုံးအတွက် x၊ N သည် ဖြစ်နိုင်ချေရှိသော ရလဒ်များဖြစ်သည့် အရေအတွက်ဖြစ်လျှင် အင်ထရိုပီကို ချဲ့ထားသည်။ ရလဒ်များအားလုံး ညီတူညီမျှဖြစ်နိုင်သည့်အခါတွင် မသေချာမရေရာမှုအများဆုံးရှိနေသည့် ဤပိုင်ဆိုင်မှုသည် ကျွန်ုပ်တို့၏ပင်ကိုယ်သဘောနှင့် ကိုက်ညီပါသည်။
ထို့အပြင်၊ entropy သည် အမှီအခိုကင်းသော ကျပန်းကိန်းရှင်များအတွက် ပေါင်းထည့်သည်။ အကယ်၍ ကျွန်ုပ်တို့တွင် အမှီအခိုကင်းသော ကျပန်းပြောင်းလဲနိုင်သော X နှင့် Y နှစ်ခုရှိသည်ဆိုပါက၊ ၎င်းတို့၏ ပူးတွဲဖြန့်ဖြူးမှု၏ အင်ထရိုပီသည် ၎င်းတို့၏တစ်ဦးချင်းစီ အင်ထရိုပီများ၏ ပေါင်းစုဖြစ်သည်။ သင်္ချာအရ၊ ဤပိုင်ဆိုင်မှုကို အောက်ပါအတိုင်း ဖော်ပြနိုင်သည်။
H(X၊Y) = H(X) + H(Y)
ဤပိုင်ဆိုင်မှုသည် ပေါင်းစပ်စနစ်များ၏ entropy ကို ပိုင်းခြားစိတ်ဖြာခြင်း သို့မဟုတ် သတင်းအချက်အလက်ရင်းမြစ်များစွာကို ကိုင်တွယ်သောအခါတွင် အထူးအသုံးဝင်ပါသည်။
ရှေးရိုးအချက်အလက်သီအိုရီတွင် အင်ထရိုပီ၏ သင်္ချာဂုဏ်သတ္တိများကို ကောင်းစွာသတ်မှတ်ထားသည်။ ရလဒ်များအားလုံးအညီအမျှဖြစ်နိုင်သည့်အခါတွင် Entropy သည် အနုတ်လက္ခဏာမဟုတ်ပါ၊ နှင့် အမှီအခိုကင်းသော ကျပန်းပြောင်းလွဲများအတွက် ထပ်လောင်းထည့်ပါသည်။ ဤဂုဏ်သတ္တိများသည် သတင်း၏သဘောသဘာဝနှင့် ၎င်း၏မသေချာမရေရာမှုများကို နားလည်ရန်အတွက် ခိုင်မာသောအခြေခံအုတ်မြစ်ကို ပေးဆောင်သည်။
အခြား လတ်တလောမေးခွန်းများနှင့် အဖြေများ ဂန္ထဝင် entropy:
- အင်ထရိုပီကို နားလည်ခြင်းသည် ဆိုက်ဘာလုံခြုံရေးနယ်ပယ်ရှိ ခိုင်မာသော ကုဒ်ဝှက်စနစ်ဆိုင်ရာ အယ်လဂိုရီသမ်များကို ဒီဇိုင်းနှင့် အကဲဖြတ်ရာတွင် မည်သို့အထောက်အကူပြုသနည်း။
- အင်ထရိုပီ၏ အမြင့်ဆုံးတန်ဖိုးသည် အဘယ်နည်း၊ ၎င်းကို မည်သည့်အချိန်တွင် အောင်မြင်သနည်း။
- မည်သည့်အခြေအနေများအောက်တွင် ကျပန်းပြောင်းလဲနိုင်သော အင်ထရိုပီသည် ကွယ်ပျောက်သွားသနည်း၊ ၎င်းသည် ကိန်းရှင်နှင့်ပတ်သက်၍ အဘယ်အရာကိုဆိုလိုသနည်း။
- ဖြစ်နိုင်ခြေကို ရလဒ်တစ်ခုသို့ ဘက်လိုက်သောအခါနှင့် နှိုင်းယှဉ်ပါက ရလဒ်များကြားတွင် ဖြစ်နိုင်ခြေကို အညီအမျှ ခွဲဝေသည့်အခါ ကျပန်းပြောင်းလဲနိုင်သော အင်ထရိုပီသည် မည်သို့ပြောင်းလဲသွားသနည်း။
- binary entropy သည် classical entropy နှင့် မည်သို့ကွာခြားသနည်း၊ ရလဒ်နှစ်ခုရှိသော binary ကျပန်း variable အတွက် ၎င်းကို မည်သို့တွက်ချက်သနည်း။
- ကုဒ်စကားလုံးများ၏ မျှော်မှန်းထားသော အရှည်နှင့် ပြောင်းလဲနိုင်သော အရှည်ကုဒ်တွင် ကျပန်း variable တစ်ခု၏ entropy အကြား ဆက်စပ်မှုမှာ အဘယ်နည်း။
- ထိရောက်သော သတင်းအချက်အလက် ကုဒ်ပြောင်းခြင်းအတွက် ရှေးရိုး အင်ထရိုပီ၏ သဘောတရားကို မပြောင်းလဲနိုင်သော အရှည်ကုဒ်ရေးနည်းများတွင် မည်သို့အသုံးပြုကြောင်း ရှင်းပြပါ။
- classical entropy ၏ ဂုဏ်သတ္တိများကား အဘယ်နည်း၊ ရလဒ်များ၏ ဖြစ်နိုင်ခြေနှင့် မည်သို့ဆက်စပ်နေသနည်း။
- ရှေးရိုးအင်ထရိုပီသည် ပေးထားသည့်စနစ်တစ်ခုရှိ မသေချာမရေရာမှု သို့မဟုတ် ကျပန်းဖြစ်မှုကို မည်သို့တိုင်းတာသနည်း။