Категорийн кроссентропи нь олон ангиллын ангиллын даалгаварт хэрэглэгддэг алдагдлын функц юм. Эдгээр нь жишээ нь олон боломжит категорийн зөвхөн нэгд хамаарах боломжтой ажлууд бөгөөд загвар нь алийг нь сонгох ёстой. Албан ёсоор энэ нь хоёр магадлалын тархалтын зөрүүг тооцоолоход зориулагдсан.
Яагаад MSE-ийн оронд кросс энтропи хэрэглэдэг вэ?
Нэгдүгээрт, Cross-entropy (эсвэл softmax алдагдал, гэхдээ кросс энтропи нь илүү сайн ажилладаг) нь ангиллын хувьд MSE-ээс илүү сайн хэмжүүр юм, Ангиллын даалгаварт шийдвэрийн зааг том учраас(регресстэй харьцуулахад). … Регрессийн асуудлын хувьд та бараг үргэлж MSE-г ашиглах болно.
Сийрэг хөндлөн энтропи болон категорик хөндлөн энтропи хоёрын ялгаа юу вэ?
Сийрэг категорик хөндлөн энтропи ба категорик хөндлөн энтропи хоёрын цорын ганц ялгаа нь жинхэнэ шошгоны формат юм. Бидэнд нэг шошготой, олон ангиллын ангиллын асуудал тулгарвал шошгууд нь өгөгдөл тус бүрд бие биенээсээ хамааралгүй, өөрөөр хэлбэл өгөгдөл бүр зөвхөн нэг ангилалд хамаарах болно.
Та ангиллын хөндлөн энтропийн алдагдлыг хэрхэн тайлбарлах вэ?
Загалмай энтропи дээжийн таамагласан магадлал бодит утгаас зөрөх тусам нэмэгдэнэ. Тиймээс бодит шошго нь 1 утгатай байх үед 0.05 магадлалыг таамаглах нь хөндлөн энтропийн алдагдлыг нэмэгдүүлдэг. Энэ нь тухайн түүврийн хувьд 0-ээс 1 хүртэлх таамагласан магадлалыг илэрхийлнэ.
Яагаад хөндлөн энтропи сайн байдаг вэ?
Ерөнхийдөө бидний харж байгаагаар кросс-энтропи нь загварын магадлалыг хэмжих энгийн арга юм. Хөндлөн энтропи нь загвар хэр магадлалтай болохыг, өгөгдлийн цэг бүрийн алдааны функцийгтодорхойлж чаддаг тул ашигтай. Үүнийг мөн урьдчилан таамагласан үр дүнг бодит үр дүнтэй харьцуулахад ашиглаж болно.
