Стемтинг эсвэл лемматжуулалтын аль нь дээр вэ?

Агуулгын хүснэгт:

Стемтинг эсвэл лемматжуулалтын аль нь дээр вэ?
Стемтинг эсвэл лемматжуулалтын аль нь дээр вэ?
Anonim

Ерөнхийдөө lemmatization нь ишний-аас илүү нарийвчлалыг санал болгодог боловч эргэн санахад илүү зардал гаргадаг. Бидний харж байгаагаар ишлэл болон лемматжуулалт нь эргэн санах чадварыг нэмэгдүүлэх үр дүнтэй арга бөгөөд лемматжуулалт нь нарийвчлалыг нэмэгдүүлэхийн тулд зарим санах ойноос татгалздаг. Гэхдээ энэ хоёр техник нь бүдүүлэг зэмсэг мэт санагддаг.

Лемматжуулалт болон ишний аль нь дээр вэ?

Stemming болон Lemmatization хоёулаа урвуу үгийн язгуур хэлбэрийг үүсгэдэг. … Stemming нь үгэн дээр гүйцэтгэх алхам бүхий алгоритмыг дагаснаар үүнийг илүү хурдан болгодог. Харин та lemmatization-д WordNet corpus болон зогсох үгсийн корпусыг мөн лемма үүсгэхийн тулд ашигласан бөгөөд энэ нь түүнийг ишнээс удаан болгодог.

Би stemming болон lemmatization хоёуланг нь хэрэглэх ёстой юу?

Богино хариулт- үгийн сангийн зай бага, бичиг баримт нь том байх үед иштэй явна. Үүний эсрэгээр, үгийн сангийн зай том боловч бичиг баримт нь бага байх үед үгийн агуулгыг ашиглана уу. Гэсэн хэдий ч, нэмэгдсэн гүйцэтгэл болон нэмэгдсэн зардлын харьцаа маш бага тул лемматжуулалтыг бүү ашиглаарай.

Лемматжуулалт болон ишлэл ижил үү?

Stemming болон lemmatization нь хайлтын систем болон чатботуудын үгийн цаад утгыг шинжлэхэд ашигладаг аргууд юм. Stemming нь үгийн үндсэн хэсгийг ашигладаг бол lemmatization нь тухайн үгийг хэрэглэж буй контекстийг ашигладаг.

Би lemmatization ашиглах ёстой юу?

Үгний векторуудыг сургахад мөн адил чухал ач холбогдолтой, учир нь үнэн зөв тоолдогүгийн цонхонд энгийн олон тооны буюу одоо цагийн infleciton гэх мэт хамааралгүй үг хэллэгээр эвдрэх болно. Лемматчилах эсэх тухай ерөнхий дүрэм нь гайхмаар зүйл биш юм: хэрэв энэ нь гүйцэтгэлийг сайжруулахгүй бол гэж бичих хэрэггүй.

Зөвлөмж болгож буй: