如何計算兩個句子的相似度

如何計算句子的語義相似度，很容易想到的是向量空間模型（VSM）和編輯距離的方法，比如A：“我爸是李剛”，B：“我兒子是李剛”，利用VSM方法A（我，爸，是，李剛）B（我，兒子，是，李剛），計算兩個向量的夾角餘弦值，不贅述；編輯距離就更好說了將“爸”，“兒子”分別替換掉，D（A,B）= replace_cost；

這是兩種相當呆的方法，屬於baseline中的baseline，換兩個例子看一下就知道A：“樓房如何建造？”，B：“高爾夫球怎麼打？”，C:“房子怎麼蓋？”，如果用VSM算很明顯由於B，C中有共同的詞“怎麼”，所以BC相似度高於AC；編輯距離同理；

解決這種問題方法也不難，隻要通過同義詞詞典對所有句子進行擴展，“如何”、“怎麼”，“樓房”、“房子”都是同義詞或者近義詞，擴展後再算vsm或者edit distance對這一問題即可正解。這種方法一定程度上解決了召回率低的問題，但是擴展後引入噪聲在所難免，尤其若原句中含有多義詞時。例如：“打醬油”、“打毛衣”。在漢字中有些單字詞表達了相當多的意義，在董振東先生的知網（hownet）中對這種類型漢字有很好的語義關係解釋，通過hownet中詞語到義元的樹狀結構可以對對詞語粒度的形似度進行度量。

問題到這裏似乎得到了不錯的解答，但實際中遠遠不夠。VSM的方法把句子中的詞語看做相互獨立的特征，忽略了句子序列關係、位置關係對句子語義的影響；Edit Distance考慮了句子中詞語順序關係，但是這種關係是機械的置換、移動、刪除、添加，實際中每個詞語表達了不同的信息量，同樣的詞語在不同詞語組合中包含的信息量或者說表達的語義信息大不相同。What about 句法分析，計算句法樹的相似度？這個比前兩種方法更靠譜些，因為句法樹很好的描述了詞語在句子中的地位。實際效果要待實驗證實。

對了，還有一種方法translation model，IBM在機器翻譯領域的一大創舉，需要有大量的語料庫進行訓練才能得到理想的翻譯結果。當然包括中間詞語對齊結果，如果能夠利用web資源建立一個高質量的語料庫對兩兩相似句對通過EM迭代詞語對齊，由詞語對齊生成句子相似度，這個。。想想還是不錯的方法！

如何高效計算句子相似度 JAVA+ORACLE

SYS.UTL_MATCH.EDIT_DISTANCE_SIMILARITY('北京市海龍科技股份','北京海龍科技') as 相似度 from ? dual

論文查重句子相似度在百分之多少以上需要修改

一般是超過了30%以上就需要修改，但是有的學校規定是20%，具體的你需要按照學校指定的檢測平台與重複率要求來決定是否需要修改。

如何把相似度高的句子批量刪除

相似度比較需要有參照物，也就是可以每兩個內容相互比較，得出相對的相似度。

如圖，先將去除標點的內容放在B列，然後從第一個開始循環，比較與下一條內容的相似度，

最後一條時與第一條內容比較。

怎麼用sql語句來判斷兩條短信的相似度，也就是兩個字符串的相似度，相似度的理論是什麼？

如表格A中字段a1有一條字符串記錄Rec1內容為 “我的家在哪裏？”；然後要從B表中找出一條字符串記錄Rec2內容與Rec1最相似的，如：“我的家在浙江?”

select A.a1, max(DIFFERENCE(A.a1,B.相應字段))

from A cross join B

group by A.a1

paperpass上的句子相似度低於多少才不算重複

根據我自己的查重經驗，由於標紅句子的相似度都是40%及以上，所以我覺得應該句子相似度低於40%不算重複。

如何進行相似度的計算，主要用什麼方式

如何計算句子的語義相似度,很容易想到的是向量空間模型（VSM）和編輯距離的方法,比如A：“我爸是李剛”,B：“我兒子是李剛”,利用VSM方法A（我,爸,是,李剛）B（我,兒子,是,李剛）,計算兩個向量的夾角餘弦值,不贅述；編輯距離就更好說了將“爸”,“兒子”分別替換掉,D（A,B）= replace_cost；

這是兩種相當呆的方法,屬於baseline中的baseline,換兩個例子看一下就知道A：“樓房如何建造?”,B：“高爾夫球怎麼打?”,C:“房子怎麼蓋?”,如果用VSM算很明顯由於B,C中有共同的詞“怎麼”,所以BC相似度高於AC；編輯距離同理；

解決這種問題方法也不難,隻要通過同義詞詞典對所有句子進行擴展,“如何”、“怎麼”,“樓房”、“房子”都是同義詞或者近義詞,擴展後再算vsm或者edit distance對這一問題即可正解.這種方法一定程度上解決了召回率低的問題,但是擴展後引入噪聲在所難免,尤其若原句中含有多義詞時.例如：“打醬油”、“打毛衣”.在漢字中有些單字詞表達了相當多的意義,在董振東先生的知網（hownet）中對這種類型漢字有很好的語義關係解釋,通過hownet中詞語到義元的樹狀結構可以對對詞語粒度的形似度進行度量.

問題到這裏似乎得到了不錯的解答,但實際中遠遠不夠.VSM的方法把句子中的詞語看做相互獨立的特征,忽略了句子序列關係、位置關係對句子語義的影響；Edit Distance考慮了句子中詞語順序關係,但是這種關係是機械的置換、移動、刪除、添加,實際中每個詞語表達了不同的信息量,同樣的詞語在不同詞語組合中包含的信息量或者說表達的語義信息大不相同.What about 句法分析,計算句法樹的相似度?這個比前兩種方法更靠譜些,因為句法樹很好的描述了詞語在句子中的地位.實際效果要待實驗證實.

對了,還有一種方法translation model,IBM在機器翻譯領域的一大創舉,需要有大量的語料庫進行訓練才能得到理想的翻譯結果.當然包括中間詞語對齊結果,如果能夠利用web資源建立一個高質量的語料庫對兩兩相似句對通過EM迭代詞語對齊,由詞語對齊生成句子相似度,這個.想想還是不錯的方法!

如何度量兩個詞之間的語義相似度

如何度量句子的語義相似度，很容易想到的是向量空間模型（VSM）和編輯距離的方法，比如A：“我爸是李剛”，B：“我兒子是李剛”，利用VSM方法A（我，爸，是，李剛）B（我，兒子，是，李剛），計算兩個向量的夾角餘弦值，不贅述；編輯距離就更好說了將“爸”，“兒子”分別替換掉，D（A,B）= replace_cost；

轉載請注明出處句子大全網 » 如何計算兩個句子的相似度