感情分析。Habréで感情的なメッセージを定義します

感情分析(または感情分析)は、データサイエンスのスペシャリストが取り組むタスクの1つです。このような分析の助けを借りて、メッセージやその他のデータの配列を調査し、それらがどのように感情的に色付けされているか(ポジティブ、ネガティブ、ニュートラル)を判断できます。





それがどのように機能するかを見てみましょう-LinisCrowdデータセットに基づいていくつかの記事を分析しましょう。たとえば、さまざまな監視サービスの開発に最も有望なモデルを特定することを提案します。主題分野として、意見の自動収集を実装するのに役立つ技術的な性質の記事(Habréなど)を選択します。





調性とは、テキスト内の感情的に色付けされた語彙の識別であり、著者によって表明された意見の感情的な評価でもあります。 





, , “” . , ( ). , , .





, -. , , . 





: . – 70-80%, , .





:





  • . () . , .





  • , . . , , .





, . – . , IT- , . :





-1





:





0





:





1





:





2 :





  • . , , Linis Crowd.





  • , . python, .





  • -, Flask, - .





  • nltk - . , .





  • Fasttext. Word2Vec , , . . 500 , .





Fasttext ():

























– , .





1)

, , , , . , . .













, :





alpha = 0.3; fitprior = True; classprior = None





2)

, .





:





  • samplesize, . , .





  • max_features ( — ).





  • ( ). , , ( ). , , , . 









, : 





nestimators = 200; maxdepth = 3; random_state = 0





3)  

, . 





Embedding, 64- , LSTM (128 ) Dense (10 ).









Linis Crowd, 29 . .





  .





, . fasttext , 5 - 10 CPU. GPU 0.7 – 1.





  :





  • 60%. 





  • 20% 





  • 20% . 





, 70-80%. 









  • (88,32%)





  • (78,91%)





  • . RNN (83,26%)





, 88,32% . , 80%, .





! , . 





-, : 





  1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/





  2. https://habr.com/ru/company/palitrumlab/blog/262595/





  3. https://compress.ru/article.aspx?id=23115





  4. https://habr.com/ru/company/mailru/blog/417767/





  5. https://habr.com/ru/company/mailru/blog/516214/





  6. https://habr.com/ru/company/mailru/blog/516726/





  7. https://habr.com/ru/company/mailru/blog/516730/












All Articles