ニュースを理解するためにAIにどのように教えたか

私たちは皆、何が起こっているのかを知りたいので、ニュースを読むことに時間の一部を費やしています。そして今、ますます多くのニュースがニュースサイトや新聞からではなく、ある種の電報チャンネルから来ています。その結果、しばらくすると、常に何かを書いているダース（そしておそらく数十のチャンネル）にサブスクライブしていることがわかります。その結果、「何かを見逃さない」ために膨大な時間が費やされます。しかし、あなたがそれを見ると、それらのほとんどは、まったく異なる方法で、1つのことについて書いています。そこで、AIに本当に重要なニュースを選択するように教えるというアイデアが生まれました。もちろん、Yandex.NewsのようなさまざまなTOPや、尊敬されているメディアアウトレットからのその日の結果のようなものがありますが、至る所にニュアンスがあります。この記事では、これらのニュアンスと、私たちが行ったことと行わなかったことについて説明しようと思います。

ニュアンスとソース

, –  , , , - –  , " ". , ., , –  , . –  , .

:

• -,

  
  
  
  
  

• , , - (-, , )

  
  
  
  
  

• – , , 100 . 10 . ( ) –  . - . ,

  
  
  
  
  

100 , "" . , –  , , - , GQ, .. - , , - .

, , , , , .. , - . , . –  , ( )... - . , – , "" ( , , - ). , - , , .

:

• " ", – 

  
  
  
  
  

• "", – .. ""

  
  
  
  
  

• "" – .. - ,

  
  
  
  
  

, , :

• ( )

  
  
  
  
  

• –  NLP NER –   ,

  
  
  
  
  

• - ""

  
  
  
  
  

–  3 , : , ( ), – . , , - .

"" NLP

NLP, BERT, . . - . – , MVP :

• . , NLP , –  , .. - , . , , .

  
  
  
  
  

• , BERT – , , , .

  
  
  
  
  

, MVP BERT , 20 – ( ), , BERT - , .. , . , , , –  , ( ).

:

• BERT – , , NER ,

  
  
  
  
  

• Natasha – , NLP : , , API, . .. " " – 

  
  
  
  
  

• Stanza –  NLP , ,

  
  
  
  
  

Spacy, , :

• 
  
  
  
  

• 
  
  
  
  

• NLP , : NER, , ,

  
  
  
  
  

• ( BERT)

  
  
  
  
  

- , , Spacy.

, , : Natasha-spacy, , . , - , , .

, –  , . –  : . – , , . , NER PER, LOC, ORG , "" "" , .. .

- , , .. CONLLU, . :

• GSD

  
  
  
  
  

• SynTagRus

  
  
  
  
  

• Taiga

  
  
  
  
  

-. - NER. . , . , - . – « », , . , ( CONLLU), CONLLU. , , .

"" "" – . , regexp-, .

, "" "". - :

• , ,

  
  
  
  
  

• , .. , "" "" , " "

  
  
  
  
  

• –  - , , , , 3- – 

  
  
  
  
  

. , , .

, " ". Facebook( themeduza, forbesrussia) , , ria.ru. –  - . ! - , , , . ~ .

, "" "" , , , , , .

, –  . " " , - .

–  , , . 4-5 , , , , - "".

4 GB RAM, 2 vCPUs 8% CPU, . , airflow, ( - airflow " " 16 GB RAM, 4 vCPUs 32%). , . , DAG-, –  .

" X", . :

• ( , , , )

  
  
  
  
  

• , –  NER , "" , ( )

  
  
  
  
  

  "source": {
      "id": 1115468824,
      "username": "lentadnya",
      "title": " ",
      "participants": 47148
    },
    "text": "«, ,   »:       .    ,  ",
    "views": 405,
    "link": "https://t.me/lentadnya/16263",
    "interesting": 0.12,
    "reaction": {
      "enjoyment": 0.04400996118783951,
      "sadness": 0.0019097710028290749,
      "disgust": 0.8650462031364441,
      "anger": 0.08112426102161407,
      "fear": 0.00790974497795105
    },
    "entities": [
      "",
      " ",
      "",
      ""
    ],
    "tags": [
      "",
      " ",
      "",
      ""
    ]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, .

№1: "" , , . , –  3-4 , . .. , .. , . –  .

№2: NER – . , , . . - 100 (, ) NER . 85%. . , BERT "" , - , -.

№3: , , , , , . . - "" . , "", . , ( ), NER " ". , , , . "" , - " " –  . "" . , "" , , . .

さて、これまで読んだ人は誰でも、それが面白いものになることを願っていますが、私たちのトップはどのように見えますか：https：//t.me/mygenda。

さて、ファッションブロガーが言うように：購読し、コメントを共有し、質問をします。これが面白かったと思います。