Clever Geek Handbook

AutoMLによる時系列予測







Habr、こんにちは！







ITMO大学の国立認知発達センターの自然システムをモデル化するための研究室では、さまざまなタスクでの自動機械学習の使用を積極的に研究しています。この記事では、効率的な時系列予測のためのAutoMLの使用と、これがオープンソースフレームワークFEDOTでどのように実装されているかについて説明します。これは、この開発に関する一連の出版物の2番目の記事です（最初の記事はここにあります）。







すべての詳細はカットの下にあります！







自動機械学習（AutoML）



現代のデータサイエンスは、IT分野で非常に人気のある部分になっています。専門家はデータを収集し、クリーンアップし、さまざまなモデルを試し、検証を実行し、最適なモデルを選択します。そして、これらすべては、ビジネスに最大の価値をもたらすソリューションを提供するためのものです。同時に、そのようなソリューションを取得するいくつかの段階は、毎年ますます自動化されています。原則として、これは最も日常的な部分に適用されます。これにより、専門家はより重要なタスクに時間を割くことができます。







したがって、専門家が機械学習モデルを構築し、それをWebサービスに「ラップ」して、このモデルが有用な作業を実行するというタスクに直面していると想像してみてください。何かを予測します。ただし、モデルのトレーニング段階に入る前に、次のようないくつかの手順を実行する必要があります。







  • 多くのソースからデータを収集し、クリーンアップします。
  • , , ;
  • , ;
  • .


, , . , , , , . , - , . — MLFlow, Apache AirFlow . — - workflow management system (WMS) . .







, ?







, “”, . “” ML .

. , , open-source, TPOT, AutoGluon, MLJAR H2O. AutoML “ , ( ) ”. , . ( ) , : TPOT FEDOT.







SaaS-, DataRobot, GoogleAutoTables, Amazon SageMaker, ML , AutoML.







, AutoML : . , , . , .









, , open-source . , — ( ).







, . : , . : , , — . AutoML legacy — , ( “ ”) : , .







, - , — . open-source — AutoTS. “” — AR ARIMA. “” , ( ), . , , pmdarima.







— AutoML- . . , , H2O, . , open-source , , , . .







AutoML-?







, , . :

  • (, , — , — );
  • ;
  • () ;
  • ( -);
  • in-sample out-of-sample ;
  • — ?

    , , , — .


AutoML . , , data-driven , .. , .. - .







— , 2018 . FEDOT — 2020 .







AutoML, . , open-source AutoML , — FEDOT.







, , — . , , , (, ). .

, , . , , .. , , , . , , baseline .







, , (, , ).







, , . , AutoML FEDOT, .







FEDOT

. , , . FEDOT, , .







, FEDOT , :







  • — , : (, , ) , ;
  • — , . . Primary , Secondary — ;
  • — , . FEDOT ( Chain).


:



, FEDOT







, , , .







. “”, — . — . — “” AutoML. , . , — .







FEDOT



, . FEDOT- . ? , , ? ?







! .

, — : SSA , . H2O. .







. — , . , . , , :















“lagged-“ . FEDOT “lagged”. — .







1 . , . muli-target . :













. 3 lagged







. , AR ARIMA. , .









. — “US airline passengers” :













— , - . , , AutoML . , .







: — . — . ⋅.



















, , . — , , . , .







14 . , — .







, . , . , , jupyter notebook’.









— . FEDOT :







  • , ;
  • ;
  • .


, , , . . . . .









, ,







lagged-, , ridge- (. ), “”.









, — “”. , , .







,

. , , . , , . ( ) . — — . . , , , . ( ) , — .







:















! “” . . . () (). FEDOT.







, :









(, — )







.









AutoML. FEDOT , API.







, “”. AutoML :







  • — . , , . , , “” . ;
  • — , , . , .


:









.







. : (MAE) (RMSE): MAE — 100.52, RMSE — 120.42.









, : ?







: . . 14 . 14 ( 42). in-sample .

, out-of-sample in-sample :









. in-sample out-of-sample







, 14 . 28 — 2 14 . , (out-of-sample).







, in-sample . ( ). , , .







FEDOT — 3- 14 . . . , , .









14 .







. , , .









( ). , ,







, . , , , . , .







— K- , . , . K- . — .

, , , .









, “” ,







, — , 1000 ⋅, 0. . (, ) . K-nn . , , : MAE — 88.19 RMSE — 177.31.







, - . 5 . , , .







: AutoTS pmdarima

: . , , . , -, ( ). : . , FEDOT , . !







FEDOT open-source — AutoTS pmdarima. Jupyter notebook , , . , . 3 , . ( - ):







∓ RMSE∓CKO
pmdarima 155∓1 196∓1
AutoTS 198∓22 236∓41
FEDOT 110∓14 170∓26


:







, FEDOT “ ”.









, , AutoML. , ML-, .







AutoML FEDOT: , . FEDOT .







( ) .







:









AutoML, FEDOT!







記事に従事：ミハイル・Sarafanov、パベルVychuzhaninとニコライ・ニキティンは。







More articles:


All Articles