Ruby onRailsでのデータ移行

TL; DRデータ移行コードをRakeタスクに移動するか、本格的なスキーマスタイルのgemを使用してください。このロジックをテストでカバーします。

私はFunBoxでバックエンド開発者として働いています。多くのプロジェクトで、Ruby OnRailsバックエンドを作成しています。適切な開発プロセスの構築に努めているため、問題が発生した場合は、それを理解し、方法論的な推奨事項を作成するように努めています。これは、データ移行の問題でも発生しました。テストでカバーされた別のRakeタスクでデータ移行を行った後、チームは「スキーマ移行を行わないのはなぜですか？」という質問をしました。内部チャットで開発者に聞いたところ、驚いたことに意見が分かれました。質問は曖昧であり、思慮深い分析と記事に値することが明らかになりました。特定のデータ移行が行われた理由、または逆にスキーマ移行から行われなかった理由について、誰かがコードレビューでこのテキストへのリンクを引用すると、記事の目標に関する最大のプログラムが実行されます。

叙情的な逸脱

, . . « . ». « ».

IT . Ruby, - . , , . , : , , , , , , .

, , . , , , , .

Rails , , DDL-. , . , Rails omakase- . , .

, , . , . , , . .

. , . (, ) , .

, . . -, , .

deadlocks .

, , , Zero Downtime Migrations Strong Migrations.

— DSL (Domain Specific Language) Ruby DDL- SQL . DSL, , . , .

DSL, , SRP. . , , …

( , )

Ruby On Rails Data Migration , . , . Rails-, . .

SQL ORM ActiveRecord.

:

1. . .
2. , .
3. callbacks , .

«» . , .

«» Rails ( 4.2):

    # db/migrate/20100513121110_add_flag_to_product.rb

    class AddFlagToProduct < ActiveRecord::Migration
      class Product < ActiveRecord::Base
      end

      def change
        add_column :products, :flag, :boolean
        Product.reset_column_information
        Product.all.each do |product|
          product.update_attributes!(:flag => false)
        end
      end
    end

.

, each find_each c batch-.

, , 4.2 .

SQL

, , SQL, :

1. , . , , , (SQL), .
2. JOIN-, , .
3. , deadlock.

,

, .

, nullable- .

, .

, :

    UPDATE table SET field = 'f' WHERE field IS NULL

:

    class ClientDemandsMakeApprovedNullable < ActiveRecord::Migration
      def up
        change_column_null :client_demands, :approved, true
        change_column_default :client_demands, :approved, nil
      end

      def down
        execute("UPDATE client_demands SET approved = 'f' WHERE approved IS NULL")
        change_column_null :client_demands, :approved, false
        change_column_default :client_demands, :approved, false
      end
    end

, . , , . Dan Mayer Managing DB Schema & Data Changes Modifying Large Tables.

. «», . . , , , .

, .

, , .

, . . REPL .

, :

1. ;
2. ;
3. .

. , . . .

, , , , .

Rake-

, — Rake-. . -.

Rake- . , . . . — .

, , Rake, Thoughtbot:

    # lib/tasks/temporary/users.rake
    namespace :users do
      desc "Actualize achievements counter cache"
      task actualize_achievements_counter_cache: :environment do
        # C (ActiveRelation)   
        users = User.with_achievements
        #    
        puts "Going to update #{users.count} users"
        # ,   ,  
        #    .    
        ActiveRecord::Base.transaction do
          # Batch-   find_each
          users.find_each do |user|        
            #     
            user.actualize_achievements_counter_cache!
            #  
            print "."
          end
        end

        puts "Done!"
      end
    end

each find_each, . memory bloats. Akshay Mohite.

. , Rake- .

, . . , , . .

Mark Qualie up, . «» . :

    class AddLastSmiledAtColumnToUsers < ActiveRecord::Migration[5.1]
      def change
        add_column :users, :last_smiled_at, :datetime
        add_index :users, :last_smiled_at
      end

      class Data
        def up
          User.all.find_in_batches(batch_size: 250).each do |group|
            ActiveRecord::Base.transaction do
              group.each do |user|
                user.last_smiled_at = user.smiles.last.created_at
                user.save if user.changed?
              end
            end
          end
        end
      end
    end

:

    Dir.glob("#{Rails.root}/db/migrate/*.rb").each { |file| require file }
    AddLastSmiledAtColumnToUsers::Data.new.up

Job, .

, - , .

, , .

, . , .

data-migrate (> 670), , Readme. Rails 5+.

, Rails 4+:

• rails-data-migrations (> 93 )

  
  
  

• nonschema_migrations (> 53 )

  
  
  

. .

, Rake-. . , .

db/data, db/migrate c :

rails g data_migration add_this_to_that

:

rake data:migrate
rake db:migrate:with_data
rake db:rollback:with_data
rake db:migrate:status:with_data

, .

.

— , :

1. — ;
2. Zero Downtime Deployment — , ;
3. Test First — ;
4. — ;
5. — , ;
6. — , , .

, Rake- — .

, . .

, — , . , .

• Rails Guides.
• Thoughtbot. Data Migrations in Rails.
• AtomicObject. Testing Data Migrations in Rails.
• Marcqualie. Rails Data Migrations.
• Ombulabs. Three Useful Data Migration Patterns for Rails.
• Strong Migrations.
• Zero Downtime Migrations.
• Dan Mayer. Managing DB Schema & Data Change.
• Akshay Mohite find_each each.
• . « . ». 1, 8 . , , .

UPD 2020-08-06: Extrapolator « ».

- , Test First .

.

UPD 2020-08-07: . , . . , .

UPD 2020-08-08: , . , . , , . « », , . . , .