The 1 cycle policy

learning rateをイテレーションの間で何度も大きくしたり小さくしたり変化させる学習方法

fastaiではLearnerで実装されている

REFERENCES:

  • http://37ma5ras.blogspot.com/2018/05/2018-1cycle-policy.html
  • https://sgugger.github.io/the-1cycle-policy.html