事前学習とファインチューニングは、特に 大規模言語モデル の文脈で、深層学習 で一般的に使用される転移学習の手法である。モデルを 2 つの段階でトレーニングすることが含まれる。最初に、モデルは大規模な汎用データセットで事前学習され、次に小規模なタスク固有のデータセットでファインチューニングされる。
概要
事前学習の目標は、他のタスクに転移できる大規模なデータセットから汎用的な特徴を学習することである。次に、ファインチューニング段階で、これらの特徴を当面の特定のタスクに適応させる。このアプローチは、特にタスク固有のデータセットが小さい場合に、モデルのパフォーマンスを大幅に向上させることができる。
事前学習
事前学習中、モデルは自己教師あり学習の目的を使用して、テキストデータの大規模なデータセットでトレーニングされる。これは、モデルが、シーケンスの次の単語や文中のマスクされた単語など、入力データ自体のある側面を予測するようにトレーニングされることを意味する。
ファインチューニング
ファインチューニング中、モデルは教師あり学習の目的を使用して、小規模なタスク固有のデータセットでトレーニングされる。これは、モデルが特定の入力が与えられた場合に特定の出力を予測するようにトレーニングされることを意味する。たとえば、モデルは文の感情を分類したり、ある言語から別の言語に文を翻訳したりするようにトレーニングされる場合がある。
利点
- パフォーマンスの向上: 事前学習とファインチューニングは、特にタスク固有のデータセットが小さい場合に、深層学習モデルのパフォーマンスを大幅に向上させることができる。
- トレーニングの高速化: 事前学習により、モデルはすでに大規模なデータセットから汎用的な特徴を学習しているため、新しいタスクでモデルをトレーニングするのにかかる時間を短縮できる。
- より良い一般化: 事前学習は、モデルの一般化能力を向上させ、目に見えないデータで良好に機能できるようにする。
応用
事前学習とファインチューニングは、以下を含む幅広いアプリケーションで使用されている。
- 大規模言語モデル: 事前学習とファインチューニングは、最先端の LLM をトレーニングするための重要な手法である。
- 自然言語処理: 事前学習とファインチューニングは、さまざまなタスクで NLP モデルのパフォーマンスを大幅に向上させた。
- コンピュータービジョン: 事前学習とファインチューニングは、コンピュータービジョンでも使用されており、画像分類およびオブジェクト検出モデルのパフォーマンスを向上させている。