huggingface transformerのシード値を固定したい
やりたかったこと
モデルのシード値を固定したい
解決法
実はtrainer.pyにシードを固定するための関数が存在している。
|
1 2 3 4 5 6 7 |
def set_seed(seed_value=42): """Set seed for reproducibility. """ random.seed(seed_value) np.random.seed(seed_value) torch.manual_seed(seed_value) torch.cuda.manual_seed_all(seed_value) |
training実行前にこの関数を呼び出せばいい。
さらに、公式のexampleを使うならば、かつ、configをjsonから実行するならば、config.jsonにすでにseedの値が記載されている。
特に難しく考える必要はなかった。