SageMaker

W&B を Amazon SageMaker と統合する方法。

W&B は Amazon SageMaker とインテグレーションしており、ハイパーパラメーターを自動で読み取り、分散 run をグループ化し、チェックポイントから run を再開します。

認証

W&B はトレーニングスクリプトと相対的な位置にある secrets.env という名前のファイルを探し、wandb.init() が呼び出されたときにそれを環境にロードします。wandb.sagemaker_auth(path="source_dir") を実行することで、secrets.env ファイルを生成できます。このファイルを .gitignore に追加することを忘れないでください！

既存の推定器

SageMaker の事前設定された推定器を使用している場合、ソースディレクトリーに wandb を含む requirements.txt を追加する必要があります。

wandb

Python 2 を実行している推定器を使用している場合、wandb をインストールする前に wheel から直接 psutil をインストールする必要があります。

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

GitHub で完全な例を確認し、ブログ でさらに詳しく読んでください。

また、SageMaker と W&B を使用した感情分析器のデプロイに関するチュートリアルを読むこともできます。

W&B sweep agent は SageMaker インテグレーションがオフになっている場合のみ SageMaker ジョブで期待通りに動作します。wandb.init の呼び出しを変更して SageMaker インテグレーションをオフにしてください。

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))