モデルの炭素排出量の表示

なぜ、モデルの炭素排出量を計算することが有益なのでしょうか？

MLモデルの学習は多くの場合、エネルギーを大量に消費し、Strubell et al.が述べているように、相当なカーボンフットプリントを生み出す可能性があります。そのため、私たちの分野の環境への影響をよりよく理解するためには、モデルの排出量をトラッキングし、報告することが重要です。

モデルのカーボンフットプリントについて、どのような情報を記載すべきですか？

可能であれば、以下の情報を含めることをお勧めします：

• モデルが学習された場所（地理的な位置）
• 使用されるハードウェア — 例: GPU、TPU、CPU、およびその台数
• トレーニングの種類: プレトレーニングまたはファインチューニング
• モデルの推定カーボンフットプリント。Code Carbonパッケージでリアルタイムに計算するか、ML CO2 Calculatorを使用して学習後に計算します。

炭素フットプリントのメタデータ

モデルカードのメタデータ（README.mdファイル）にカーボンフットプリントのデータを追加できます。メタデータの構造は以下の通りです。

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

私のモデルのカーボンフットプリントはどのように計算されますか？ 🌎

計算ハードウェア、ロケーション、使用状況、および学習時間を考慮することで、モデルが生成したCO₂の量を推定できます。

計算は非常にシンプルです！➕

まず、学習に使用される電力グリッドの炭素強度を取得します。これは、使用された1kWhの電力あたりに生成されるCO₂の量です。炭素強度は、ハードウェアの設置場所と、その場所で使用されているエネルギー構成に依存します。具体的には、太陽光🌞、風力🌬️、水力💧などの再生可能エネルギーか、石炭⚫や天然ガス💨などの非再生可能エネルギーかです。学習に使用される再生可能エネルギーの割合が高いほど、炭素強度は低くなります！

次に、pynvml ライブラリを使用して、学習中の GPU の電力消費量を取得します。

最後に、電力消費量とカーボンインテンシティをモデルの学習時間で掛け合わせると、CO₂排出量の推定値が得られます。

データセンターの冷暖房に使用されるエネルギーなど、他の要因も影響するため、これは正確な数値ではありません。これらの要因により、炭素排出量は増加します。ただし、この数値を参考にすることで、モデルが排出するCO₂の規模を把握することができます。

モデルにCarbon Emissionsメタデータを追加するには:

1. AutoTrainを使用している場合、これは自動的に追跡されます🔥
2. それ以外の場合は、Code Carbonのようなトラッカーを学習コードに使用し、その後、指定します

co2_eq_emissions: 
  emissions: 1.2345

モデルカードのメタデータに、1.2345はグラム単位の排出量です。

Transformersのカーボンフットプリントについて詳しく知るには、Hugging Face Courseの一部である動画をご覧ください。