# Endpoint Inferensi

Inference Endpoints menyediakan solusi produksi yang aman untuk dengan mudah mendeploy model pada infrastruktur khusus dan autoscaling yang dikelola oleh Hugging Face. Sebuah Inference Endpoint dibangun dari model di [Hub](https://huggingface.co/models). Halaman ini adalah referensi untuk integrasi `huggingface_hub` dengan Inference Endpoints. Untuk informasi lebih lanjut tentang produk Inference Endpoints, lihat [dokumentasi resminya](https://huggingface.co/docs/inference-endpoints/index).

> [!TIP]
> Lihat [panduan terkait](../guides/inference_endpoints) untuk mempelajari cara menggunakan `huggingface_hub` untuk mengelola Inference Endpoints Anda secara programatik.

Inference Endpoints dapat dikelola sepenuhnya melalui API. Endpoint didokumentasikan dengan [Swagger](https://api.endpoints.huggingface.cloud/). Kelas [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint) adalah pembungkus sederhana yang dibangun di atas API ini.

## Metode

Sebagian fitur Inference Endpoint diimplementasikan di [HfApi](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi):

- [get_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.get_inference_endpoint) dan [list_inference_endpoints()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.list_inference_endpoints) untuk mendapatkan informasi tentang Inference Endpoints Anda
- [list_inference_endpoints_hardware()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.list_inference_endpoints_hardware) untuk menampilkan daftar hardware tempat Anda dapat mendeploy Inference Endpoint
- [create_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint), [update_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.update_inference_endpoint) dan [delete_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.delete_inference_endpoint) untuk mendeploy dan mengelola Inference Endpoints
- [list_inference_catalog()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.list_inference_catalog) dan [create_inference_endpoint_from_catalog()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint_from_catalog) untuk menelusuri dan mendeploy Model Catalog yang terkurasi
- [pause_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.pause_inference_endpoint) dan [resume_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.resume_inference_endpoint) untuk menjeda dan melanjutkan Inference Endpoint
- [scale_to_zero_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.scale_to_zero_inference_endpoint) untuk secara manual menskalakan Endpoint menjadi 0 replika

## InferenceEndpoint[[huggingface_hub.InferenceEndpoint]]

Dataclass utama adalah [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint). Dataclass ini berisi informasi tentang `InferenceEndpoint` yang telah di-deploy, termasuk konfigurasinya dan status saat ini. Setelah di-deploy, Anda dapat menjalankan inferensi pada Endpoint menggunakan properti [InferenceEndpoint.client](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.client) dan [InferenceEndpoint.async_client](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.async_client) yang masing-masing mengembalikan objek [InferenceClient](/docs/huggingface_hub/main/id/package_reference/inference_client#huggingface_hub.InferenceClient) dan [AsyncInferenceClient](/docs/huggingface_hub/main/id/package_reference/inference_client#huggingface_hub.AsyncInferenceClient).

#### huggingface_hub.InferenceEndpoint[[huggingface_hub.InferenceEndpoint]]

```python
huggingface_hub.InferenceEndpoint(namespace: str, raw: dict, _token: str | bool | None, _api: HfApi)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L116)

**Parameter:**

name (`str`) : Nama unik dari Inference Endpoint.

namespace (`str`) : Namespace tempat Inference Endpoint berada.

repository (`str`) : Nama repositori model yang di-deploy pada Inference Endpoint ini.

status ([InferenceEndpointStatus](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointStatus)) : Status saat ini dari Inference Endpoint.

url (`str`, *opsional*) : URL dari Inference Endpoint, jika tersedia. Hanya Inference Endpoint yang sudah di-deploy yang memiliki URL.

framework (`str`) : Framework machine learning yang digunakan untuk model.

revision (`str`) : Revisi model spesifik yang di-deploy pada Inference Endpoint.

task (`str`) : Tugas yang terkait dengan model yang di-deploy.

created_at (`datetime.datetime`) : Stempel waktu saat Inference Endpoint dibuat.

updated_at (`datetime.datetime`) : Stempel waktu dari pembaruan terakhir Inference Endpoint.

type ([InferenceEndpointType](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointType)) : Jenis dari Inference Endpoint (public, authenticated, private).

raw (`dict`) : Data kamus mentah yang dikembalikan dari API.

token (`str` atau `bool`, *opsional*) : Token autentikasi untuk Inference Endpoint, jika diset saat meminta API. Akan menggunakan token yang disimpan secara lokal secara default jika tidak disediakan. Kirimkan `token=False` jika Anda tidak ingin mengirim token Anda ke server.

Berisi informasi tentang Inference Endpoint yang telah di-deploy.

Contoh:
```python
>>> from huggingface_hub import get_inference_endpoint
>>> endpoint = get_inference_endpoint("my-text-to-image")
>>> endpoint
InferenceEndpoint(name='my-text-to-image', ...)

# Get status
>>> endpoint.status
'running'
>>> endpoint.url
'https://68a0f3b5c6ee5c9dcc0e0a01.endpoints.huggingface.cloud'

# Run inference
>>> endpoint.client.text_to_image(...)

# Pause endpoint to save $$$
>>> endpoint.pause()

# ...
# Resume and wait for deployment
>>> endpoint.resume()
>>> endpoint.wait()
>>> endpoint.client.text_to_image(...)
```

#### from_raw[[huggingface_hub.InferenceEndpoint.from_raw]]

```python
from_raw(raw: dict, namespace: str, token: str | bool | None = None, api: typing.Optional[ForwardRef('HfApi')] = None)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L199)

Inisialisasi objek dari kamus mentah.

#### client[[huggingface_hub.InferenceEndpoint.client]]

```python
client()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L220)

**Mengembalikan:** [InferenceClient](/docs/huggingface_hub/main/id/package_reference/inference_client#huggingface_hub.InferenceClient)

klien inferensi yang menunjuk ke endpoint yang telah di-deploy.

**Mengangkat:** [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError)

- [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- Jika Inference Endpoint belum di-deploy.

Mengembalikan klien untuk membuat prediksi pada Inference Endpoint ini.

#### async_client[[huggingface_hub.InferenceEndpoint.async_client]]

```python
async_client()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L242)

**Mengembalikan:** [AsyncInferenceClient](/docs/huggingface_hub/main/id/package_reference/inference_client#huggingface_hub.AsyncInferenceClient)

klien inferensi yang kompatibel dengan asyncio yang mengarah ke endpoint yang telah di-deploy.

**Mengangkat:** [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError)

- [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- Jika Inference Endpoint belum di-deploy.

Mengembalikan klien untuk membuat prediksi pada Inference Endpoint ini.

#### hapus[[huggingface_hub.InferenceEndpoint.delete]]

```python
delete()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L487)

Hapus Inference Endpoint.

Operasi ini tidak dapat dibatalkan. Jika Anda tidak ingin dikenakan biaya untuk Inference Endpoint, sebaiknya jeda dengan [InferenceEndpoint.pause()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.pause) atau skala ke nol dengan [InferenceEndpoint.scale_to_zero()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.scale_to_zero).

Ini adalah alias untuk [HfApi.delete_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.delete_inference_endpoint).

#### fetch[[huggingface_hub.InferenceEndpoint.fetch]]

```python
fetch()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L317)

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

Ambil informasi terbaru tentang Inference Endpoint.

#### pause[[huggingface_hub.InferenceEndpoint.pause]]

```python
pause()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L430)

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

Jeda Endpoint Inferensi.

Inference Endpoint yang dijeda tidak akan dikenakan biaya. Endpoint ini dapat dilanjutkan kapan saja menggunakan [InferenceEndpoint.resume()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.resume). Hal ini berbeda dengan penskalaan Inference Endpoint ke nol menggunakan [InferenceEndpoint.scale_to_zero()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.scale_to_zero), yang akan dimulai ulang secara otomatis ketika ada permintaan yang dikirim ke endpoint tersebut.

Ini adalah alias untuk [HfApi.pause_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.pause_inference_endpoint). Objek saat ini dimutasi di tempat dengan data terbaru dari server.

#### lanjutkan[[huggingface_hub.InferenceEndpoint.resume]]

```python
resume(running_ok: bool = True)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L448)

**Parameter:**

running_ok (`bool`, *opsional*) : Jika `True`, metode tidak akan melempar kesalahan jika Inference Endpoint sudah berjalan. Bawaan adalah `True`.

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

Lanjutkan Endpoint Inferensi.

Ini adalah alias untuk [HfApi.resume_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.resume_inference_endpoint). Objek saat ini dimutasi di tempat dengan data terbaru dari server.

#### scale_to_zero[[huggingface_hub.InferenceEndpoint.scale_to_zero]]

```python
scale_to_zero()
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L469)

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

Skalakan Endpoint Inferensi ke nol.

Inference Endpoint yang diskalakan ke nol tidak akan dikenakan biaya. Endpoint ini akan dilanjutkan pada permintaan berikutnya, dengan penundaan cold start. Hal ini berbeda dengan menjeda Inference Endpoint menggunakan [InferenceEndpoint.pause()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.pause), yang memerlukan pengaktifan manual dengan [InferenceEndpoint.resume()](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.resume).

Ini adalah alias untuk [HfApi.scale_to_zero_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.scale_to_zero_inference_endpoint). Objek saat ini dimutasi di tempat dengan data terbaru dari server.

#### update[[huggingface_hub.InferenceEndpoint.update]]

```python
update(accelerator: str | None = None, instance_size: str | None = None, instance_type: str | None = None, min_replica: int | None = None, max_replica: int | None = None, scale_to_zero_timeout: int | None = None, repository: str | None = None, framework: str | None = None, revision: str | None = None, task: str | None = None, custom_image: dict | None = None, container_command: list[str] | None = None, container_args: list[str] | None = None, tensor_parallel_size: int | None = None, data_parallel_size: int | None = None, secrets: dict[str, str] | None = None)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L328)

**Parameter:**

accelerator (`str`, *opsional*) : Akselerator perangkat keras yang akan digunakan untuk inferensi (mis. `"cpu"`).

instance_size (`str`, *opsional*) : Ukuran atau tipe instance yang akan digunakan untuk hosting model (misalnya `"x4"`).

instance_type (`str`, *opsional*) : Jenis instance cloud tempat Inference Endpoint akan di-deploy (misalnya `"intel-icl"`).

min_replica (`int`, *opsional*) : Jumlah minimum replika (instans) yang harus tetap berjalan untuk Inference Endpoint.

max_replica (`int`, *opsional*) : Jumlah maksimum replika (instans) untuk diskalakan pada Inference Endpoint.

scale_to_zero_timeout (`int`, *opsional*) : Durasi dalam menit sebelum endpoint yang tidak aktif diskalakan menjadi nol.

repository (`str`, *opsional*) : Nama repositori model yang terkait dengan Inference Endpoint (misalnya `"gpt2"`).

framework (`str`, *opsional*) : Kerangka kerja machine learning yang digunakan untuk model (mis. `"custom"`).

revision (`str`, *opsional*) : Revisi model spesifik yang akan di-deploy pada Inference Endpoint (misalnya `"6c0e6080953db56375760c0471a8c5f2929baf11"`).

task (`str`, *opsional*) : Tugas di mana model akan di-deploy (misalnya `"text-classification"`).

custom_image (`dict`, *opsional*) : Citra kontainer yang akan dijalankan. Bisa berupa dict yang dikunci berdasarkan varian citra (mis. `{"vLLM": {"url": "vllm/vllm-openai:v0.23.0", "port": 8000}}`, juga `sGLang`, `tgi`, `tei`, `llamacpp`, `hfServe`, ...), yang diteruskan apa adanya, atau dict datar yang menggambarkan kontainer kustom (mis. `{"url": ..., "port": ...}`), yang dikirim sebagai `{"custom": ...}`.

container_command (`list[str]`, *opsional*) : Menimpa perintah entrypoint kontainer (dipetakan ke `model.command` dalam payload API). Berfungsi dengan gambar mesin yang dikelola (misalnya vLLM, SGLang) maupun gambar kustom.

container_args (`list[str]`, *opsional*) : Argumen yang ditambahkan ke entrypoint kontainer (dipetakan ke `model.args` dalam payload API). Berfungsi dengan gambar mesin yang dikelola (mis. vLLM, SGLang) maupun gambar kustom.

tensor_parallel_size (`int`, *opsional*) : Jumlah akselerator untuk membagi satu salinan model (gambar vLLM dan SGLang). Ketika `custom_image` tidak diberikan, gambar yang saat ini dikonfigurasi pada endpoint akan diambil dan diperbarui di tempatnya, karena API membutuhkan `model.image` secara utuh.

data_parallel_size (`int`, *opsional*) : Jumlah salinan model yang dijalankan, satu per akselerator (citra vLLM).

secrets (`dict[str, str]`, *opsional*) : Nilai rahasia untuk disuntikkan ke lingkungan container.

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

Perbarui Inference Endpoint.

Metode ini memungkinkan pembaruan konfigurasi komputasi, model yang di-deploy, atau keduanya. Semua argumen bersifat opsional, tetapi setidaknya satu harus disediakan.

Ini adalah alias untuk [HfApi.update_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.update_inference_endpoint). Objek saat ini dimutasi di tempat dengan data terbaru dari server.

#### tunggu[[huggingface_hub.InferenceEndpoint.wait]]

```python
wait(timeout: int | None = None, refresh_every: int = 5)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L264)

**Parameter:**

timeout (`int`, *opsional*) : Waktu maksimum untuk menunggu Inference Endpoint hingga selesai di-deploy, dalam detik. Jika `None`, akan menunggu tanpa batas waktu.

refresh_every (`int`, *opsional*) : Waktu tunggu antara setiap pengambilan status Inference Endpoint, dalam detik. Bawaan 5 detik.

**Mengembalikan:** [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

Inference Endpoint yang sama, dimutasi di tempatnya dengan data terbaru.

**Mengangkat:** [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) atau `InferenceEndpointTimeoutError`

- [InferenceEndpointError](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- Jika Inference Endpoint berakhir dalam keadaan gagal.
- `InferenceEndpointTimeoutError` -- Jika Inference Endpoint tidak berhasil di-deploy setelah `timeout` detik.

Tunggu hingga Inference Endpoint selesai di-deploy.

Informasi dari server akan diambil setiap 1 detik. Jika Inference Endpoint tidak terdeploy setelah `timeout` detik, sebuah `InferenceEndpointTimeoutError` akan dilempar. [InferenceEndpoint](/docs/huggingface_hub/main/id/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint) akan dimutasi di tempatnya dengan data terbaru.

## InferenceEndpointHardware[[huggingface_hub.InferenceEndpointHardware]]

#### huggingface_hub.InferenceEndpointHardware[[huggingface_hub.InferenceEndpointHardware]]

```python
huggingface_hub.InferenceEndpointHardware(id: str, vendor: str, region: str, accelerator: str, instance_type: str, instance_size: str, architecture: str, num_accelerators: int, num_cpus: int | None, memory_gb: float, gpu_memory_gb: int | None, price_per_hour: float, status: str, max_accelerators: int, used_accelerators: int)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L519)

**Parameter:**

id (`str`) : Pengenal perangkat keras unik, mis. `"aws-us-east-1-nvidia-l4-x1"`.

vendor (`str`) : Penyedia cloud yang menghosting perangkat keras, misalnya `"aws"`.

region (`str`) : Wilayah cloud tempat perangkat keras tersedia, misalnya `"us-east-1"`.

accelerator (`str`) : Jenis akselerator perangkat keras, misalnya `"cpu"`, `"gpu"` atau `"neuron"`.

instance_type (`str`) : Tipe instans cloud, misalnya `"nvidia-l4"`.

instance_size (`str`) : Pengali ukuran instance, misalnya `"x1"`.

architecture (`str`) : Deskripsi perangkat keras yang dapat dibaca manusia, misalnya `"Nvidia L4"`.

num_accelerators (`int`) : Jumlah unit akselerator per replika.

num_cpus (`int`, *opsional*) : Jumlah vCPU per replika.

memory_gb (`float`) : RAM per replika, dalam GB.

gpu_memory_gb (`int`, *opsional*) : Total memori GPU per replika, dalam GB (yaitu dijumlahkan di seluruh `num_accelerators`). `None` untuk perangkat keras non-GPU.

price_per_hour (`float`) : Biaya per replika per jam, dalam USD.

status (`str`) : Ketersediaan perangkat keras: `"available"`, `"low_availability"`, `"not_available"`, `"reserved"` atau `"deprecated"`.

max_accelerators (`int`) : Jumlah maksimum akselerator dari tipe ini yang diizinkan untuk dijalankan oleh namespace.

used_accelerators (`int`) : Jumlah akselerator dari tipe ini yang saat ini digunakan oleh namespace.

Berisi informasi tentang konfigurasi perangkat keras yang tersedia untuk Inference Endpoints.

Bidang `vendor`, `region`, `accelerator`, `instance_type`, dan `instance_size` adalah nilai yang tepat untuk diteruskan ke [create_inference_endpoint()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint) (atau `hf endpoints deploy`) untuk melakukan deployment pada perangkat keras ini.

Contoh:
```python
>>> from huggingface_hub import list_inference_endpoints_hardware
>>> hardware = list_inference_endpoints_hardware()
>>> hardware[0]
InferenceEndpointHardware(id='aws-us-east-1-nvidia-l4-x1', vendor='aws', region='us-east-1', ...)
```

#### from_raw[[huggingface_hub.InferenceEndpointHardware.from_raw]]

```python
from_raw(raw: dict, vendor: str, region: str)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L584)

Inisialisasi objek dari kamus komputasi mentah, yang bersarang di bawah vendor dan region dalam respons API.

## InferenceCatalogModel[[huggingface_hub.InferenceCatalogModel]]

#### huggingface_hub.InferenceCatalogModel[[huggingface_hub.InferenceCatalogModel]]

```python
huggingface_hub.InferenceCatalogModel(repo_id: str, name: str, author: str, license: str, task: str, created_at: datetime, recipes: list)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L647)

**Parameter:**

repo_id (`str`) : id dari repositori model di Hub, misalnya `"meta-llama/Llama-3.1-8B-Instruct"`.

name (`str`) : Nama model, yaitu bagian dari `repo_id` setelah nama penulis, misalnya `"Llama-3.1-8B-Instruct"`.

author (`str`) : Penulis dari repositori model, misalnya `"meta-llama"`.

license (`str`) : Lisensi model, misalnya `"Apache 2.0"`.

task (`str`) : Tugas tempat model di-deploy, misalnya `"text-generation"`.

created_at (`datetime`) : Tanggal model ditambahkan ke katalog.

recipes (`list[InferenceCatalogRecipe]`) : Cara-cara yang telah diuji untuk mendeploy model ini.

Berisi informasi tentang model yang tersedia di Inference Catalog.

Contoh:
```python
>>> from huggingface_hub import list_inference_catalog
>>> catalog = list_inference_catalog(engine="vllm")
>>> catalog[0]
InferenceCatalogModel(repo_id='Qwen/Qwen2.5-Coder-7B-Instruct', name='Qwen2.5-Coder-7B-Instruct', ...)
```

#### from_raw[[huggingface_hub.InferenceCatalogModel.from_raw]]

```python
from_raw(raw: dict)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L684)

Inisialisasi objek dari kamus item katalog mentah.

## InferenceCatalogRecipe[[huggingface_hub.InferenceCatalogRecipe]]

#### huggingface_hub.InferenceCatalogRecipe[[huggingface_hub.InferenceCatalogRecipe]]

```python
huggingface_hub.InferenceCatalogRecipe(id: str, accelerator: str, engine: str, gguf_file: str | None, revision: str | None)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L608)

**Parameter:**

id (`str`) : id resep publik, untuk diteruskan ke [create_inference_endpoint_from_catalog()](/docs/huggingface_hub/main/id/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint_from_catalog) sebagai `recipe_id`.

accelerator (`str`) : Jenis akselerator perangkat keras tempat resep dijalankan, misalnya `"cpu"`, `"gpu"` atau `"neuron"`.

engine (`str`) : Mesin inferensi yang dijalankan oleh resep, misalnya `"vllm"`, `"llamacpp"`, `"tei"` atau `"sglang"`.

gguf_file (`str`, *opsional*) : File GGUF yang di-deploy oleh resep. Hanya diset untuk resep `"llamacpp"`.

revision (`str`, *opsional*) : Revisi model yang direferensikan oleh resep, jika ada.

Berisi informasi tentang cara yang telah diuji sebelumnya untuk mendeploy model dari Inference Catalog.

Resep adalah kombinasi perangkat keras dan mesin yang telah diuji oleh tim Inference Endpoints untuk model tertentu. Sebuah model biasanya memiliki satu resep, tetapi dapat memiliki beberapa (misalnya satu untuk GPU dan satu untuk Neuron, atau satu untuk setiap kuantisasi GGUF).

#### from_raw[[huggingface_hub.InferenceCatalogRecipe.from_raw]]

```python
from_raw(raw: dict)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L634)

Inisialisasi objek dari kamus resep mentah, yang bersarang di bawah model dalam respons API.

## InferenceEndpointStatus[[huggingface_hub.InferenceEndpointStatus]]

#### huggingface_hub.InferenceEndpointStatus[[huggingface_hub.InferenceEndpointStatus]]

```python
huggingface_hub.InferenceEndpointStatus(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L93)

Sebuah enumerasi.

## InferenceEndpointType[[huggingface_hub.InferenceEndpointType]]

#### huggingface_hub.InferenceEndpointType[[huggingface_hub.InferenceEndpointType]]

```python
huggingface_hub.InferenceEndpointType(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/_inference_endpoints.py#L104)

Sebuah enumerasi.

## InferenceEndpointError[[huggingface_hub.InferenceEndpointError]]

#### huggingface_hub.InferenceEndpointError[[huggingface_hub.InferenceEndpointError]]

[Sumber](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/errors.py#L162)

Pengecualian umum saat berurusan dengan Inference Endpoints.