Tamamlamanın doğru cevabı (ground truth) ile eşleşip eşleşmediğini kontrol eden ödül fonksiyonu.

• Hem gold hem de prediction ayrıştırılabilirse → matematik doğrulaması kullanın.
• Eğer gold ayrıştırılamıyorsa → örneği atlamak için None döndürün.

>>> from trl.rewards import accuracy_reward

>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{3}}"}],
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{2}}"}],
... ]
>>> accuracy_reward(completions, solutions)
[1.0, 0.0]

Mantıksal içeriği kaldırıp nihai cevabın doğru cevapla eşleşip eşleşmediğini kontrol eden ödül fonksiyonu.

• Hem gold hem de prediction ayrıştırılabilirse → matematik doğrulaması kullanın.
• Eğer gold ayrıştırılamıyorsa → örneği atlamak için None döndürün.

>>> from trl.rewards import reasoning_accuracy_reward

>>> reasoning_delimiters = ["</think>"]
>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{3}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{2}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content with partial answers \boxed{\frac{1}{3}} but no final answer",
...         }
...     ],
... ]
>>> reasoning_accuracy_reward(completions, solutions, reasoning_delimiters=reasoning_delimiters)
[1.0, 0.0, 0.0]

Tamamlama uzunluğuna göre bir kosinüs zaman çizelgesi izleyerek doğruluk ödülünü ölçekleyen ve böylece öz çıkarımları tercih eden ödül fonksiyonu. Referans: “Demystifying Long Chain-of-Thought Reasoning” makalesinin C.1 ekinde (https://huggingface.co/papers/2502.03373).

Doğruluk, matematik doğrulamasıyla belirlenir (bkz. accuracy_reward()), ve uzunluk, tamamlama jetonlarının sayısıdır. Ödül, kısa tamamlama ve uzun tamamlama sınırları arasında bir kosinüs zaman çizelgesi boyunca iç poligonlama yapar: $$R_{\text{cosine}}(y) = v_{\min} + \frac{1}{2}(v_{\max} - v_{\min})\left(1 + \cos\left(\frac{|y|}{L_{\max}}\pi\right)\right)$$

Doğru bir tamamlama için $(v{\min}, v{\max}) = (\texttt{min_value_correct}, \texttt{max_value_correct})$ olduğundan, daha kısa tamamlamalar daha fazla ödüllendirilir. Yanlış bir tamamlama için sınırlar değiştirilerek $(v{\min}, v{\max}) = (\texttt{max_value_wrong}, \texttt{min_value_wrong})$ yapılır, böylece daha kısa tamamlamalar daha fazla cezalandırılır (daha uzun yanlış tamamlamalar daha az cezalandırılır, bu da keşfi korur). Altın çözüm ayrıştırılamıyorsa, örnek atlanır (ödül None), tıpkı accuracy_reward() içindeki gibi.

>>> from trl.rewards import get_cosine_scaled_reward

>>> cosine_scaled_reward = get_cosine_scaled_reward(max_len=100)
>>> completions = [[{"content": r"\boxed{\frac{1}{3}}"}], [{"content": r"\boxed{\frac{1}{2}}"}]]
>>> solution = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completion_ids = [[1] * 50, [1] * 50]  # both completions are 50 tokens, half of max_len
>>> cosine_scaled_reward(completions, solution, completion_ids)
[0.75, -0.75]

"<think>" ve "</think>" etiketleri arasında sarmalanmış akıl yürütme sürecini kontrol eden ödül fonksiyonu. Format doğruysa fonksiyon 1.0 ödülü döndürür, aksi halde 0.0 döndürür.

>>> from trl.rewards import think_format_reward

>>> completions = [
...     [{"content": "<think>\nThis is my reasoning.\n</think>\nThis is my answer."}],
...     [{"content": "<think>\nThis is my reasoning.\nThis is my answer."}],
... ]
>>> think_format_reward(completions)
[1.0, 0.0]

Tamamlamada tekrarlanan n-gram'ları cezalandıran ödül fonksiyonu; bozulmuş, tekrarlayan metni caydırmak için kullanılır (uzunluk veya biçim şekillendirme ödülleri kullanıldığında yaygın bir başarısızlık modu ve ödül istismarı stratejisidir). Kaynak: “Demystifying Long Chain-of-Thought Reasoning” makalesinin C.2 ekinde (https://huggingface.co/papers/2502.03373).

Ceza, tamamlamada tekrarlanan n-gramların oranıyla orantılıdır: $$R_{\text{repetition}}(y) = \left(1 - \frac{\#\,\text{unique } n\text{-grams}}{\#\,\text{total } n\text{-grams}}\right) \times p$$

burada $p$ şudur max_penalty. Tekrarlanan n-gram içermeyen bir tamamlama 0.0, ödülü alırken, tamamen tekrarlayan bir tamamlama max_penalty. değrine yaklaşır. N-gramlar, tamamlama jeton kimlikleri üzerinden hesaplanır (makale, cezanın tekrarlanan jetonlara uygulandığını belirtir), bu nedenle ödül, tokenizer tarafından tanımlanır ve dil bağımsızdır. Sayısı ngram_size jetondan az olan tamamlamalar 0.0.

>>> from trl.rewards import get_repetition_penalty_reward

>>> repetition_penalty = get_repetition_penalty_reward(ngram_size=2, max_penalty=-1.0)
>>> completion_ids = [[1, 2, 3, 4], [5, 5, 5, 5, 5]]
>>> repetition_penalty(completion_ids)
[0.0, -0.75]

Aşırı uzun tamamlamaları cezalandıran ödül fonksiyonu. Aşırı uzun tamamlamaları cezalandırmak için kullanılır, ancak daha kısa tamamlamaları ödüllendirmek için kullanılmaz. Kaynak: DAPO makalesindeki Denklem (13) (https://huggingface.co/papers/2503.14476) $$R_{\text{length}}(y) = \begin{cases} 0, & |y| \le L_{\max} - L_{\text{cache}} \\ \dfrac{(L_{\max} - L_{\text{cache}}) - |y|}{L_{\text{cache}}}, & L_{\max} - L_{\text{cache}} < |y| \le L_{\max} \\ -1, & L_{\max} < |y| \end{cases}$$

>>> from trl.rewards import get_soft_overlong_punishment

>>> soft_overlong_punishment = get_soft_overlong_punishment(max_completion_len=100, soft_punish_cache=20)
>>> completion_ids = [[1] * 90]  # simulating a completion with 90 tokens. 90 is between 80 and 100.
>>> soft_overlong_punishment(completion_ids)
>>> [-0.5]