Shaer-AI/ashaar-with-enhanced-descriptions-baseform-final-sft-lte20-min500

Ashaar Final SFT Dataset with Enhanced Descriptions

This dataset is derived from Shaer-AI/ashaar-with-descriptions-baseform-final-trimmed and is intended to be the final SFT-ready dataset we continue working with.

We got here the hard way. GRPO did not deliver a convincing improvement. Continuation SFT degraded. A fresh-from-zero SFT direction still exposed a deeper data problem. After inspecting the conditioning text, we concluded that many of the old descriptions were weak or noisy enough to hurt the prompt quality, so this dataset regenerates them into a new enhanced_description field and rebuilds the SFT prompt from that improved field.

Source Lineage

• —Source dataset: Shaer-AI/ashaar-with-descriptions-baseform-final-trimmed
• —Final dataset repo: Shaer-AI/ashaar-with-enhanced-descriptions-baseform-final-sft-lte20-min500
• —Description prompt version: pure_description_v8_poem_only_antidrift
• —Final SFT prompt version: final_sft_meter_emphasis_v2_num_lines

Filtering

• —requested_bayts = len(poem verses) // 2
• —keep only rows with valid even-length poem verses
• —keep only rows with requested_bayts <= 20
• —drop base meters with post-filter support < 500
• —dropped meters: المتدارك

Counts

• —Source rows: 129610
• —After valid-row filtering: 127722
• —After <= 20 bayts filtering: 116167
• —Final staged rows before regeneration: 116032
• —Regenerated rows merged successfully: 116032
• —Removed by final token cap (> 2048): 0
• —Final published rows: 116032

Description Regeneration Prompt Sent to Qwen

SYSTEM_PROMPT

أنت تكتب وصفًا عربيًا لقصيدة.

المطلوب:
اكتب وصفًا عربيًا واحدًا يكون وصفًا فقط، لا طلبًا ولا أمرًا ولا قائمة تعليمات.

الهدف:
نريد وصفًا يلتقط أفكار القصيدة ومعناها وصورها ونبرتها العامة، من غير نسخ، ومن غير اختراع معانٍ غير موجودة.

أخرج النتيجة في JSON فقط بالشكل:
{"new_description":"..."}

القواعد:
- ابدأ الوصف بـ "القصيدة تتحدث عن..."
- حافظ على المعنى الموجود في الأبيات فقط.
- اذكر الفكرة الأساسية وبعض الصور أو العناصر الملموسة المهمة إذا كانت مفيدة.
- قد تحتاج أحيانًا إلى قدر يسير من الفهم أو التحليل لتكتب وصفًا جيدًا، لكن لا تتوسع في ذلك أكثر مما يحتمله النص.
- إذا كان النص يحتمل أكثر من فهم، فالتزم بالمعنى الأقرب إلى ظاهر الأبيات ولا تحسم تأويلًا زائدًا.
- لا تحوّل الصور أو الألفاظ المتفرقة إلى قصة كاملة أو مشهد متماسك ما لم يكن ذلك ظاهرًا في النص.
- لا تستنتج نية نفسية أو حكمًا أخلاقيًا أو خلفية تاريخية إلا إذا كانت ظاهرة بوضوح في الأبيات.
- إذا كان النص قصيرًا أو يقوم على صورة واحدة أو موقف واحد، فلا تبنِ عليه معنى أكبر من حجمه.
- إذا كان النص غريبًا أو خشنًا أو شديد الخصوصية، فاحتفظ بهذه الخصوصية ولا تهذبه إلى معنى عام مألوف.
- إذا كان النص غامضًا أو يحتمل أكثر من قراءة، فالتزم بالمعنى الأقرب إلى ظاهر الأبيات ولا تحسم تأويلًا زائدًا.
- لا تخترع مشاهد أو دوافع أو علاقات سببية غير ظاهرة.
- لا تجعل الوصف شرحًا بيتًا بيتًا.
- في النصوص القصيرة أو الغريبة، صف ما يظهر في النص أكثر مما تفسره.
- اجعل الوصف موجزًا نسبيًا، وخاصة في النصوص القصيرة، ويفضل غالبًا أن يكون جملة واحدة أو جملتين قصيرتين.
- لا تذكر البحر أو القافية أو عدد الأبيات.
- لا تستخدم صيغ الطلب أو الأمر مثل: أريد، أكتب، اذكر، ركز، اجعل، يجب أن.
- لا تستبدل الغريب أو الخاص في النص بتعبير عام باهت.
- اكتب فقرة واحدة طبيعية مكتملة.

USERPROMPTTEMPLATE

الأبيات:
{poem_shatr_1}
{poem_shatr_2}

اكتب وصفًا واحدًا يلتقط أفكار القصيدة ومعناها وصورها ونبرتها العامة.

Final SFT Prompt Contract

SYSTEM_PROMPT

أنت شاعر عربي تكتب الشعر العمودي الكلاسيكي.
التزم بالبحر المحدد في كل شطر، واستلهم من الموضوع دون نقله حرفياً.
أخرج الأبيات فقط دون مقدمة أو تعليق.
التزم التزاماً صارماً بالبحر المطلوب، ولا تخرج عنه.

USER_TEMPLATE

البحر الأساسي: {base_meter}
الصيغة: {form}
عدد الأشطر المطلوب: {num_lines}
الموضوع: {description}

اكتب {num_lines} أشطارًا ملتزمة بصيغة {form} من بحر {base_meter} دون أي شرح إضافي.

Columns

• —original source columns are preserved
• —description is preserved as the old field
• —enhanced_description is the regenerated field
• —sft_prompt is rebuilt from enhanced_description
• —sft_completion, sft_full_text, sft_num_lines, and sft_total_tokens are rebuilt from the new prompt contract

Notes

• —This repo keeps the old description for comparison, but the rebuilt training prompt uses enhanced_description.
• —The purpose of the stronger prompt contract is to make the generation structure respond more strongly to the required meter, not merely mention it once as metadata.

Tatweel Normalization

This dataset version preserves edge tatweel in poem verses when it appears at the start or end of a shatr, and removes tatweel everywhere else.

• —Rows processed: 116032
• —Rows with poem tatweel before cleanup: 66361
• —Rows with poem tatweel after cleanup: 514
• —Rows with internal poem tatweel before cleanup: 65965
• —Rows with internal poem tatweel after cleanup: 0
• —Rows with edge poem tatweel preserved after cleanup: 514
• —Rows with enhanced_description tatweel after cleanup: 0
• —Rows with description tatweel after cleanup: 0
• —Validation failures: 0

License and data provenance

Mixed licensing (`other`).

• —The separable Shaer-authored additions to this release?including enhanced_description and the derived annotations/metadata?are available under Apache-2.0.
• —The underlying Ashaar poem text is not relicensed by this release. It remains governed by Ashaar's applicable non-commercial/research-use restrictions.

Use of a row that includes poem text must comply with the Ashaar restrictions in addition to Apache-2.0 terms that apply to the separable Shaer additions. The dataset-level other tag is intentional: no single Apache-2.0 label can cover both components.