NickIBrody/1c-enterprise-script-clean-corpus

1C Enterprise Script Clean Corpus

Кратко

Это датасет для обучения моделей работе с кодом на 1C:Enterprise Script.

В репозитории есть два независимых поднабора:

• —pretrain: чистый корпус реального кода для continued pretraining / domain adaptation
• —sft_strict: instruction/chat датасет для SFT, построенный поверх очищенного корпуса

Состав

• —pretrain/train.jsonl
• —pretrain/validation.jsonl
• —sft_strict/train.jsonl
• —sft_strict/validation.jsonl
• —manifests/repos.jsonl

Что внутри

1. Корпус для pretraining

Формат:

{"text":"<фрагмент кода 1С>"}

Это чистый текстовый корпус для дообучения языковой модели на синтаксисе и типовых конструкциях 1С.

2. Корпус для SFT

Формат:

{"messages":[{"role":"system","content":"..."},{"role":"user","content":"..."},{"role":"assistant","content":"..."}],"task_type":"complete_function"}

В sft_strict оставлены только более надёжные типы задач:

• —complete_function
• —name_function

Источники

Источник данных: публичные GitHub-репозитории с явной open-source лицензией.

В выборку включались только файлы:

• —.bsl
• —.os

Для каждого источника сохранялся манифест:

• —manifests/repos.jsonl

Политика лицензий

Этот датасет не является кодом под одной общей лицензией.

Он представляет собой компиляцию материалов из репозиториев с permissive-лицензиями. В исходной сборке использовались только репозитории с лицензиями:

• —Apache-2.0
• —BSD-3-Clause
• —MIT
• —MPL-2.0

Для каждого примера в исходном полном корпусе сохранялись метаданные источника: репозиторий, путь и лицензия.

Если вы используете этот датасет дальше, вы обязаны учитывать лицензию исходного репозитория, а не считать весь датасет автоматически MIT или любой другой единой лицензией.

Очистка и фильтрация

При сборке датасета применялись следующие фильтры:

• —исключение tests, examples, demo, docs, vendor, generated, fixtures, mocks
• —дедупликация одинаковых чанков
• —отсев слишком коротких и шумных фрагментов
• —фильтрация по плотности идентификаторов и наличию реальных кодовых конструкций

Ограничения

• —это не официальный корпус от фирмы 1С
• —датасет отражает стиль и практики открытых репозиториев, а не всю экосистему 1С
• —sft_strict построен автоматически из реального кода, а не размечен вручную экспертами
• —корпус может быть полезен для генерации и completion, но не гарантирует правильную бизнес-логику

Рекомендуемое использование

Для pretraining

Используйте конфиг pretrain.

Пример:

from datasets import load_dataset

ds = load_dataset("YOUR_NAME/YOUR_DATASET", "pretrain")

Для SFT

Используйте конфиг sft_strict.

Пример:

from datasets import load_dataset

ds = load_dataset("YOUR_NAME/YOUR_DATASET", "sft_strict")

Этические и практические замечания

• —перед коммерческим использованием стоит отдельно проверить совместимость лицензий с вашим сценарием
• —модель, обученная на этом корпусе, может наследовать ошибки и неидеальные паттерны из исходного кода
• —для production-использования желательно дополнительно валидировать ответы модели тестами и ревью

Статистика

На момент публикации:

• —pretrain: очищенный корпус на основе открытых репозиториев 1С
• —sft_strict: instruction-набор на базе задач дописывания и восстановления имени функции

Точные источники вынесены в manifests/repos.jsonl.