argo11/app-classification-data

argo11/app-classification-data

概要

ネットワーク flow から application / protocol を分類するための tabular dataset です。raw CSV、interim Parquet、processed Parquet が含まれ、87 attributes 系と 141 applications 系の 2 系統を管理しています。

確認した内容

• —raw files:
• —data/raw/Dataset-Unicauca-Version2-87Atts.csv
• —data/raw/Unicauca-dataset-April-June-2019-Network-flows.csv
• —processed files:
• —data/processed/87apps_processed.parquet: 3,577,296 行
• —data/processed/141apps_processed.parquet: 2,704,839 行
• —87apps 系の主な列: Flow.ID, Source.IP, Source.Port, Destination.IP, Destination.Port, Protocol, Flow.Duration, CICFlowMeter 由来の packet / IAT / flag 統計, Label, L7Protocol, ProtocolName
• —141apps 系の主な列: src_ip_numeric, src_port, dst_port, proto, packet / octet / inter-arrival 統計, category, application_protocol, target

外部根拠

Dataset-Unicauca-Version2-87Atts.csv は Universidad del Cauca / Juan Sebastián Rojas による IP network traffic flow dataset として広く参照され、CICFlowMeter で抽出した flow 統計と L7Protocol / ProtocolName を含む application classification dataset と説明されています。

推定した内容

• —141apps_processed.parquet は Kaggle 等で公開されている “Labeled Network Traffic flows - 141 Applications” 系データを加工したものと推定しています。
• —87apps_processed.parquet は Unicauca 87 attributes dataset を、学習しやすい特徴量と target に変換したものと推定しています。

想定用途

• —LightGBM や FT-Transformer などの tabular classifier の学習
• —application protocol classification の比較実験
• —raw / processed の差分確認、特徴量エンジニアリング検証

制限

• —raw CSV は大容量で、個人・組織ネットワーク固有の分布を含む可能性があります。
• —label には表記揺れや極小クラスが存在するため、学習時は class filtering や label normalization が必要です。
• —元データのライセンス・利用条件は upstream に従ってください。

関連 model

• —argo11/app-classification-lgbm-141apps
• —argo11/app-classification-lgbm-87apps
• —argo11/app-classification-ft-141apps
• —argo11/app-classification-ft-87apps