THULab/time_series_agent_evals

timeseriesagent_evals (TsFile)

Apache TsFile version of `RockfishData/TimeSeriesAgentEvals`.

• —Converted rows: 103,255
• —Data files: ['cell_site_data_1.tsfile', 'cell_site_data_2.tsfile', 'cell_site_data_3.tsfile', 'cell_site_data_4.tsfile', 'cell_site_data_5.tsfile', 'cell_site_data_6.tsfile', 'cell_site_data_7.tsfile', 'cell_site_data_8.tsfile', 'cell_site_data_9.tsfile', 'cell_site_with_inc_data_1.tsfile', 'cell_site_with_inc_data_2.tsfile', 'cell_site_with_inc_data_3.tsfile', 'cell_site_with_inc_data_4.tsfile', 'cell_site_with_inc_data_5.tsfile', 'cell_site_with_inc_data_6.tsfile', 'cell_site_with_inc_data_7.tsfile', 'cell_site_with_inc_data_8.tsfile', 'cell_site_with_inc_data_9.tsfile', 'core_node_data_1.tsfile', 'core_node_data_2.tsfile', 'core_node_data_3.tsfile', 'core_node_data_4.tsfile', 'core_node_data_5.tsfile', 'core_node_data_6.tsfile', 'core_node_data_7.tsfile', 'core_node_data_8.tsfile', 'core_node_with_inc_data_1.tsfile', 'core_node_with_inc_data_2.tsfile', 'core_node_with_inc_data_3.tsfile', 'core_node_with_inc_data_4.tsfile', 'core_node_with_inc_data_5.tsfile', 'core_node_with_inc_data_6.tsfile', 'core_node_with_inc_data_7.tsfile', 'core_node_with_inc_data_8.tsfile', 'ecommerce_sessions_data_1.tsfile', 'ecommerce_sessions_data_2.tsfile', 'ecommerce_sessions_data_3.tsfile', 'ecommerce_sessions_data_4.tsfile', 'ecommerce_sessions_data_5.tsfile', 'ecommerce_sessions_data_6.tsfile', 'ecommerce_sessions_data_7.tsfile', 'ecommerce_sessions_data_8.tsfile', 'ecommerce_sessions_data_9.tsfile', 'ecommerce_users_data_1.tsfile', 'ecommerce_users_data_2.tsfile', 'ecommerce_users_data_3.tsfile', 'ecommerce_users_data_4.tsfile', 'ecommerce_users_data_5.tsfile', 'ecommerce_users_data_6.tsfile', 'ecommerce_users_data_7.tsfile', 'ecommerce_users_data_8.tsfile', 'ecommerce_users_data_9.tsfile', 'iot_device_data_1.tsfile', 'iot_device_data_2.tsfile', 'iot_device_data_3.tsfile', 'iot_device_data_4.tsfile', 'iot_device_data_5.tsfile', 'iot_device_data_6.tsfile', 'iot_device_data_7.tsfile', 'iot_device_data_8.tsfile', 'iot_device_data_9.tsfile', 'transport_link_data_1.tsfile', 'transport_link_data_2.tsfile', 'transport_link_data_3.tsfile', 'transport_link_data_4.tsfile', 'transport_link_data_5.tsfile', 'transport_link_data_6.tsfile', 'transport_link_data_7.tsfile', 'transport_link_data_8.tsfile', 'transport_link_data_9.tsfile', 'transport_link_with_inc_data_1.tsfile', 'transport_link_with_inc_data_2.tsfile', 'transport_link_with_inc_data_3.tsfile', 'transport_link_with_inc_data_4.tsfile', 'transport_link_with_inc_data_5.tsfile', 'transport_link_with_inc_data_6.tsfile', 'transport_link_with_inc_data_7.tsfile', 'transport_link_with_inc_data_8.tsfile', 'transport_link_with_inc_data_9.tsfile']

Converted tables are the nine datasets/*.csv series files. The queries/*.csv evaluation query templates are not converted.

Usage

Install the Apache TsFile Python SDK (pip install tsfile) and read a converted file:

from pathlib import Path
from tsfile import TsFileReader

path = Path("cell_site_data_1.tsfile")
with TsFileReader(str(path)) as reader:
    schemas = reader.get_all_table_schemas()
    print("tables:", list(schemas))
    table_name = next(iter(schemas))
    table = schemas[table_name]
    columns = [column.get_column_name() for column in table.get_columns()]
    print("columns:", columns)
    field_names = [
        column.get_column_name()
        for column in table.get_columns()
        if column.get_column_name() not in {"Time", "time"}
    ]
    if field_names:
        with reader.query_table(table_name, field_names[:3], batch_size=1024) as result:
            batch = result.read_arrow_batch()
            if batch is not None:
                print(batch.to_pandas().head())

Source & license

• —Original dataset: https://huggingface.co/datasets/RockfishData/TimeSeriesAgentEvals
• —Author / publisher: RockfishData
• —License: apache-2.0