自闭症谱系障碍和亚斯伯格综合征问答数据集1.0

数据集获取（Figshare）

• 源站标题：Autism Spectrum Disorder and Asperger Syndrome Question Answering Dataset 1.0
• DOI：10.6084/m9.figshare.13295831.v19
• 发布日期：2022-07-04
• 文件数：6 个
• 文件总体积：5.96 MB
• 源站页面：https://figshare.com/articles/dataset/Autism_Spectrum_DIsorder_and_Asperger_Syndrome_Question_Answering_Dataset_1_0/13295831

命令行下载

curl -L -o "original.json" "https://ndownloader.figshare.com/files/36138900"
curl -L -o "half_sized.json" "https://ndownloader.figshare.com/files/30938587"
curl -L -o "multilple.json" "https://ndownloader.figshare.com/files/30938590"
curl -L -o "no_impossible.json" "https://ndownloader.figshare.com/files/30938593"
curl -L -o "short.json" "https://ndownloader.figshare.com/files/30938599"
curl -L -o "age_dataset.tsv" "https://ndownloader.figshare.com/files/36147066"

文件清单

• original.json（2.91 MB）
• half_sized.json（390.23 KB）
• multilple.json（785.04 KB）
• no_impossible.json（818.79 KB）
• short.json（739.48 KB）
• age_dataset.tsv（314.25 KB）

文件总体积 5.96 MB（源站 API 实测）。

数据加载示例（图像类）

from PIL import Image
import glob, os

files = (glob.glob(os.path.join(path, "**", "*.png"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.jpg"), recursive=True)
       + glob.glob(os.path.join(path, "**", "*.tif"), recursive=True))
print("图像文件数:", len(files))
img = Image.open(files[0]); print("尺寸/模式:", img.size, img.mode)

# torchvision Dataset 方式:
# from torchvision import datasets
# ds = datasets.ImageFolder(path)  # 要求 子目录=类别

目录组织与标注格式以源站说明和下载后实际文件为准。

数据说明

RUS
Последнее обновление: 13/09/2023
Набор данных предназначен для разработки русскоязычных диалоговых систем (чат-ботов, вопросно-ответных систем и т. д.) о расстройствах аутистического спектра. Источник текстов: https://aspergers.ru
Проект реализуется победителем конкурса «Практики личной филантропии и альтруизма» Благотворительного фонда Владимира Потанина.
75% данных собраны с помощью платформы Toloka.
Состав набора данных:

1. original.json: оригинальная версия датасета
2. multiple.json: версия датасета с несколькими вариантами ответа
3. short.json: версия датасета с укороченными ответами
4. half_sized.json: версия датасета содержит 50% собранных данных
5. no_impossible.json: версия содержит только релевантные вопросы
6. age_dataset.tsv: набор данных для определения возраста пользователя (можно использовать для кастомизации моделей)
   ENG
   A dataset for question-answering used for building an informational Russian language chatbot for the inclusion of people with autism spectrum disorder and Asperger syndrome in particular, based on data from the following website: https://aspergers.ru.
   The detailed dataset statistics:
   Parameter
   Description
   The number of QA pairs
   4,138
   The number of irrelevant questions
   352
   The average question length
   53 symbols / 8 words
   The average answer length
   141 symbols / 20 words
   The average reading paragraph length
   453 symbols / 63 words
   Max question length
   226 symbols / 32 words
   Max answer length
   555 symbols / 85 words
   Max reading paragraph length
   551 symbols / 94 words
   Min question length
   9 symbols / 2 words
   Min answer length
   5 symbols / 1 words
   Min reading paragraph length
   144 symbols / 17 words
   The dataset has several versions:
7. Original version
8. Half-sized version (50% of the original data)
9. No impossible version (a version without irrelevant/impossible questions)
10. Short version (a version with shorterned answers)
11. Multiple version (a version with several answers, all the other versions contain only one answer to each question)

许可

MIT

引用

学术使用请引用 DOI 10.6084/m9.figshare.13295831.v19（source: https://figshare.com/articles/dataset/Autism_Spectrum_DIsorder_and_Asperger_Syndrome_Question_Answering_Dataset_1_0/13295831）。