2023-05-10 フィンランド・アールト大学
◆しかし、AIによって生成された回答は、本物の回答と区別がつかないため、人気のあるクラウドソーシングプラットフォームのデータには偽の回答が含まれている可能性があるため、注意が必要です。
◆クラウドソーシングプラットフォームを使用してデータを収集する場合、AIによるデータ生成の結果得られたデータを利用する場合、必ず本物のデータと比較し、確認することが重要です。
＜関連情報＞
- https://www.aalto.fi/en/news/chat-ais-can-role-play-humans-in-surveys-and-pilot-studies
- https://dl.acm.org/doi/10.1145/3544548.3580688
HCI研究用合成データ生成における大規模言語モデルの評価：ケーススタディ Evaluating Large Language Models in Generating Synthetic HCI Research Data: a Case Study
Perttu Hämäläinen,Mikke Tavast,Anton Kunnari
Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems Published:19 April 2023
DOI:https://doi.org/10.1145/3544548.3580688
ABSTRACT
Collecting data is one of the bottlenecks of Human-Computer Interaction (HCI) research. Motivated by this, we explore the potential of large language models (LLMs) in generating synthetic user research data. We use OpenAI’s GPT-3 model to generate open-ended questionnaire responses about experiencing video games as art, a topic not tractable with traditional computational user models. We test whether synthetic responses can be distinguished from real responses, analyze errors of synthetic data, and investigate content similarities between synthetic and real data. We conclude that GPT-3 can, in this context, yield believable accounts of HCI experiences. Given the low cost and high speed of LLM data generation, synthetic data should be useful in ideating and piloting new experiments, although any findings must obviously always be validated with real data. The results also raise concerns: if employed by malicious users of crowdsourcing services, LLMs may make crowdsourcing of self-report data fundamentally unreliable.
