2024-03-06 レンセラー工科大学 (RPI)
◆ニューヨーク州立レンセリア工科大学のドリット・ネヴォ教授らの最近の研究では、これらの検出ツールが犯す誤りを探求しました。彼らは、モデルのトレーニングと設計に起因する偏見や一般化の課題、そしてニュースコンテンツの予測不能性が挑戦であると結論づけました。これらの課題には倫理的な懸念も伴います。
◆研究チームは、2021年の1か月間に14万のニュース記事を分析し、自動コンテンツモデレーションから生じる問題を検討しました。彼らは、グラウンドトゥルースを選択する人物が重要であり、自動化のためのタスクを操作することが偏見を助長する可能性があると結論づけました。また、適用コンテキストを無視することや簡略化することは、研究の妥当性を低下させる可能性がある。
＜関連情報＞
- https://news.rpi.edu/2024/03/06/automated-fake-news-detection-simple-solution-may-not-be-feasible
- https://www.tandfonline.com/doi/full/10.1080/0144929X.2023.2285949
フェイクニュースの自動検出における倫理的・安全的配慮 Ethical and safety considerations in automated fake news detection
Benjamin D. Horne,Dorit Nevo & Susan L. Smith
Behaviour Information Technology Published:04 Dec 2023
DOI:https://doi.org/10.1080/0144929X.2023.2285949
ABSTRACT
This paper highlights ethical issues in automated fake news detection and calls for caution when deploying tools to automatically detect mis/disinformation in real-life settings. We argue that the potential harm to information consumers caused by an automated tool making a mistake requires us to better understand the mistakes that can be made. We implement three proposed detection models from the literature that were trained on over 381,000 news articles published over six months. We test each of these models using a test dataset constructed from over 140,000 news articles published a month after each model’s training data. Articles in the test dataset could come from any outlet, no matter if that outlet was labelled during training or never used during training. We used these data to explore and understand two specific problems with algorithmic fake news detection, namely Bias and Generalisability. These problems arise from the models’ training, design, and the inherent unpredictability of news content. Based on our analysis, we discuss the importance of understanding how ground truth is determined, how operationalisation may perpetuate bias, and how the simplification of models may impact the validity of predictions. We offer avenues for future research.
