为解决语言模型在回答问题时可能产生的“幻觉”问题，美国知名人工智能研究机构OpenAI近日开源了一款新基准——SimpleQA。
SimpleQA专注于评估模型在简短、事实性问题上的准确性，共包含4326个精心设计的问题。然而，它仅限于评估有确切答案的短查询。
OpenAI强调，虽然SimpleQA能有效衡量模型在短回答中的事实准确性，但其在处理长篇或多事实内容方面的表现仍需进一步探究。通过开源SimpleQA，OpenAI希望能推动AI研究的进步，提升语言模型的可靠性和信任度。
该基准的特点包括确保答案的正确性，问题的答案均经过两名独立AI训练师的严格验证；覆盖多元主题，从科技到娱乐，体现其广泛的适用性；以及对前沿模型的挑战性，如GPT-4等先进模型，在SimpleQA面前都将面临严峻的考验。
SimpleQA还注重用户体验，简洁明了的问题和答案设计使得用户能够轻松操作和评分。同时，借助OpenAI API等工具，用户可以快速评估模型的性能。
