ChatGPTの心臓停止に関する問いへの回答精度

最新の研究により、ChatGPTが心臓停止に関する問いにどの程度正確に回答できるかが明らかになりました。この研究は、心臓停止を経験した患者、その家族、および一般人にとってのChatGPTの有用性と限界を探求しています。

研究方法と評価

• 研究手法: 40の心臓停止および心肺蘇生（CPR）に関連する質問が準備され、ChatGPTの回答が評価されました。
• 評価者: 14人の医療専門家と16人の一般人が、1（不十分）から5（優秀）のスケールでChatGPTの回答を評価しました。
• 評価基準: 回答の関連性、読みやすさ、内容、包括性、正確性が評価されました。

研究の結果

• 全体的な評価: 専門家と一般人の両方が、すべての質問に対して肯定的な評価（平均4.3±0.7）を与えました。一般人は専門家よりも高いスコア（4.6±0.7対4.0±0.5; P = .02）を付けました。
• 回答の品質: 回答の明確さ（4.4±0.6）、関連性（4.3±0.6）、正確性（4.0±0.6）、包括性（4.2±0.7）が高く評価されました。
• CPR関連の問い: CPRに関する問いは、すべてのパラメータにおいて一貫して低いスコアを受けました。

研究の実践的意義

• AIの役割: 「ChatGPTのような大規模言語モデルが今後ますます重要な役割を果たす中で、これらのシステムによって生成される医療関連コンテンツに対する厳格な監視措置を確立することが不可欠である」と研究者は結論付けています。

研究の限界

• 質問リストの限界: 研究で使用された質問リストは、特定のグループ（例えば、非生存者の家族や特定の神経学的後遺症を持つ人々）からの入力を見逃している可能性があります。
• 参加者の代表性: 研究に参加した突然心臓停止UKのメンバーは、一般的な心臓停止生存者の平均年齢より若い可能性があり、心臓停止生存者の広範な人口を完全に代表していないかもしれません。

まとめとCGPTのコメント

この研究は、ChatGPTが心臓停止に関する問いに対して一般人にとって有益な洞察を提供できることを示していますが、CPR関連の回答には改善の余地があります。AI技術が医療業界での情報提供において重要な役割を果たす中で、その正確性と信頼性の確保は極めて重要です。この研究は、AIが医療情報を提供する際の潜在的な限界と、今後の改善の必要性を浮き彫りにしています。

参照元: How Accurately Can ChatGPT Answer Cardiac Arrest Queries? – Medscape