美國有超過三分之一的民眾表示，他們會向如 ChatGPT 和 Claude 等 AI 大型語言模型（LLM）尋求醫療建議。這些 LLM 能夠針對各式各樣的問題提供大量資訊，但這些資訊是否總是正確，引發醫療界關注。
哈佛醫學院助理教授、Beth Israel Deaconess醫療中心 Carl J. Shapiro 教育與研究中心 AI 項目主任 Adam Rodman 醫師指出，不論是透過 Google 搜尋，或更常見的是將去除個資的醫療紀錄上傳至 ChatGPT，獲取精確的健康建議都可能充滿挑戰。Rodman 醫師同時也是內科醫師及頂尖的醫療 AI 研究人員。
Rodman 醫師表示，儘管《21 世紀醫療法案（21st Century Cures Act）》保障患者取得自身醫療紀錄的權利，但實際上僅有少數患者會註冊醫療入口網站，並具備下載紀錄的技術能力。他強調，這需要高度的數位健康素養，且LLM 本身並非真正具備智慧，若提問或使用方式不當，可能獲得無用甚至有害的資訊。
Rodman 醫師也提到，即使患者已移除個人身份資訊，對於將私人醫療數據上傳至 AI 聊天機器人仍普遍缺乏信任感。他認為，若 AI 應用能與醫師的工作流程結合，或與醫師建立連結，信任度將會顯著提升。因此，他建議醫療機構應為其患者創建具有一定信任度的機構聊天機器人。
此外，Rodman 醫師也提醒，網路疑病症（Cyberchondria）的現象在 LLM 中同樣存在。即使 AI 公司已採取許多安全措施，但使用者潛意識中的擔憂仍可能引導模型朝向令人焦慮的方向發展。他建議臨床與 IT 主管應接受患者自行使用 AI 的現況，並將其納入醫療體系中，同時教育大眾安全使用 AI 的方法。Rodman 醫師直言，若醫療體系不擁抱這項技術，人們仍將自行使用。
