جامعیت اطلاعات؛ حلقهٔ مفقوده برای استفاده از هوش مصنوعی در کمک به متخصصین

پرونده‌ای خیالی را تصور کنید: مشاوری در جلسهٔ نخست فرم پذیرش را با عجله تکمیل می‌کند و ردیف «سابقهٔ مشکلات خواب» خالی می‌ماند. ماه‌ها بعد ابزاری خودکار این پرونده را خلاصه می‌کند و می‌نویسد: «مشکل خواب گزارش نشده است.» این جمله از نظر فنی درست است، اما ممکن است از نظر بالینی گمراه‌کننده باشد؛ شاید اصلاً دربارهٔ خواب پرسشی نشده بود.

این مثال ساده هستهٔ یکی از مسائل مهم و در عین حال کمتر دیده‌شدهٔ هوش مصنوعی در سلامت را نشان می‌دهد. ولز و همکاران یادآوری کرده‌اند که پرونده‌های الکترونیک سلامت پر از دادهٔ ناقص‌اند و اغلب نمی‌توان «ثبت نشده» را از «وجود ندارد» تشخیص داد. نکتهٔ مهم‌تر آنکه الگوی ناقص بودن داده‌ها معمولاً با شدت بیماری و میزان مراجعهٔ فرد به خدمات سلامت گره خورده است ^[۱]. به بیان دیگر، داده‌ها تصادفی گم نمی‌شوند. خانهٔ خالی در پرونده یک «نه» نیست؛ گاهی تنها نشانهٔ پرسشی است که هرگز پرسیده نشده.

جیان‌فرانچسکو و همکاران سه منبع سوگیری را در الگوریتم‌هایی که از داده‌های پرونده استفاده می‌کنند برشمرده‌اند: داده‌های گم‌شده و بیمارانی که الگوریتم آن‌ها را نمی‌بیند، نمونه‌های کوچک، و خطای طبقه‌بندی و اندازه‌گیری. آن‌ها هم دربارهٔ اتکای بیش از حد به خودکارسازی هشدار داده‌اند و هم دربارهٔ خطر تشدید نابرابری‌های موجود ^[۲].

تصور رایج این است که پرونده آینهٔ وضعیت بیمار است. پژوهش آگنیل و همکاران این تصور را به چالش کشید. آن‌ها در داده‌های بیش از ۶۶۹ هزار بیمارِ دو بیمارستان در بوستون نشان دادند که برای ۸۶ درصد از آزمایش‌ها، صرفِ درخواست آزمایش با بقای سه‌ساله ارتباط داشت؛ و برای ۶۸ درصد از آزمایش‌ها، زمانِ درخواست بهتر از نتیجهٔ آن، بقا را پیش‌بینی می‌کرد ^[۳]. پرونده رفتار بالینگران و فرایند مراقبت را هم ثبت می‌کند، نه فقط زیست‌شناسی بیمار را.

گاهی مسئله از این هم بنیادی‌تر است: آنچه داده اندازه می‌گیرد همان چیزی نیست که ما می‌خواهیم. اوبرمایر و همکاران الگوریتمی تجاری و پرکاربرد را در نظام سلامت آمریکا بررسی کردند که هزینهٔ درمان را به‌عنوان جانشینی برای نیاز درمانی پیش‌بینی می‌کرد. چون به دلیل دسترسی نابرابر برای بیماران سیاه‌پوست هزینهٔ کمتری صرف می‌شد، این بیماران در امتیاز خطر یکسان به‌طور محسوسی بیمارتر بودند. اصلاح این سوگیری، سهم بیماران سیاه‌پوستی را که برای کمک بیشتر معرفی می‌شدند، از ۱۷٫۷ به ۴۶٫۵ درصد می‌رساند ^[۴]. درس این پژوهش آن است که انتخاب «برچسب»، یعنی آنچه مدل باید پیش‌بینی کند، گاهی از خود الگوریتم مهم‌تر است.

کیفیت داده هم مفهومی یک‌بعدی نیست. وایسکاپف و ونگ در مروری بر روش‌های ارزیابی کیفیت داده‌های پرونده، پنج بُعد را شناسایی کردند ^[۵]. جدول زیر این پنج بُعد را همراه با پرسشی ساده برای هر کدام نشان می‌دهد:

نکتهٔ کلیدی آن مرور این بود که کیفیت داده به هدف استفاده بستگی دارد: داده‌ای که برای یک کار «به‌اندازهٔ کافی خوب» است، ممکن است برای کار دیگر نباشد.

دادهٔ ناقص یا ناهمگون فقط پاسخ‌ها را ضعیف نمی‌کند؛ گاهی به مدل یاد می‌دهد چیز اشتباهی را یاد بگیرد. زک و همکاران مدل‌های یادگیری عمیق را برای تشخیص ذات‌الریه روی بیش از ۱۵۸ هزار تصویر رادیوگرافی قفسهٔ سینه از سه نظام بیمارستانی آزمودند. در سه مقایسه از پنج مقایسه، عملکرد مدل روی داده‌های بیرونی بدتر از داده‌های درونی بود؛ و شبکه‌ها می‌توانستند با دقت حدود ۹۹٫۹ درصد تشخیص دهند هر تصویر از کدام بیمارستان آمده است ^[۶]. مدل بخشی از «بیمارستان» را یاد گرفته بود، نه فقط بیماری را.

ارزیابی بیرونی یک مدل تجاری پیش‌بینی سپسیس، که در صدها بیمارستان به کار رفته بود، نمونهٔ دیگری است. در بیش از ۳۸ هزار بستری در یک نظام دانشگاهی، توان تمایز مدل ضعیف بود (سطح زیر منحنی ۰٫۶۳) و ۶۷ درصد موارد سپسیس را از دست داد، در حالی که برای ۱۸ درصد کل بیماران بستری هشدار صادر کرده بود ^[۷]. نتیجه هم موارد از دست‌رفته بود و هم خستگی از هشدارهای پیاپی.

در دوران همه‌گیری کووید-۱۹، شتاب برای ساختن مدل با داده‌های ناکافی به نتیجه‌ای تأمل‌برانگیز رسید. رابرتس و همکاران از میان ۲٬۲۱۲ مطالعهٔ غربال‌شده ۶۲ مطالعه را بررسی کردند و هیچ‌یک از مدل‌ها را، به دلیل نقص روش‌شناختی یا سوگیری، دارای کاربرد بالینی بالقوه ندانستند ^[۸].

بزرگی داده هم به‌تنهایی کافی نیست. مرور بلشر و همکاران روی ۶۴ مدل پیش‌بینی اقدام به خودکشی و مرگ ناشی از آن، با بیش از ۱۴ میلیون نفر، نشان داد که دقت کلی طبقه‌بندی معمولاً خوب بود، اما ارزش پیش‌بینی مثبت برای مرگ در بیشتر مدل‌ها بسیار پایین ماند (یک درصد یا کمتر) و نویسندگان این مدل‌ها را برای استفادهٔ بالینی آماده ندانستند ^[۹]. برای رویدادهای نادر، «دقت» بالا می‌تواند تصویری گمراه‌کننده بدهد.

یادآوری: این مجله و ابزارهای پیگیری خدمت اورژانسی نیستند؛ در هر موقعیت فوری باید با خدمات اورژانس محلی تماس گرفت.

با ورود مدل‌های زبانی بزرگ، این تصور شکل گرفته که دیگر نیازی به دادهٔ ساختارمند نیست و کافی است متن پرونده را به مدل بدهیم. شواهد نشان می‌دهد این مدل‌ها نیز به جامعیت و نظم ورودی حساس‌اند.

هاگر و همکاران چند مدل زبانی را روی ۲٬۴۰۰ مورد واقعی از چهار بیماری شکمی آزمودند. مدل‌ها به‌طور معناداری بدتر از پزشکان تشخیص دادند، از راهنماهای تشخیص و درمان پیروی نکردند و در تفسیر نتایج آزمایش ناتوان بودند. مهم‌تر آنکه عملکردشان با مقدار و ترتیب اطلاعات تغییر می‌کرد: صرفِ جابه‌جا کردن ترتیب همان اطلاعات، دامنه‌ای تا ۱۸ درصد در عملکرد پدید می‌آورد؛ و وقتی مدل باید خودش اطلاعات لازم را درخواست می‌کرد، عملکرد باز هم افت می‌کرد ^[۱۰]. نویسندگان این مدل‌ها را برای تصمیم‌گیری بالینی خودمختار آماده ندانستند. مدل‌های آزموده‌شده عمدتاً مدل‌های باز سال ۲۰۲۳ بودند و ممکن است مدل‌های جدیدتر بهتر عمل کنند؛ اما شاهد تأییدشده‌ای دربارهٔ میزان این بهبود در دست نیست.

ارزیابی جوهری و همکاران با چارچوب CRAFT-MD هم نشان داد مدل‌هایی که در پرسش‌های مرتب و امتحانی قوی به نظر می‌رسند، وقتی باید در گفت‌وگوی شبیه‌سازی‌شده خودشان شرح حال بگیرند، در استدلال گفت‌وگویی، گرفتن شرح حال و دقت تشخیصی محدودیت‌های جدی دارند ^[۱۱].

مسئلهٔ دیگر کیفیت خود متن است. اشتاین‌کمپ و همکاران در حدود ۱۰۴ میلیون یادداشت بالینیِ یک نظام سلامت آمریکایی دریافتند که ۵۰٫۱ درصد کل متن از متن‌های پیشینِ همان بیمار تکرار شده است. این نسبت از ۳۳ درصد در سال ۲۰۱۵ به ۵۴٫۲ درصد در سال ۲۰۲۰ رسیده بود و حدود ۴۶ درصد متنِ تکراری از نویسنده‌ای دیگر آمده بود ^[۱۲]. هر ابزاری که چنین یادداشت‌هایی را خلاصه کند، این مشکل را هم به ارث می‌برد.

این مسائل تنها به نظام‌های سلامت دیگر مربوط نیست. ابن‌حسینی و همکاران در بیمارستان روان‌پزشکی ابن‌سینا و دکتر حجازی مشهد نشان دادند که ۸۳٫۶۵ درصد پرونده‌های روان‌پزشکی دست‌کم یک نقص مستندسازی داشتند و کامل بودن پرونده‌ها میان بخش‌ها تفاوت معناداری داشت. نویسندگان ارزیابی منظم، بازخورد به کادر درمان و آموزش را توصیه کرده‌اند ^[۱۳]. این پرونده‌ها کاغذی بودند و مطالعه در یک مرکز انجام شد، اما همین یافته یادآوری می‌کند که پیش از هر بحثی دربارهٔ هوش مصنوعی، باید به کیفیت مستندسازی خودمان بپردازیم.

سازمان جهانی بهداشت نیز در راهنمای اخلاق و حکمرانی هوش مصنوعی در سلامت هشدار داده است که سامانه‌هایی که عمدتاً با داده‌های کشورهای پردرآمد آموزش دیده‌اند، ممکن است در جاهای دیگر عملکرد ضعیفی داشته باشند ^[۱۴]. پس نمایندگی و کیفیت داده‌های محلی پیش‌شرط است، نه موضوعی فرعی.

ممکن است از این بحث چنین برداشت شود که راه‌حل، ثبت هر چیزی است که می‌توان ثبت کرد. چنین نیست. جامعیت اطلاعات یعنی اطلاعاتِ لازم برای هدفی مشخص دقیق و به‌موقع ثبت شود؛ و این با اصل کمینه‌سازی داده و حفظ حریم خصوصی مراجع در تضاد نیست، بلکه مکمل آن است. چند اصل از دل این پژوهش‌ها بیرون می‌آید:

• «پرسیده نشد» را از «وجود ندارد» جدا کنید. ثبت صریح اینکه موضوعی بررسی نشده، از تفسیر نادرستِ خانهٔ خالی جلوگیری می‌کند ^[۱].
• زمینه را بنویسید. چرا ارزیابی‌ای انجام شد، در چه شرایطی و با چه محدودیتی؛ زمینه همان چیزی است که داده بدون آن گمراه می‌کند ^[۳].
• از رونویسی یادداشت قبلی بپرهیزید. آنچه در این جلسه تغییر کرده، ارزشمندتر از تکرار چیزی است که بارها نوشته شده است ^[۱۲].
• دربارهٔ ابزارها بپرسید. این مدل با چه داده‌هایی ساخته شده، آیا در جمعیتی شبیه مراجعان شما آزموده شده و داده‌های گم‌شده را چگونه مدیریت می‌کند؟ بیانیهٔ بین‌المللی گزارش‌دهی TRIPOD+AI از پژوهشگران می‌خواهد شیوهٔ مدیریت داده‌های گم‌شده را گزارش کنند و ملاحظات انصاف را در سراسر گزارش در نظر بگیرند ^[۱۵].
• حریم خصوصی را فدای جامعیت نکنید. داده‌ای که برای هدف مراقبت لازم نیست، نباید تنها به این امید که روزی به کار ماشین بیاید گردآوری شود.

باید صادق بود: هنوز پژوهشی زنجیرهٔ کامل «یادداشت بهتر، کمک بهتر ماشین، مراقبت بهتر» را از آغاز تا پایان نیازموده است. اما بخش‌هایی از این زنجیره پشتوانهٔ پژوهشی دارند و منطق کلی آن پذیرفتنی است. در به‌زیستن هم نقطهٔ شروع همین است: ثبت منظم و هدفمند پیگیری‌ها به دست خود متخصص، پیش از آنکه سخنی از ماشین در میان باشد.