MultiMedQA ofron një grup të dhënash për pyetje me zgjedhje të shumëfishta, si dhe pyetje me përgjigje më të gjata, të cilat bëhen nga ekspertë mjekësorë dhe joprofesionistë.
Të dhënat e HealthSearchQA përbëhet nga 3,375 pyetje të bëra shpesh nga konsumatorët. Përzgjidhet duke përdorur diagnoza mjekësore dhe simptoma të shoqëruara. Të gjithë përdoruesit që kanë futur frazat e tyre fillestare shfaqen pyetjet e bëra shpesh të disponueshme publikisht, të cilat mbulohen duke përdorur të dhënat fillestare dhe krijohen duke përdorur motorin e kërkimit.
Modeli i zhvilluar në PalM
Shkencëtarët e Google zhvilluan modelet PaLM (Pathways Language Model) dhe LLM (Large language model) me 540 miliardë parametra dhe variacionin e tij Flan-PaLM (Scaling Instruction-Fineuned Language Models), të përshtatura për vlerësimet LLM duke përdorur MultiMedQA. Flan-PaLM arrin performancën më të mirë (SOTA) në temat klinike MedQA, MedMCQA, PubMedQA dhe MMLU, duke kombinuar nxitjen e disa provave, teknikat e zinxhirit të mendimit (CoT) dhe të vetë-konsistencës, shpesh duke tejkaluar ndjeshëm linjat bazë shumë të forta të LLM.
Pak më e dobët se ekspertët njerëzorë
Vlerësimi njerëzor, identifikon të metat kryesore në Flan-PaLM me përgjigjet. Modeli që zgjidh këtë problem është Med-PaLM, i cili pretendohet se performon mirë në krahasim me Flan-PaLM, por ende duhet të kalojë gjykimin e një eksperti mjekësor. Për shembull, një grup mjekësh zbuluan se 92,6% e përgjigjeve ndaj Med-PaLM ishin të barabarta me përgjigjet e dhëna mjekëve (92,9%), ndërsa 61,9% ishin përgjigje afatgjata ndaj Flan-PaLM, të cilat konsiderohen në përputhje me përgjigjet shkencore.
Gjithashtu, 5.8% e përgjigjeve të Med-PaLM u vlerësuan si potencialisht kontribuuese në rezultate negative, që është e krahasueshme me përgjigjet e dhëna për mjekët (6.5%).
Google nuk është unik
Jo vetëm Google, por edhe gjigantë të tjerë të teknologjisë kanë marrë guximin të zgjidhin kujdesin shëndetësor përmes inteligjencës artificiale. Microsoft dhe Meta janë kompanitë e tjera. Në atë pjesë, Microsoft po bashkëpunon me kompaninë OpenAI me një mjet gjuhësor GPT-3 për të lehtësuar bashkëpunimin midis punonjësve dhe mjekëve dhe për të përmirësuar efikasitetin e ekipeve të kujdesit shëndetësor.
Meta AI u përpoq të lëshonte Galactica në nëntor 2022, por ai program dështoi. I njëjti program u krijua nga inteligjenca artificiale, për të cilën ata pretenduan se do të mbështetej nga studiues akademikë, duke përdorur rishikimet e tyre të shumta të literaturës dhe hyrjet në Wiki për çdo temë. Ata dështuan për shkak të rezultateve jo të besueshme.