മൈക്രോസോഫ്റ്റിന്റെ AI ചാറ്റ് ബോട്ടായ ചാറ്റ് ജിപിടി യുണൈറ്റഡ് സ്റ്റേറ്റ്‌സ് മെഡിക്കൽ ലൈസൻസിംഗ് എക്‌സാമിന് (USMLE) ഏകദേശം 60 ശതമാനം പാസിംഗ് മാർക്കിനോ അതിനടുത്തോ സ്കോർ ചെയ്യാൻ കഴിയുമെന്ന് ഒരു പഠനം പറയുന്നു. മനുഷ്യർ ചിന്തിക്കുന്ന രീതിയിൽ ചിന്തിക്കാനും വരാനിരിക്കുന്ന പദ ക്രമങ്ങൾ പ്രവചിച്ച് മനുഷ്യൻ എഴുതുന്നത് പോലെ തന്നെയുള്ള എഴുത്തുകൾ സൃഷ്ട്ടിക്കാൻ കഴിയുന്ന രീതിയിലാണ് ഓപ്പൺ എ ഐ ചാറ്റ് ജിപിടി രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. മിക്ക ചാറ്റ്ബോട്ടുകളിൽ നിന്നും വ്യത്യസ്തമായി, ChatGPT ന് ഇന്റർനെറ്റിൽ തിരയാൻ കഴിയില്ല. മറിച്ച് ഉപയോക്താവ് ചോദിക്കുന്ന ചോദ്യങ്ങൾക്കുള്ള മറുപടി എഴുത്ത് രൂപേണയാണ് ഇത് നൽകുന്നത്.
PLOS ഡിജിറ്റൽ ഹെൽത്ത് എന്ന ഓപ്പൺ-ആക്സസ് ജേണലിൽ പ്രസിദ്ധീകരിച്ച പഠനത്തിൽ പറയുന്നതനുസരിച്ച്, ടിഫാനി കുങ്, വിക്ടർ സെങ്, അൻസിബിൾ ഹെൽത്തിലെ സഹപ്രവർത്തകർ എന്നിവർ ചേർന്ന് USMLE-ൽ ChatGPT യുടെ പ്രകടനം പരീക്ഷിച്ചു. ബയോകെമിസ്ട്രി, ഡയഗ്നോസ്റ്റിക് റീസണിംഗ്, ബയോ എത്തിക്‌സ് തുടങ്ങി മിക്ക മെഡിക്കൽ വിഭാഗങ്ങളിലുമുള്ള അറിവ് USMLE യിലൂടെ വിലയിരുത്തുന്നുണ്ട്. ഇമേജ് അടിസ്ഥാനമാക്കിയുള്ള ചോദ്യങ്ങൾ നീക്കം ചെയ്ത ശേഷം, 2022 ജൂണിലെ USMLE റിലീസിൽ നിന്ന് ലഭ്യമായ 376 പൊതു ചോദ്യങ്ങളിൽ 350 എണ്ണത്തിലും ഇവർ സോഫ്‌റ്റ്‌വെയർ പരീക്ഷിച്ചു. മൂന്ന് USMLE പരീക്ഷകളിലായി ചാറ്റ്ജിപിടി 52.4 ശതമാനത്തിനും 75 ശതമാനത്തിനും ഇടയിൽ സ്കോർ ചെയ്തു. ഓരോ വർഷവും പാസിംഗ് മാർക്ക് ഏകദേശം 60 ശതമാനമാണ്.