MIT ทดสอบ AI พบประสิทธิภาพเทียบเท่าเด็กฝึกงาน ยังต้องผ่านการตรวจสอบจากมนุษย์อยู่ดี

เราอยู่ในยุคที่มีกระแสบอกว่า AI สามารถทำงานหลาย ๆ อย่างแทนคนจริงได้ แต่การทดสอบโมเดล AI จาก MIT พบว่า AI ในตอนนี้ยังมีความเก่งเทียบเท่าเด็กฝึกงานเท่านั้น ยังไม่ถึงกับทำงานได้อย่างสมบูรณ์แบบ

นักวิจัยจาก MIT ได้นำโมเดล AI แบบ LLM หรือ Large Language Model กว่า 41 โมเดลรวมถึง Claude, Gemini และ ChatGPT มาทดสอบการทำงานจริงกว่า 11,000 งาน จากงานสาขาอาชีพต่าง ๆ หลังจากนั้น นำผลงานที่ได้มา มาประเมินโดยมนุษย์ ลักษณะคล้าย ๆ กับเด็กฝึกงาน ทำงานให้หัวหน้าตรวจสอบ เพื่อดูว่า งานที่ AI ทำออกมานั้น ผ่านการประเมินโดยไม่ต้องแก้ไขหรือไม่

จากการวิจัยพบว่า ความสามารถหรือผลงานของ AI ที่ทำออกมานั้นจะขึ้นอยู่กับลักษณะและความยากง่ายของงานด้วย ซึ่ง MIT ได้ตั้งคะแนนเอาไว้ 1-9 โดยคะแนน 7 หมายถึงเพียงพอ หรือเป็นงานที่ผ่านโดยไม่ต้องแก้ไข ซึ่งผลทดสอบพบว่า งานที่ AI สามารถทำได้ถึง 7 คะแนนนั้นม่เพียง 65% เท่านั้น โดยงานที่ AI สามารถทำได้ถึงระดับ 9 คะแนน มีไม่ถึง 50% ด้วยซ้ำ เมื่องานมีหลายขั้นตอน หรือต้องใช้ความคิดสร้างสรรค์มากขึ้น ความสำเร็จจะยิ่งลดลงตามไปด้วย

เมื่อแยกตามสายงาน MIT พบว่า AI มีอัตราล้มเหลวในงานกลุ่มไอทีและกฎหมาย แต่มีอัตราสำเร็จสูงในกลุ่มงานที่เกี่ยวกับการก่อสร้างและซ่อมแซม ซึ่งผลการทดสอบสอดคล้องกับการที่หลายบริษัทนำ AI มาใช้เฉพาะในกลุ่มงานเริ่มต้นหรืองานรูทีนเท่านั้น ส่วนงานที่มีความจำเพาะหรือต้องอาศัยเทคนิค ยังคงเป็นมนุษย์ควบคุมอยู่

บริษัทที่นำ AI มาใช้งานจริงจะพอเห็นความล้มเหลวจาก AI บ้างแล้ว เช่น ปีที่ผ่านมา Deloitte ได้ทำรายงานทั้งหมด 2 ฉบับสำหรับลูกค้ารัฐบาลในออสเตรเลียและแคนาดา พบว่ามีข้อมูลที่ไม่จริงมากมายที่ AI มีอาการหลอนและสร้างขึ้นมาเอง, สำนักข่าวอย่าง CNET และ Sports Illustrated ถูกจับได้ว่ามีการใช้ AI สร้างบทความที่มีข้อมูลที่ไม่ถูกต้อง, ทนายความบางคนก็พึ่งพา AI เพื่อเตรียมบรีฟซึ่ง AI ได้สร้างข้อความเท็จขึ้นมาอีกที

การทดสอบจาก MIT พบว่า เครื่องมือ AI ยังคงต้องอาศัยการตรวจสอบจากมนุษย์ แต่เนื่องจากการพัฒนาอย่างต่อเนื่อง อาจทำให้ AI สามารถทำงานได้อย่างมีประสิทธิภาพระดับ 80-95% (ระดับ 7) ได้ภายในปี 2029 โดย AI จะสามารถทำงานได้ดีในส่วนของงานพื้นฐานที่เกี่ยวข้องกับการร่างเอกสาร ส่งอีเมล และการคำนวณ แต่ยังไม่สามารถเอาชนะมนุษย์ในงานที่มีควมซับซ้อนและงานที่ใช้ความสร้างสรรค์สูงได้

ที่มา Fortune

วัชรกุล พัฒนาประทีป