รู้จัก Confluent ผู้ให้บริการ Stream Processing บนพื้นฐาน Apache Kafka รากฐานระบบไอทีมานับสิบปี

ในโลกของไอที มีเทคโนโลยีหลายตัวที่เป็นแกนสำคัญในการทำธุรกิจ หนึ่งในนั้นคือ Stream Processing หรือ Data Streaming Platforms กระบวนการประมวลผลข้อมูลที่ไหลเข้ามาอย่างต่อเนื่องและเรียลไทม์ โดยข้อมูลถูกส่งออกมาในรูปแบบของสตรีม (streams) เป็นลำดับของเหตุการณ์หรือข้อมูลที่มีการประทับเวลาชัดเจนและไม่มีจุดสิ้นสุด เหมือนแม่น้ำที่มีข้อมูลเรียลไทม์ไหลออกมาเรื่อย ๆ แล้วส่วนงานที่เกี่ยวข้องก็จะไปดักข้อมูลที่ตรงกับงานมาประมวลผล ทำให้ระบบสามารถประมวลผลงานตามเวลาจริงได้ และความซับซ้อนของการไหลข้อมูลแบบจุดต่อจุด ซึ่งหนึ่งในระบบที่ได้รับความนิยมมากคือ Apache Kafka ซึ่งเป็นระบบแบบ Open Source โดยมี Confluent บริษัทที่ก่อตั้งโดยผู้พัฒนา Kafka ให้บริการในเชิงพาณิชย์ ซึ่งในโอกาสที่ Confluent มาจัดงาน Data Streaming World Tour ที่กรุงเทพ เราจึงได้มีโอกาสพูดคุยกับผู้ร่วมก่อตั้ง Confluent ครับ

จุดเริ่มต้นจาก LinkedIn สู่ผู้นำ Data Streaming ระดับโลก

เรื่องราวของ Confluent เริ่มต้นขึ้นในปี 2010 เมื่อผู้ร่วมก่อตั้งทั้งสามคนคือ Jay Kreps, Jun Rao และ Neha Narkhede ทำงานอยู่ที่ LinkedIn พวกเขาพบปัญหาสำคัญด้านข้อมูลที่ LinkedIn คือข้อมูลทั้งหมดที่องค์กรสร้างขึ้นมานั้นกระจัดกระจายอยู่ในแหล่งข้อมูลที่แตกต่างกัน (Data Silos) ทำให้การปลดล็อกข้อมูลจากไซโลเหล่านี้เป็นเรื่องยากมาก เดิมที LinkedIn พยายามแก้ปัญหานี้ด้วยการเชื่อมต่อแบบ Point-to-Point จำนวนมาก ระหว่างฐานข้อมูล แอปพลิเคชัน และคลังข้อมูลต่าง ๆ แต่ก็พบว่ามันเป็นโซลูชันที่ซับซ้อนและจัดการได้ยาก

เพื่อแก้ปัญหานี้ พวกเขาจึงได้สร้าง Apache Kafka ขึ้นมา Kafka เป็นระบบที่จัดเก็บข้อมูลในรูปแบบของ Data Streams ซึ่งช่วยปลดล็อกข้อมูลจากแหล่งข้อมูลที่เป็นไซโล ทำให้ระบบปลายทางสามารถสมัครรับ (Subscribe) ข้อมูลจาก Data Pipeline นี้ได้ หัวใจสำคัญของ Kafka คือการออกแบบมาให้ทำงานแบบเรียลไทม์ ทำให้แอปพลิเคชันต่างๆ สามารถเข้าถึงข้อมูลจากแหล่งต่างๆ ใน LinkedIn ได้แบบเรียลไทม์

หลังจากที่ Kafka ถูกนำไปใช้ที่ LinkedIn และพิสูจน์คุณค่าในการแก้ปัญหาทางธุรกิจและทำให้เข้าถึงข้อมูลแบบเรียลไทม์ได้มากขึ้น พวกเขาตัดสินใจเปิด Source โครงการ Kafka ภายใต้มูลนิธิ Apache Software Foundation ผ่านชุมชน Open Source นี้เอง พวกเขาตระหนักว่าซอฟต์แวร์นี้ไม่ได้จำเป็นแค่สำหรับบริษัทเทคโนโลยีเท่านั้น แต่เกือบทุกบริษัทในทุกอุตสาหกรรมต้องการมัน ด้วยวิสัยทัศน์นี้ ในปี 2014 พวกเขาจึงตัดสินใจก่อตั้งบริษัท Confluent ขึ้นมา โดยมีเป้าหมายที่จะนำแพลตฟอร์มใหม่นี้ไปให้บริษัทอื่น ๆ นอกเหนือจาก LinkedIn ได้ใช้งาน

นับตั้งแต่ก่อตั้ง Confluent ก็เติบโตอย่างรวดเร็ว มีฐานลูกค้ากระจายอยู่ในหลากหลายอุตสาหกรรมทั่วโลก รวมถึง APAC Confluent เสนอ แพลตฟอร์ม Data Streaming ครบวงจร ซึ่งครอบคลุมระบบนิเวศทั้งหมดของ Data Streams ประกอบด้วยส่วนจัดเก็บข้อมูลด้วย Kafka, ส่วนประมวลผล Stream ด้วย Apache Flink, คอนเน็กเตอร์สำหรับแหล่งข้อมูลยอดนิยม, ความสามารถด้าน Data Governance, Security และล่าสุดคือผลิตภัณฑ์ Tableflow ที่เชื่อมช่องว่างระหว่างข้อมูลในระบบปฏิบัติการและระบบวิเคราะห์ Confluent ให้บริการในรูปแบบ Cloud Fully Managed Service และแบบ Self-Managed ที่ลูกค้าสามารถติดตั้งใน Data Center ของตนเองได้

ทำไม Data Streaming Platform จึงสำคัญ?

Data Streaming Platforms (DSPs) คือแพลตฟอร์มที่การแปลงข้อมูลของคุณให้เป็นสินทรัพย์ที่พร้อมใช้งานแบบเรียลไทม์ เพื่อให้ทีมงานทำงานได้รวดเร็วและสร้างสรรค์นวัตกรรมได้อย่างชาญฉลาด

ในมุมของผู้ใช้ทั่วไป (Daily Life): การใช้ Data Streaming ก็ส่งผลต่อผู้ใช้ทั่วไปในชีวิตประจำวัน เช่นการนำข้อมูลเรียลไทม์เกี่ยวกับพฤติกรรมและความชอบของลูกค้าไปใช้สร้างประสบการณ์ส่วนบุคคล (Personalized Experience) ที่ตรงกับความต้องการในขณะนั้น เช่น การได้รับข้อเสนอโปรโมชั่นที่เกี่ยวข้องและใกล้ตัวในเวลาที่เหมาะสม เช่น โปรโมชั่นเติมเงินเมื่อเครดิตใกล้หมดและอยู่ใกล้ร้านสะดวกซื้อ ซึ่งช่วยเพิ่มโอกาสในการรับโปรโมชั่นนั้น ตรงกันข้ามกับการได้รับข้อเสนอที่ไม่เกี่ยวข้องและคิดว่าเป็นสแปม การสื่อสารแบบเรียลไทม์ที่เข้าใจบริบทของผู้ใช้เช่นนี้ ช่วยให้ผู้ใช้ได้รับสิ่งที่ต้องการได้ง่ายขึ้นและเพิ่มความพึงพอใจ

ในมุมของบริษัท (Business Perspective): สำหรับองค์กร Data Streaming Platforms ไม่ใช่แค่เทคโนโลยี แต่เป็นสิ่งจำเป็นที่ช่วยแก้ปัญหาและขับเคลื่อนความสำเร็จในหลายด้าน:

• แก้ปัญหา Data Silos: DSPs ช่วยทลายไซโลข้อมูลและทำให้การเข้าถึงข้อมูลที่มีอยู่เป็นไปอย่างราบรื่น ผู้นำด้านไอทีถึง 91% กล่าวว่า DSPs ช่วยลด Data Silos และ 86% กล่าวว่าช่วยให้เข้าถึงข้อมูลที่มีอยู่ได้ง่ายขึ้น
• รากฐานสู่ความสำเร็จของ AI: ข้อมูลเรียลไทม์เป็นเชื้อเพลิงสำหรับ AI DSPs ช่วยให้ AI เข้าถึงข้อมูลได้อย่างง่าย มีคุณภาพน่าเชื่อถือ และมี Governance ที่ดี ผู้นำด้านไอที 87% กล่าวว่า DSPs จะถูกใช้มากขึ้นเพื่อป้อนข้อมูลเรียลไทม์ บริบท และข้อมูลที่น่าเชื่อถือให้กับระบบ AI 84% ของผู้นำด้านไอทีเห็นด้วยว่าระบบ AI ต้องใช้ข้อมูลจากองค์กรเพื่อปลดล็อกศักยภาพที่แท้จริง
• ขับเคลื่อนนวัตกรรมและ Speed to Market: DSPs เป็นตัวเร่งสำคัญสำหรับนวัตกรรม ช่วยให้ธุรกิจบรรลุเวลาออกสู่ตลาดที่เร็วขึ้น เพิ่มความพึงพอใจของลูกค้า และเพิ่มรายได้
• เพิ่มประสิทธิภาพและลดความเสี่ยง: DSPs ช่วยให้สามารถตัดสินใจเชิงปฏิบัติการที่ขับเคลื่อนด้วยข้อมูลได้มากขึ้น ปรับปรุงความปลอดภัยทางไซเบอร์และการบริหารความเสี่ยง รวมถึงขับเคลื่อนระบบอัตโนมัติภายในองค์กร
• แนวคิด “Shift Left”: DSPs เป็นเครื่องมือที่ช่วยให้องค์กรสามารถนำแนวคิด “Shift Left” มาใช้ในการประมวลผลและกำกับดูแลข้อมูลได้ ซึ่งหมายถึงการนำกระบวนการเหล่านี้ไปไว้ใกล้แหล่งข้อมูลมากขึ้น ส่งผลให้ข้อมูลมีคุณภาพดีขึ้น ลดต้นทุนและความเสี่ยง ลดความซับซ้อน และทำให้เข้าถึงข้อมูลที่พร้อมใช้งานได้เร็วขึ้น ผู้นำด้านไอทีถึง 81% รายงานว่าได้รับประโยชน์อย่างมีนัยสำคัญจากการนำแนวคิด Shift-left มาใช้
• การลงทุนที่ให้ผลตอบแทนสูง (ROI): Data Streaming ยังคงให้ ROI ที่น่าประทับใจอย่างต่อเนื่อง โดย 44% ของผู้นำด้านไอทีทั่วโลกรายงาน ROI 5 เท่า และในภูมิภาค APAC 81% รายงาน ROI 2-5 เท่า ความสำเร็จนี้เพิ่มขึ้นตามระดับวุฒิภาวะ (Maturity) ของการใช้ Data Streaming

Data Streaming World Tour ที่กรุงเทพฯ และข้อมูลเชิงลึกจากรายงาน

Confluent ได้นำงาน Data Streaming World Tour มาจัดขึ้นที่กรุงเทพฯ ซึ่งเป็นส่วนหนึ่งของงานระดับโลก เพื่อรวมตัวผู้นำอุตสาหกรรม ผู้เชี่ยวชาญ และผู้ริเริ่มนวัตกรรม เพื่อหารือเกี่ยวกับศักยภาพของข้อมูลเรียลไทม์ในการขับเคลื่อนการเปลี่ยนแปลงทางดิจิทัลในประเทศไทยและภูมิภาค APAC ในงานนี้ Confluent ได้นำเสนอข้อมูลจากรายงาน Data Streaming Report ประจำปีครั้งที่ 4 ซึ่งตอกย้ำถึงความสำคัญของ Data Streaming ในปัจจุบัน

ประเด็นสำคัญจากรายงาน Data Streaming ปี 2025 สำหรับภูมิภาค APAC

• แรงขับเคลื่อนเบื้องหลังความก้าวหน้าของ AI: 89% ของผู้นำด้านไอทีใน APAC ระบุว่า DSPs จะถูกนำมาใช้มากขึ้นเพื่อป้อนข้อมูลเรียลไทม์ บริบท และข้อมูลที่เชื่อถือได้ ให้กับระบบ AI
• สิ่งสำคัญสำหรับกลยุทธ์ทางธุรกิจ: 89% ของผู้นำด้านไอทีใน APAC จัดอันดับให้ Data Streaming เป็นกลยุทธ์สำคัญลำดับต้นๆ
• การลงทุนที่ให้ผลตอบแทนสูง: 81% ขององค์กรใน APAC รายงานว่า Data Streaming ให้ผลตอบแทนจากการลงทุน (ROI) สูงถึง 2-5 เท่า เพิ่มขึ้นจาก 80% ในปี 2024
• แนวคิด “Shift Left” ได้รับแรงผลักดันเพิ่มขึ้น: 81% ของผู้นำด้านไอทีใน APAC สามารถลดต้นทุนและความเสี่ยงตลอดกระบวนการพัฒนาและปฏิบัติการได้อย่างมีนัยสำคัญ ด้วยการนำแนวคิด Shift-left มาใช้ในการประมวลผลและกำกับดูแลข้อมูล

นอกจากนี้ รายงานยังพบว่าผู้นำด้านไอทีส่วนใหญ่ (89% ทั่วโลก) เล็งเห็นว่า DSPs ช่วยลดอุปสรรคของการใช้ AI โดยเฉพาะปัญหาด้านการเข้าถึงข้อมูล คุณภาพข้อมูล และ Data Governance ผลการสำรวจเหล่านี้สอดคล้องกับวิสัยทัศน์ AI แห่งชาติของประเทศไทย ที่มุ่งมั่นเร่งการพัฒนา AI ในภาคส่วนสำคัญต่างๆ

ในยุคที่ข้อมูลเรียลไทม์และ AI มีบทบาทสำคัญยิ่งขึ้น แพลตฟอร์ม Data Streaming พิสูจน์แล้วว่าเป็นเทคโนโลยีพื้นฐานที่จำเป็นสำหรับองค์กรที่ต้องการขับเคลื่อนนวัตกรรม เพิ่มประสิทธิภาพ และสร้างความได้เปรียบทางการแข่งขัน Confluent ในฐานะผู้บุกเบิกในพื้นที่นี้ นำเสนอแพลตฟอร์มที่ครบวงจรซึ่งช่วยให้ธุรกิจต่างๆ ทั่วโลกปลดล็อกคุณค่าทั้งหมดจากข้อมูลของตน ไม่ว่าจะเป็นการเพิ่มความเร็วในการออกสู่ตลาด การมอบประสบการณ์ลูกค้าที่ดี หรือการทำให้การดำเนินงานภายในง่ายขึ้น