אפאצ'י קפקא

אפאצ'י קפקא
ארכיטקטורת אשכול של קפקא

אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.

עיצוב הפלטפורמה מושפע מאד ממימושי Transaction log הקיימים במערכות DBMS.[2]

שימושים בתעשייה

להלן רשימה של ארגונים בולטים המשתמשים בקפקא:


שגיאות פרמטריות בתבנית:טורים
פרמטרים [ מספר ] לא מופיעים בהגדרת התבנית

הערות שוליים

  1. ↑ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
  2. ↑ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
  3. ↑ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28. 
  4. ↑ "OpenSOC: An Open Commitment to Security". Cisco blog. בדיקה אחרונה ב-3 בפברואר 2016. 
  5. ↑ "More data, more data". 
  6. ↑ "Conviva home page". Conviva. 28 בפברואר 2017. בדיקה אחרונה ב-16 במאי 2017. 
  7. ↑ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". 
  8. ↑ "Kafka Usage in Ebay Communications Delivery Pipeline". 
  9. ↑ "Cryptography and Protocols in Hyperledger Fabric". ינואר 2017. בדיקה אחרונה ב-5 במאי 2017. 
  10. ↑ "Kafka at HubSpot: Critical Consumer Metrics". 
  11. ↑ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". 
  12. ↑ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". בדיקה אחרונה ב-19 בספטמבר 2017. 
  13. ↑ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. בדיקה אחרונה ב-3 בפברואר 2016. 
  14. ↑ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". בדיקה אחרונה ב-21 בפברואר 2018. 
  15. ↑ "Shopify - Sarama is a Go library for Apache Kafka". 
  16. ↑ Josh Baer. "How Apache Drives Spotify's Music Recommendations". 
  17. ↑ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". 
  18. ↑ "Stream Processing in Uber". InfoQ. בדיקה אחרונה ב-6 בדצמבר 2015. 
  19. ↑ "Apache Kafka for Item Setup". medium.com. בדיקה אחרונה ב-12 ביוני 2017. 
  20. ↑ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. בדיקה אחרונה ב-19 ביולי 2017. 
הערך באדיבות ויקיפדיה העברית, קרדיט,
רישיון cc-by-sa 3.0
This article is issued from Hamichlol. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.