אפאצ'י קפקא
תווכה מוכוונת מסרים
אפאצ'י קפקא היא פלטפורמת תוכנה לעיבודזרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו -Java. הפרויקט נועד לספק פלטפורמה אחודה, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתוינים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים Kafka Streams כספריית עיבוד נתונים בשפת Java.
 | |
| מפתח |
קרן התוכנה אפאצ'י, LinkedIn  |
|---|---|
| מחזור חיים |
7 בנובמבר 2010 – הווה (14 שנים) |
| גרסה אחרונה |
3.9.0 (6 בנובמבר 2024) |
| מערכת הפעלה |
חוצה-פלטפורמות |
| נכתבה בשפות |
Java, Scala |
| סוג רישיון |
אפאצ'י 2.0, רישיון אפאצ'י |
| קוד מקור | |
|
kafka | |
  | |
עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS.[2]
שימושים בתעשייה
להלן רשימה של ארגונים בולטים המשתמשים בקפקא:
הערות שוליים
- ^ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
- ^ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
- ^ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
{{cite web}}: פרמטר לא ידוע|deadurl=(הצעה:|url-status=) (עזרה) - ^ "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03.
- ^ "More data, more data".
- ^ "Conviva home page". Conviva. 2017-02-28. נבדק ב-2017-05-16.
- ^ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase".
- ^ "Kafka Usage in Ebay Communications Delivery Pipeline".
- ^ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. נבדק ב-2017-05-05.
{{cite web}}: (עזרה) - ^ "Kafka at HubSpot: Critical Consumer Metrics".
- ^ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale".
- ^ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". נבדק ב-2017-09-19.
- ^ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03.
- ^ "Shopify - Sarama is a Go library for Apache Kafka".
- ^ Josh Baer. "How Apache Drives Spotify's Music Recommendations".
- ^ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey".
- ^ "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06.
- ^ "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12.
{{cite web}}: תבנית ציטוט כוללת פרמטר ריק לא ידוע:|1=(עזרה) - ^ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. נבדק ב-2017-07-19.
{{cite web}}: תבנית ציטוט כוללת פרמטר ריק לא ידוע:|1=(עזרה)