أدوات هتغير حياتك كعالم بيانات - 2- Tools That Will Transform the Way You Work as a Data Scientist-V2

About this episode

The episode discusses three advanced tools for managing big data and ensuring its quality.

يدور موضوع الحلقة حول ثلاث أدوات "ثقيلة" ومتقدمة تهدف إلى إدارة البيانات الضخمة (Big Data) وضمان جودتها: PySpark، وDVC، وGreat Expectations. 1. PySpark (سيد البيانات الضخمة) الغرض الرئيسي: معالجة البيانات الضخمة (Petabytes) من خلال المعالجة الموزعة (Distributed Computing) والتوسع (Scaling). مقارنة مع Pandas: بينما تعمل Pandas على جهاز واحد وتتقيد بالذاكرة العشوائية (RAM)، يقوم PySpark بتوزيع البيانات والعمليات على عنقود (Cluster) من الأجهزة. المميزات الأساسية: التسامح مع الأخطاء (Fault Tolerance): يستخدم مفهوم RDD (Resilient Distributed Datasets) لاسترجاع البيانات المفقودة تلقائياً عبر تتبع Lineage Graph للعمليات. In-Memory Computing: يفضل إبقاء البيانات في الذاكرة لزيادة السرعة (أسرع بـ 100 مرة في بعض الحالات). الدمج مع Pandas: يمكن استخدام بيئة Pandas المألوفة داخل PySpark من خلال: Pandas API on Spark: لكتابة كود Pandas عادي يتم تنفيذه بواسطة محرك Spark القوي. Pandas UDFs (Vectorized UDFs): لتوزيع تنفيذ الدوال المعقدة على Cluster باستخدام تقنية Apache Arrow . 2. DVC (Data Version Control) الغرض الرئيسي: هو تخزين وتتبع نسخ (Versioning) الملفات الكبيرة والبيانات الخام، وهي مهمة لا يستطيع Git القيام بها بكفاءة. الفرق بين DVC وMLflow: هما أداتان مكملتان لبعضهما: MLflow: هو "كراسة…

People in this episode

Host: Mohamed ElSayed

Topics covered

• data management
• big data
• data quality
• data version control
• data processing
• data science tools

Keywords

• PySpark
• DVC
• Great Expectations
• big data
• data quality
• data versioning
• data processing
• MLflow
• Apache Arrow

Mentioned in this episode

Products: PySpark, DVC, Great Expectations, Pandas, MLflow, Apache Arrow

More episodes of Data Science بالعربي

• أدوات هتغير حياتك كعالم بيانات-Tools That Will Transform the Way You Work as a Data Scientist · January 10, 2026 · 19 min
• أدوات الذكاء الاصطناعي التي تساعد في حضورالاجتماعات و تحضير العروض التقديمية-AI Tools That Help You Attend Meetings and Prepare Presentations · October 16, 2024 · 1h 3m
• الواقع المعزز والواقع الافتراضي - Virtual Reality & Augmented Reality · October 12, 2024 · 1h 33m
• Data Science in Investment Field!علم البيانات في مجال الاستثمار · September 3, 2022 · 31 min
• أخبار التقنيه !Technology News · August 26, 2022 · 10 min
• !أهمية علم البيانات في المجال الطبي Importance of Data Science in Medical field! · August 20, 2022 · 1h 21m