هفت کتابخانه‌ی پایتون برای مهندسین داده

1- requests (https://pypi.org/project/requests/)

1️⃣ این کتابخانه بما این امکان را می‌دهد که بتوانیم محتوای وب‌سایت‌ها را استخراج نماییم.

2- beautifulsoup (https://beautiful-soup-4.readthedocs.io/en/latest/)

2️⃣ همانند مورد قبل این کتابخانه با امکاناتی متفاوت ما را قادر می‌سازد که اطلاعات وبسایت‌ها را استخراج کرده و داده‌ها را به نحوه مطلوب جداسازی کنیم.

3- pandas (https://pandas.pydata.org/docs/)

3️⃣ برای آنالیز داده‌ها، پانداز یکی از بهترین کتاب‌خانه‌های موجود در اکوسیستم پایتون است.

4- SQLAlchemy (https://docs.sqlalchemy.org/)

4️⃣ برای ارتباط با دیتابیس‌ها از این کتابخانه استفاده می‌کنیم.

5- airflow (https://airflow.apache.org/docs/apache-airflow/stable/index.html)

5️⃣ برای مدیریت جریان داده‌ها از ایرفلو استفاده می‌کنیم. ایرفلو یکی از پروژه‌های بسیار بزرگ بنیاد آپاچی با بیش از دو هزار پانصد شرکت‌کننده می‌باشد.

6-pyspark(https://spark.apache.org/docs/3.3.1/api/python/index.html#:~:text=PySpark%20is%20an%20interface%20for,data%20in%20a%20distributed%20environment.)

6️⃣ برای ارتباط با هسته‌ی اسپارک از این کتابخانه استفاده می‌کنیم که بتوانیم به زبان پایتون، با اسپارک تعامل داشته باشیم.

7- kafka-python (https://kafka-python.readthedocs.io/en/master/)

7️⃣ برای تعامل با کافکا از این کتابخانه استفاده می‌کنیم. آپاچی کافکا یکی از بهترین ابزارها برای برقراری پردازش استریم می‌باشد.

🛑 نکته: بعد از آشنایی با پایتون، بهترین روش برای یادگیری حرفه‌ای این کتابخانه‌ها، مراجعه به مستندات آنهاست (از طریق وبسایت خود کتابخانه).

▶️ Reference: https://www.kdnuggets.com/7-python-libraries-every-data-engineer-should-know