واژه “داده حجیم” یا “بیگ دیتا” به آسانی از معنی لغات آن قابل تشخیص است و به میزان زیادی از اطلاعات ارتباط پیدا می کند. اما کاربرد اصلی این واژه بیشتر در صنعت IT و بالاخص در زمینه تکنولوژی های وب است. مشهورترین کاربران تکنولوژی های “بیگ دیتا” به آسانی قابل حس زدن هستند. درست حدس زدید: موتورهای جستجو مانند “گوگل” و “بینگ”. خوب است بدانید که تقریبا تنها همین دو موتور جستجو وجود دارد و سایر وبسایت هایی که دارای موتور جستجو هستند (مانند یاهو یا msn یا …)، از نتایج جستجوی یکی از این دو موتور جستجو استفاده می کنند. در این نوشته، من می خواهم به اختصار در مورد تکنولوژی های تجاری مورد استفاده در صنعت “داده حجیم” یا “بیگ دیتا” صحبت کنم.
یکی از مشهورترین این تکنولوژی ها، “هدوپ” (Hadoop) است. هدوپ یک فضای کاری یا اکوسیستم بزرگ است که شامل زیر مجموعه های فراوانی است مانند: آپاچی هیو (Apache Hive)، آپاچی پیگ (Apache Pig)، ایمپالا (Impala)، آپاچی ماهوت (Apache Mahout)، زوکیپر (Zookeeper)، آپاچی اچ بیس (Apache HBase) و …
در بیگ دیتا، داده ها در واحد ذخیره داده توزیع شده، ذخیره می شوند و این شبیه پایگاه های داده عادی مبتنی بر SQL نیست که داده ها تنها در یک مکان ذخیره می شوند. هدوپ از “مدل برنامه نویسیMapReduce ” برای دسترسی به داده ها و واکشی داده ها از پایگاه داده، استفاده می کند.
هدوپ از میان پروژه های طراحی شده در کمپانی گوگل برای پردازش داده در سال ۲۰۰۶، ایجاد گردید، اما پس از مدتی به صورت گسترده ای در سایر کمپانی های بزرگ سراسر دنیا، مورد استفاده گردید. هدوپ دارای گواهینامه آپاچی است و جالب است بدانید، اکثر تکنولوژی های نوین در حوزه نرم افزار و IT، توسط گواهینامه های “بنیاد نرم افزاری آپاچی” یا “MIT”، تصدیق می شوند.
ما می توانیم سایر تکنولوژی های بیگ دیتا را به این صورت نام ببریم:
Apache Cassandra, NoSql databases like MongoDB, RapidMiner, Elasticsearch, Apache Kafka, Apache Spark, Splunk, RainStor, Hunk, Presto, ….
اما در این بین، هدوپ دارای کاربران بیشتری است و به آسانی در سرورهای ابری مانند AWS یا Azure یا Cloudera و … قابل دسترسی است و در چند دقیقه، شما می توانید هدوپ را در این سرورهای ابری تهیه و نصب کنید.
