STORAGE MANAGEMENT

TUGAS ARSITEKTUR SISTEM DAN ARTEFAK DIGITAL Dosen Pengampu: Dr. Syarif Hidayat, M.I.T Disusun Oleh: Nama : Sudirman NIM : 22917036 PROGRAM MAGISTER TEKNIK INFORMATIKA FAKULTAS TEKNIK INDUSTRI UNIVERSITAS ISLAM INDONESIA YOGYAKARTA 2023 STORAGE MANAGEMENT Teknologi RAID Teknologi RAID adalah singkatan dari Redundant array of Independent Disk yang merupakan suatu teknologi di dalam penyimpan data computer seperti hardisk maupun SSD, yang dipakai untuk melakukan implementasi aplikasi atau fitur toleransi kesalahan di media penyimpanan computer dengan cara redundansi atau penumpukkan data dengan software maupun hardware RAID. Jadi, RAID adalah organisasi disk memory dengan system akses parallel dan redundansi yang memberikan hasil resultan kelajuan disk yang lebih cepat. Dalam RAID terdapat beberapa level, yaitu: Raid pada level 0 memakai sekumpulan disk dengan striping di level biok, tanpda adanya redundansi. Maka dari itu ia hanya menyimpan dan melakukan striping blok data di dalam sejumlah disk. Penerapannya adalah dengan Keseluruhan disk yang dimiliki akan berfungsi sebagai tempat penyimpanan data. Data dipecah (striped) menjadi beberapa blok data dan masing masing blok disimpan pada anggota dari RAID 0 pada disk yang berbeda. RAID level 1 adalah disk mirroring, memalsukan atau menduplikat di masing masing disk. Langkah langkah ini bisa memberikan peningkatan terhadap kinerja disk, namun jumlah disk yang di perlukan juga berubah menjadi 2 kali lipat. Maka dari itu dana nya menjadi sangat lah mahal. Cara kerjanya adalah dengan menyalin/menduplikasi/membackup data dari sebuah hardisk ke hardisk lain dengan tujuan jika salah satu hardisk rusak , maka data tetap bisa diakses dari hardisk lainnya(hardisk yang menjadi mirror/backup) untuk menggantikan fungsi hardisk utama sampai diganti dengan hardisk yang baru, tanpa menurunannya performance dari keseluruhan hardisk, selama tidak semua hardisk yang mengalami kerusakan fisik secara bersamaan. RAID level 2 ini adalah pengorganisasian dengan error – correcting – code (ECC). Seperti di memory server EEC yang di mana pendeteksian titik terjadinya error memakai paritas bit. Di masingn masing byte data memiliki suatu paritas yang bersesuaian yang merepresentasi kan jumlah bit pada byte data tersebut, yang dimana paritas bit = 0 apabila jumlah bit parasite = 1 atau ganjil atau parasitas bit=0 genap. Jadi apabila salah satu dari bit di data berubah, parasitas berubah dan tidak cocok dengan parasitas bit yang sudah tersave atau tersimpan. Dengan begitu, jika terjadi suatu masalah atau kegagalan di salah satu disk, data bisa di bentuk ulang dengan mendeteksi atau reading error – correction bit di disk yang lain nya. RAID LEVEL 3 adalah suatu pengorganisasian dengan paritas bit interleaved. Dalam pengorganisasian level ini hampir sama hal nya dengan RAID level 2, hanya saja pada RAID Level 3 ini membutuhkan suatu disk redundan, seberapa pun banyak atau jumlah dari kumpulan disk nya. Cara kerjanya hanya membutuhkan sebuah disk sebagai redundant/parity dari sekian banyak disk yang dipakai. RAID Level 3 juga menggunakan data stripping dan mengakses disk yang ada secara paralel. RAID Level 4 ini adalah suatu pengorganisasian dengan paritas blok interleaved, yakni memakai striping data di level blok, dengan mengesave atau menyimpan suatu paritas blok di suatu disk yang berlainan untuk masing masing blok data di disk lain yang saling bersesuaian. Cara kerjanya dengan menggunakan striping data pada level blok, menyimpan sebuah paritas blok pada sebuah disk yang terpisah untuk setiap blok data pada disk lain yang bersesuaian RAID Level 5 ini adalah suatu pengorganisasian dengan paritas blok interleaved yang tersebar. Paritas dan juga data yang di sebar di seluruh disk termasuk pada suatu disk tambahan nya. Cara kerjanya, Pada setiap blok, salah satu dari disk akan menyimpan paritas dan disk yang lainnya akan digunakan sebagai tempat penyimpanan data RAID Level 6 ini dinamai juga dengan redundansi p + q, seperti hal nya pada RAID level 5, namun menyimpan sebuah informasi redundan tambahan yang nantinya berguna untuk mengantisipasi terjadinya kegagalan dari sejumlah disk secara bersamaan. RAID level 7 mencakup sistem operasi dan prosesor tertanam yang real time untuk mendapatkan kemampuan baca/tulis data atau sistem I/O dan kemampuan penyimpanan data yang baik. RAID Level 7 bisanya digunakan pada penyimpanan data komputer dari suatu perusahaan. RAID level ini menggabungkan RAID level 3 dan RAID level 4. RAID level 7 memiliki sistem cache yang terintegrasi dan prosesor yang dirancang khusus untuk mengelola array yang dapat membantu mencapai sistem baca/tulis yang lebih cepat. Ketergantungan terhadap disk paritas juga lebih rendah karena penggunaan perangkat keras tambahan sebagai pengontrol yaitu cache dan prosesor. Jadi, data dikontrol oleh sistem operasi, dan RAID 7 juga menyediakan 3 parity/paritas. RAID 10 biasa juga disebut dengan RAID 1+0 atau RAID 1 dan 0, mirip dengan RAID 0+1, cuma perbedaanya adalah penggunaan level RAID nya dibalik. RAID 10 sebenarnya bukan level standar RAID yang diciptakan untuk driver Linux MD. RAID 10 membutuhkan minimal 4 buah hardisk. RAID 10 adalah kombinasi antara RAID 0 (data striping) dan RAID 1 (mirroring). Memiliki performa baca/tulis & redundansi data tertinggi (memiliki toleransi kerusakan hingga beberapa hardisk). RAID 10 memiliki toleransi kerusakan 1 hardisk per mirror stripe. RAID 10 biasanya banyak diimplementasikan pada database, web server & server aplikasi atau server-server yang membutuhkan performa hardisk tinggi RAID 50 (atau juga disebut dengan RAID 5+0) merupakan kombinasi block-level striping dari RAID 0 dengan distribusi parity dari RAID 5. RAID 50 membutuhkan minimal 6 hardisk. Jika salah satu hardisk dari masing-masing RAID 5 ada yang rusak, data akan tetap aman. Akan tetapi jika hardisk yang rusak tidak segera diganti, dan hardisk dari RAID 5 tersebut ada yang rusak lagi, maka semua data di RAID 50 akan rusak. Penggantian hardisk harus dilakukan agar data tetap terjaga redundansinya. RAID 60 (atau juga disebut dengan RAID 6+0) merupakan kombinasi block-level striping dari RAID 0 dengan distribusi parity dari RAID 6. RAID 60 membutuhkan minimal 8 hardisk. RAID 50 dan RAID 60 tidak banyak perbedaan, yang membedakan hanya pada toleransi kerusakan hardisk. Jika pada RAID 50 toleransi kerusakannya 1 hardisk per sub-array, sedang di RAID 60 adalah 2 hardisk per sub-array. RAID 60 biasanya digunakan pada solusi Hight Availability, Mission Critical Apps, atau server yang membutuhkan kapasitas penyimpanan yang besar. Kelebihan dan Kekurangan dari RAID level Raid 0 Stiping Data dalam sistem RAID 0 dibagi menjadi blok-blok yang ditulis di semua drive dalam array. Dengan menggunakan banyak disk (minimal 2) secara bersamaan, Sistem ini menawarkan kinerja I/O superior. Kinerja ini dapat ditingkatkan lebih lanjut dengan menggunakan banyak controller, idealnya satu controller per hardisk Kelebihan RAID 0 menawarkan performa read dan write yang luar biasa. Tidak ada overhead yang disebabkan oleh kontrol paritas. Semua kapasitas penyimpanan digunakan, tidak ada overhead. Teknologi ini mudah diterapkan Kekurangan RAID 0 tidak toleran terhadap kesalahan. Jika satu Hardisk gagal, semua data dalam array RAID 0 hilang. Seharusnya tidak digunakan untuk sistem yang kritis. Penggunaan yang ideal RAID 0 ideal untuk penyimpanan data non-kritis yang harus dibaca/ditulis pada kecepatan tinggi, seperti pada pekerjaan editing gambar maupun video. Jika Anda ingin menggunakan RAID 0 murni untuk menggabungkan kapasitas penyimpanan beberapa hardisk dalam satu volume, pertimbangkan untuk memasang satu hardisk yang terpisah dari drive yang lain. Ini didukung di Linux, OS X serta Windows dan memiliki keuntungan apabila terjadi kegagalan drive tunggal tidak berdampak pada data di disk lain. Level 1 – Mirror Data disimpan dua kali dengan menulisnya ke 2 Hardisk. Jika Hardisk gagal/rusak, controller menggunakan hardisk utama atau hardisk cadangan untuk pemulihan data dan melanjutkan operasi. Sobat memerlukan setidaknya 2 hardisk untuk RAID 1 array. Kelebihan RAID 1 menawarkan kecepatan baca yang sangat baik dan kecepatan tulis yang sebanding dengan satu hardisk. Dalam hal hardisk rusak, data tidak harus diperbaiki manual, sistem secara otomatis merecovery data dari hardisk cadangan. RAID 1 adalah teknologi yang sangat sederhana. Kekurangan Kerugian utamanya adalah kapasitas penyimpanan yang efektif hanya setengah dari kapasitas total hardisk karena semua data ditulis dua kali. RAID 1 software tidak selalu memungkinkan hot swap dari hardisk yang rusak. Artinya, hardisk yang rusak hanya dapat diganti setelah mematikan komputer yang digunakan. Untuk server yang digunakan secara bersamaan oleh banyak orang, ini mungkin tidak dapat ditolerir. Sistem seperti itu biasanya menggunakan controller perangkat keras yang mendukung hot swapping. Level 5 Stiping dan Parity RAID 5 adalah level RAID aman yang paling umum. Diperlukan setidaknya 3 hardisk untuk memecah data hingga 16 blok, parity checksum dari semua blok data ditulis. Data parity (sistem pendeteksi eror) tidak ditulis ke hardisk tetap, melainkan tersebar di semua hardisk. Jelasnya perthatikan gambar di bawah ini. Dengan menggunakan data parity, komputer dapat merecovery yang hilang dengan memanfaatkan blok data lainnya. Itu berarti RAID 5 dapat mengatasi satu kegagalan hardisk tanpa kehilangan data/akses ke data. Meskipun RAID 5 dapat digunakan lewat software, menggunakan controller perangkat keras lebih kami rekomendasikan. Biasanya controller memiliki cache tambahan untuk meningkatkan kinerja sistem. Kelebihan Proses Baca data sangat cepat tetapi ketika menulis data agak lambat (karena parity/paritas yang harus dihitung). Jika hardisk rusak, sobat masih memiliki akses ke semua data, dan ketika hardisknya sudah diganti, sistem secara otomatis akan merecovery data. Kekurangan Kegagalan hardisk berpengaruh pada throughput, meskipun ini masih dapat ditorerir. Ini teknologi yang rumit. Jika salah satu disk dalam array menggunakan disk 4TB gagal dan diganti, memulihkan data (waktu rekondisi) dapat memakan waktu satu hari atau lebih lama, tergantung beban pada array dan kecepatan controller. Jika disk lain juga ikut rusak selama proses recovery, data hilang selamanya. Penggunaan yang ideal RAID 5 adalah sistem serba guna yang menggabungkan penyimpanan efisien dengan keamanan yang sangat baik dan kinerja yang layak. Ini sangat ideal untuk file dan server aplikasi yang memiliki penyimpanan data terbatas. Level 6 – Stiping dengan Parity Ganda RAID 6 seperti RAID 5, tetapi data parity ditulis ke dua drive. Artinya, membutuhkan setidaknya 4 hardisk dan voila, kita dapat mengatasi 2 hardisk rusak secara bersamaan. Kemungkinan dua drive rusak pada saat yang sama tentu saja sangat kecil. Namun, jika hardisk dalam sistem RAID 5 mati dan digantikan oleh hardisk baru, dibutuhkan beberapa jam atau bahkan lebih dari sehari untuk merecovery kembali data yang ada. Jika hardisk lain rusak selama waktu itu, kita masih dapat menyelamatkan datanya. Kelebihan Seperti dengan RAID 5, read data sangat cepat. Jika dua hardisk rusak, Anda masih memiliki akses ke semua data, bahkan ketika drive yang gagal sedang diganti. Jadi RAID 6 lebih aman daripada RAID 5. Kekurangan Write data lebih lambat daripada RAID 5 karena data parity tambahan yang harus diproses. Kegagalan drive berpengaruh pada throughput, meskipun ini masih dapat ditolerir. Ini adalah teknologi yang rumit. Merecovery kembali data di salah satu hardisk rusak dapat memakan waktu lama. Penggunaan yang ideal RAID 6 adalah sistem serba guna yang menggabungkan penyimpanan efisien dengan keamanan yang sangat baik dan kinerja yang layak. Lebih disukai daripada RAID 5 di file dan server aplikasi yang menggunakan banyak drive besar untuk penyimpanan data. Level 10 – menggabungkan level 1 dan level 0 Teknologi yang menggabungkan kelebihan (dan kerugian) dari RAID 0 dan RAID 1 dalam satu sistem tunggal ini adalah konfigurasi RAID bersarang atau hibrida. Ini memberikan keamanan dengan menggandakan semua data pada hardisk sekunder dengan striping data di setiap hardisk untuk mempercepat transfer data. Jelasnya, perhatikan gambar berikut. Kelebihan Jika ada yang eror dengan salah satu disk dalam konfigurasi RAID 10, waktu recovery sangat cepat. Kekurangan Setengah dari kapasitas penyimpanan digunakan untuk menggandakan data, jadi dibandingkan dengan RAID 5 atau RAID 6 array, ini adalah cara yang mahal untuk memiliki redudansi. Sedangkan Untuk Level 2, 3,4, dan 7 itu memang ada tetapi tidak umum (RAID 3 pada dasarnya seperti RAID 5 tetapi dengan data parity selalu ditulis ke hardsik yang sama). Ini hanyalah pengantar sederhana untuk sistem RAID dan Semua tingkat RAID kecuali RAID 0 menawarkan perlindungan dari kerusakan/kegagalan penyimpanan. Sistem RAID 6 bahkan dapat bertahan meskipun 2 disk mati secara bersamaan. Untuk keamanan lengkap, masih perlu mencadangkan data dari sistem RAID. Dan Back-up itu akan berguna jika semua disk gagal secara bersamaan karena lonjakan listrik dan sistem penyimpanan dicuri. Back-up dapat disimpan di luar lokasi yang berbeda. Ini berguna ketika bencana alam atau kebakaran menghancurkan tempat kerja Anda. USECASE Teknologi Erasure Coding Erasure Coding adalah proses perlindungan dan penyimpanan data yang melaluinya objek data dipisahkan menjadi komponen/fragmen yang lebih kecil dan masing -masing fragmen tersebut dikodekan dengan bantalan data yang berlebihan. EC mengubah fragmen objek data menjadi fragmen yang lebih besar dan menggunakan pengidentifikasi objek data primer untuk memulihkan setiap fragmen. Pengodean penghapusan juga dikenal sebagai Forward Error Correction (FEC). DAS (Direct Attached Storage) Direct-Attached Storage (DAS) merujuk pada sistem penyimpanan digital secara langsung yang terpasang ke server atau workstation, tanpa storage network di antaranya. Dengan kata lain storage yang menempel langsung (point-to-point) pada server atau komputer. Penyimpanan DAS hanya langsung diakses dari host dimana DAS terpasang. Sebuah DAS tidak memasukkan perangkat keras jaringan dan lingkungan operasi terkait untuk memberikan fasilitas dalam berbagi sumber daya penyimpanan secara independen. Termasuk dalam kategori Direct-Attached Storage yaitu apabila menggunakan eksternal storage yang dihubungkan ke channel eksternal SCSI card yang digunakan. Teknologi ini cocok untuk kondisi yang membutuhkan akses cepat ke system disk karena DAS memiliki transfer rate yg sangat cepat antara server dan hard disk. Jadi, banyak aplikasi yang umumnya compatible dengan teknologi ini. DAS juga cocok untuk jaringan yang kecil. Dari segi biaya serta kapasitas media penyimpanan (hard disk), maka teknologi ini masih jauh lebih murah dibandingkan dengan teknologi yang lain. Yang termasuk ke dalam kategori DAS yakni jika menggunakan storage eksternal yang nantinya dihubungkan ke sebuah channel eksternal SCSI card yang sedang digunakan. Teknologi yang satu ini sangat cocok untuk kondisi yang sedang membutuhkan akses cepat ke dalam system disk karena memang DAS memiliki kecepatan transfer rate yang sangat cepat diantara server dan juga hard disk. DAS juga sangat cocok digunakan untuk jaringan yang kecil dan menengah. Dari harga dan kapasitas media penyimpanannya, maka teknologi yang satu ini masih jauh terasa lebih murah jika dibandingkan dengan teknologi yang lainnya. Kekurangan DAS DAS tak membutuhkan jaringan yang besar atau luas sehingga cocok digunakan untuk perusahaan kecil menengah DAS memiliki transfer rate yang cukup cepat karena komputer client terhubung langsung dengan komputer server, sehingga pengiriman data bisa langsung Harganya jauh lebih murah karena tidak membutuhkan hardware independen seperti halnya NAS Cara konfigurasinya pun cukup mudah karena tidak banyak komponen yang harus di gunakan. Kelebihan DAS Karena menggunakan computer server sebagai media penyimpanan, terkadang terjadi masalah saat melakukan transfer file. Hal tersebut terjadi karena bandwith pada computer server termakan oleh aplikasi yang berjalan. User tidak bisa mengakses data atau file jika computer server mati. Daya tahan yang kurang. Pasalnya, DAS menggunakan computer server sebagai media penyimpanan, computer mudah rusak jika terus dihidupkan. Untuk menambah kapasitas penyimpanan, server harus dimatikan terlebih dahulu tanpa adanya alert kepada user. Hal ini yang membuat perusahaan besar tidak menggunakan teknologi DAS sebagai media penyimpanannya. Banyak memakan daya listrik. USECASE SAN (Storage Area Network) Storage Area Network (SAN) adalah jaringan komputer khusus yang dirancang untuk menghubungkan server dengan penyimpanan data eksternal atau storage. SAN memungkinkan server untuk mengakses penyimpanan data dari jarak jauh, sehingga memungkinkan perusahaan untuk mengelola dan menyimpan data secara terpusat. Dalam SAN, storage terhubung ke jaringan menggunakan perangkat keras seperti switch, router, dan adapter. Jaringan SAN dapat terdiri dari beberapa server yang terhubung ke storage, sehingga memungkinkan beberapa server untuk berbagi data dari storage yang sama. Manfaat utama dari SAN adalah meningkatkan kinerja dan efisiensi penyimpanan data, serta memberikan keamanan yang lebih baik. Dengan menggunakan SAN, data dapat disimpan secara terpusat, sehingga memungkinkan pengelolaan data yang lebih efektif dan efisien. Selain itu, SAN juga memungkinkan server untuk mengakses storage dari jarak jauh, sehingga memudahkan akses ke data.  SAN memberikan manfaat dalam meningkatkan kinerja dan efisiensi penyimpanan data serta memberikan keamanan yang lebih baik. Namun, penggunaan SAN juga memiliki beberapa masalah seperti keamanan data dan biaya implementasi yang cukup tinggi. Dalam mengimplementasikan SAN, perusahaan perlu mempertimbangkan beberapa faktor seperti kebutuhan penyimpanan data, ketersediaan bandwidth jaringan, dan keamanan data serta memilih teknologi yang sesuai dengan kebutuhan dan anggaran yang dimiliki. Kelebihan SAN Availability: Satu copy dari data jadi dapat diakses semua host melalui jalur yang berbeda dan semua data lebih efisien diaturnya. Reliabilit: infastuktur transport data yang dapat menjamin tingkat kesalahan yang sangat minimal, dan kemampuan dalam mengatasi kegagalan. Scalability: Server maupun media penyimpanan dapat ditambahkan secara independent satu dan llainnya, dengan tanpa pembatas harus menggunakan sistem yang proprietary. Performance: Fibre Channel (Standar enabling teknologi untuk interkonektifitas SAN) mempunyai bandwidth 100MBps bandwidth dengan overhead yang rendah, dan SAN akan memisahkan trafik backup dengan trafik standar LAN/WAN. Manageability: Berkembangnya perangkat lunak dan standar baik untuk FC-AL (Fibre Channel Arbitrated Loop) maupun Fibre Channel Fabric memungkinkan managemen dilakukan secara terpusat dan koreksi, deteksi kesalahan yang proaktif. Return On Information Management: Karena bertambah tingkat redudansi dan kemampuan managemen yang baik, maupun kemampuan untuk di tambahkan server dan media penyimpanan secara independen. Kekurangan SAN Biaya SAN sangat membutuhkan biaya yang tinggi untuk implementasi dan pemeliharaan, SAN membutuhkan perangkat keras sehingga membutuhkan investasi yang signifikan, pemeliharaan SAN memerlukan keahlian khusus dalam teknologi jaringan dan penyimpanan data. USECASE SAN (Network Attached Storage) sebuah server dengan sistem operasi yang dikhususkan untuk melayani kebutuhan berkas data, NAS dapat di akses langsung melalui jaringan lokal dengan protokol seperti tcp/ip, NAS server ini bisa diinstall di komputer apa saja dengan syarat HDD lebih dari satu, karena harddisk yang digunakan untuk menginstall NAS server digunakan semuanya, tidak disisakan sebuah partisi, NAS bisa diibaratkan dengan sebuah gudang penyimpanan yang bisa digunakan bersama-sama, NAS juga bisa di atur untuk masalah hak akses file atau folder Kelebihan NAS Keamanan data data redundancy. Sistem NAS dengan beberapa harddisk akan otomatis menduplikasi data-data didalamnya ke harddisk yang lain, Penggunaan Bersama Penyimpanan cloud Persolan Kekurangan NAS Harga Kecepatan Setup lebih ribet Hadoop Hadoop adalah sebuah framework yang memungkinkan anda untuk melakukan pengolahan data dengan ukuran yang sangat besar dengan menggunakan beberapa komputer sekaligus. Hadoop mengkoneksikan semua perangkatnya hingga ke layer aplikasi membagi proses ke beberapa komputer sekaligus, Fungsi dari haddop Hadoop Common Hadoop Common adalah library-library umum yang mendukung library lainnya untuk dapat digunakan. Ini terkait perintah-perintah dasar yang ada pada Hadoop. Hadoop Distributed File System (HDFS™) Berbeda dengan system file data pada umumnya yaitu FAT32 dan NTFS yang dapat menyimpan 1 file data berkisaran antara 4 GB hingga 16 TB. HDFS adalah format sistem file yang dapat menampung 1 file data yang sangat besar dengan mengecilkan cluster sekelompok host data storage. Hadoop YARN Hadoop YARN adalah framework yang digunakan untuk mengatur pekerjaan secara terjadwal (schedule) dan manajemen cluster data. Hadoop MapReduce Hadoop MapReduce adalah paradigma pemrosesan data yang mengambil spesifikasi big data untuk menentukan bagaimana data tersebut dijadikan input dan output untuk diterapkan. MapReduce terintegrasi erat dengan HDFS untuk menyimpan data yang diperlukan. Kelebihan Hadoop Kecepatan Hemat Biaya Skalibilitas Kekurangan Hadoop Persyaratan penyimpanan Dukungan SQL terbatas Keamanan Terbatas Keterbatasan Komponen USECASE DAFTAR PUSTAKAS https://sis.binus.ac.id/2021/07/23/teknologi-raid/ https://www.prepressure.com/library/technology/raid https://lasernet.co.id/pengertian-direct-attached-storage-das-dan-fungsinya.html https://blog.dimensidata.com/pengertian-storage-server-das-nas-san/ https://idcloudhost.com/blog/apa-itu-storage-area-network-san/ https://it.telkomuniversity.ac.id/storage-area-network/ https://ruanglaptop.com/apa-itu-nas/ http://stmcyber.blogspot.com/2017/01/pengertian-kelebihan-dan-kekurangan.html https://www.advernesia.com/blog/hadoop/pengertian-dan-fungsi-hadoop-dalam-big-data/