Seiring dengan kompleksnya pekerjaan dalam bidang SIG, tentunya tidak jarang kita menemukan suatu datasert yang terdiri dari bergiga-giga ukuran filenya, dengan semakin besarnya ukuran dataset,akan banyak ditemukan overlaping features yang mengakibatkan lambat atau gagalnya proses geoprocessing. kegagalan ini umumnya disebabkan oleh resource sistem yang terbatas, manajemen yang salah, data yang buruk, dan olerlap yang sangat banyak dan tidak mungkin diproses dengan resource yang tersedia. Pesan error yang sering muncul adalah “Invalid Topology [4GB_FILE_LIMIT]”, atau “Out of Memory”, atau bahkan aplikasi menjadi crash/error.
Pada ArcGIS 10.1, peningkatan dilakukan untuk memperbaiki kinerja khususnya pada saat menangani data yang kompleks dan besar. dan dengan sedikit tips dibawah ini akan turut membantu anda untuk memastikan bahwa pemrosesan data besar dan kompleks akan berhasil :
1. Prasyarat hardware yang baik, semakin banyak RAM yang digunakan semakin baik,
2. Jangan ada interferensi oleh proses lain, ketika menjalankan proses untuk data yang besar, jangan membuka aplikasi lainnya, misalnya game atau program berat lainnya.
3. Prasyarat input data yang harus dipenuhi, misalnya jenis data yang bisa diinputkan, format seperti apa, dan lain-lainnya.
4. Sebelum melaksanakan proses geoprocessing, selalu lakukan pengecekan jika terdapat kesalahan geometri, dengan tool “CheckGeometry ” dan gunakan tool “RepairGeometry” untuk memperbaikinya, geometri yang rusak dapat menggagalkan proses geoprocessing
5. Perhatikan limitasi/batasan data, SHP dan Geodatabase personal mempunyai batasan ukuran sampai 2 GB saja, jika output mempunyai kisaran ukuran data yang lebih tinggi dari batasan itu, maka proses akan gagal, gunakan geodatabase yang non personal.
6. Jangan menggunakan opsi output dengan pilihan “in_memory” atau data output disimpan temporer di memory, karena ini akan memakan resource memory yang sangat besar, hanya gunakan jika data yang digunakan relatif kecil
7. Cek kembali data yang besar, dan bila memungkinkan potong-potong menjadi bagian2 yang kecil, dengan menggunakan tool “Dice” dikarenakan ada kasus dimana data begitu besar dan memori tidak mampu menghandle pemrosesannya, tool ini akan memotong-motong data besar menjadi data yang lebih kecil.
8. Analisa kerapatan vertice di data anda. Jika data anda mengandung vertice yang jumlahnya mungkin jutaan, coba ditelaah ulang apakah skala data output yang dibutuhkan yang detail (akurasi vertex detail), jika tidak anda dapat menyederhanakannya sehingga mengurangi vertice yang diolah nantinya.
9. Analisa desain Geodatabase anda, bagaimana anda menyusun dan menyimpan data memberi pegaruh terhadap performa saat proses,
10. Cek kembali referensi spasial pada dataset anda, proyeksi dan koordinat, sesuaikan dengan kebutuhan analisa.
REKOMENDASI TAMBAHAN :
a. Gunakan sistem operasi 64 Bit yang mendukung lebih banyak memori, 32bit OS hanya terbatas untuk ram 3,5 GB saja sedangkan 64bit windows sebagai contoh bisa sampai 192 GB memori. dan ArcGIS Desktop dengan kemampuan deteksi ram, dengan aplikasi 32bit yang berjalan di OS 64 bit dapat mengakses dua kali memori lebih banyak.
b. Jika ada gunakan aplikasi yang sudah native 64bit di atas OS 64 bit, ini merupakan kombinasi yang paling optimal. sebagai contoh ArcGIS server sudah native ke 64Bit dan versi 10.1 SP1 dari ArcGIS Desktop sudah dilengkapi dengan pemrosesan 64bit
c. Python yang digunakan oleh ArcGIS masih terbatas pada 32 bit, tetapi ArcGIS Desktop sendiri sudah mengimplementasikan LAA yang bisa mendeteksi OS 64 bit dan bisa menggunakan memori dua kali lipat, jika anda ingin emmanfaatkan fitur LAA, jalankan script python anda dari ArcGIS Command Line. Sedikit catatan pada windows 32bit, untuk menggunakan LAA, anda harus melakukan seting manual yang dapat dilihat di sini
d. Jangan menggunakan dua atau lebih proses secara simultan, misalnya menggunakan tool dice untuk memotong data trus otomatis dimasukkan ke proses batch overlay. ini akan sangat mempengaruhi performa dan biasanya merakhir dengan error memori. jika memungkinkan gunakan batch pada beberapa nodes yang berbeda
Credit : Ken Hartling