MATERI IV. HETEROGENITY IN STRUCTURE
Heterogenity in Structure
- Kompleksitas Media Object terdiri dari media object itu sendiri, disajikan secara selaras atau singkron
- Beberapa standart Multimedia:
- SGML/XML
- HyTime
- SMIL
- MHEG
- VRML & X3D
- MPEG7 & MPEG21
Semantic Gap
Tidak hanya objek yang kompleks (dijelaskan menggunakan standar hypermedia, seperti X3D, SMIL, MPEG7, atau HTML) yang memerlukan struktur, model nonatomic untuk representasi. Bahkan benda dari jenis media yang relatif sederhana, seperti gambar dan video, mungkin perlu sifat lokal yang beragam dan keterkaitan patiotemporal kompleks. Sebagai contoh, sebuah studi eksperimental yang dilakukan oleh H. Nishiyama et al. [1994] menunjukkan bahwa pengguna sedang melihat lukisan atau gambar menggunakan dua pola utama. Pola pertama terdiri dari melihat seluruh gambar kasar, hanya berfokus pada tata letak gambar kepentingan tertentu. Pola kedua terdiri dari berkonsentrasi pada objek tertentu dalam gambar. Dalam arti, kita dapat melihat satu gambar sebagai objek senyawa yang mengandung banyak sub-benda, masing-masing sesuai dengan daerah gambar yang secara visual koheren dan / atau semantik bermakna (misalnya, mobil, manusia), dan hubungan spasial mereka.
Setiap objek media dapat dilihat sebagai kumpulan saluran informasi; beberapa saluran informasi tersebut (seperti warna dan bentuk) adalah tingkat rendah (bisa berasal dari objek media), sedangkan yang lain (seperti label semantik melekat pada benda oleh penonton) adalah tingkat yang lebih tinggi (tidak dapat diturunkan dari objek media tanpa pengetahuan eksternal).Multimedia pemrosesan query biasanya membutuhkan kesenjangan semantik antara apa yang disimpan dalam database dan bagaimana pengguna menafsirkan query dan data yang akan dijembatani melalui siklus umpan balik relevansi. Proses ini sendiri biasanya statistik dan, akibatnya, adanya ketidaktepatan probabilistik dalam hasil.
Imprecision & Subjectivity
- Feature Extraction umumnya tidak tepat
Misalnya, tingkat kesalahan yang tinggi ditemui dalam data motion-capture dan umumnya disebabkan oleh banyak faktor lingkungan yang terlibat, termasuk kamera dan kecepatan objek. Khusus untuk video / audio / gerak aliran, data yang diambil melalui modul ekstraksi fitur hanya statistik yang akurat dan dapat didasarkan pada frame rate atau posisi kamera video yang berhubungan dengan objek yang diamati - Multimedia querying system often rely on “similarity” query (v.s. exact matching)
Sebaliknya, dalam banyak kasus, database multimedia perlu mempertimbangkan fitur nonidentical tetapi mirip dengan menemukan objek data yang wajar untuk query. Dalam banyak kasus, hal ini juga diperlukan untuk memperhitungkan kesamaan semantik antara penjelasan terkait dan parsialnya, di mana benda-benda berhasil pada beberapa persyaratan dalam query tetapi gagal untuk memenuhi semua kondisi query. - Ketidaktepatan dapat disebabkan struktur indeks yang tersedia, yang sering tidak sempurna.
Karena ukuran data, banyak sistem bergantung pada clustering dan klasifikasi algoritma untuk kadang-kadang tidak sempurna pemangkasan alternatif pencarian selama pemrosesan query. - Query formulation methods vs user’s subjective intention: Query by example, Query by Description, Query by profile/recommendation