Perbandingan Jenis TF terhadap Hasil Evaluasi Information Retrieval

2021 ◽  
Vol 8 (2) ◽  
pp. 207
Author(s):  
I Putu Gede Hendra Suputra ◽  
Kiki Dwi Prebiana ◽  
Frisca Olivia Gorianto
Keyword(s):  
Information Retrieval ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency ◽  
F Measure

Pada sebuah sistem temu kembali,salah satu cara untuk mencari kesamaan antara query dengan dokumen adalah dengan menggunakan Term Frequency – Inverse Document Frequency atau TF-IDF. TF yang umum digunakan adalah langsung menggunakan jumlah term frequency padahal banyak jenis TF lainnya yang dapat dikombinasikan dengan IDF. Penelitian ini akan mengkombinasikan 4 jenis TF, yaitu Natural TF, Normalization/max TF, Logaritma TF, dan Boolean TF dengan tujuan untuk mencari jenis TF mana yang lebih baik setelah dikombinasikan dengan IDF. Hasil penelitian menunjukkan bahwa.Logaritma TF adalah yang terbaik dengan nilai F-measure sebesar 0,00662. Keywords: TF-IDF, Natural TF, Normalization TF, Logaritma TF, Boolean TF

scholarly journals Sistem Rekomendasi Produk Pena Eksklusif Menggunakan Metode Content-Based Filtering dan TF-IDF

2020 ◽  
Vol 5 (3) ◽  
pp. 229
Author(s):  
Mariani Widia Putri ◽  
Achmad Muchayan ◽  
Made Kamisutara
Keyword(s):  
Information Retrieval ◽  
Customer Relationship Management ◽  
Relationship Management ◽  
Customer Relationship ◽  
Brand Awareness ◽  
Product Knowledge ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency ◽  
Content Based Filtering

Sistem rekomendasi saat ini sedang menjadi tren. Kebiasaan masyarakat yang saat ini lebih mengandalkan transaksi secara online dengan berbagai alasan pribadi. Sistem rekomendasi menawarkan cara yang lebih mudah dan cepat sehingga pengguna tidak perlu meluangkan waktu terlalu banyak untuk menemukan barang yang diinginkan. Persaingan antar pelaku bisnis pun berubah sehingga harus mengubah pendekatan agar bisa menjangkau calon pelanggan. Oleh karena itu dibutuhkan sebuah sistem yang dapat menunjang hal tersebut. Maka dalam penelitian ini, penulis membangun sistem rekomendasi produk menggunakan metode Content-Based Filtering dan Term Frequency Inverse Document Frequency (TF-IDF) dari model Information Retrieval (IR). Untuk memperoleh hasil yang efisien dan sesuai dengan kebutuhan solusi dalam meningkatkan Customer Relationship Management (CRM). Sistem rekomendasi dibangun dan diterapkan sebagai solusi agar dapat meningkatkan brand awareness pelanggan dan meminimalisir terjadinya gagal transaksi di karenakan kurang nya informasi yang dapat disampaikan secara langsung atau offline. Data yang digunakan terdiri dari 258 kode produk produk yang yang masing-masing memiliki delapan kategori dan 33 kata kunci pembentuk sesuai dengan product knowledge perusahaan. Hasil perhitungan TF-IDF menunjukkan nilai bobot 13,854 saat menampilkan rekomendasi produk terbaik pertama, dan memiliki keakuratan sebesar 96,5% dalam memberikan rekomendasi pena.

scholarly journals Analyzing Documents with TF-IDF

2019 ◽  
Author(s):  
Matthew J. Lavin
Keyword(s):  
Information Retrieval ◽  
Natural Language Processing ◽  
Natural Language ◽  
Language Processing ◽  
Text Analysis ◽  
Retrieval Method ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency

This lesson focuses on a foundational natural language processing and information retrieval method called Term Frequency - Inverse Document Frequency (tf-idf). This lesson explores the foundations of tf-idf, and will also introduce you to some of the questions and concepts of computationally oriented text analysis.

scholarly journals Peringkasan Teks Otomatis pada Modul Pembelajaran Berbahasa Indonesia Menggunakan Metode Cross Latent Semantic Analysis (CLSA)

2021 ◽  
Vol 7 (2) ◽  
pp. 153
Author(s):  
Yunita Maulidia Sari ◽  
Nenden Siti Fatonah
Keyword(s):  
Latent Semantic Analysis ◽  
Semantic Analysis ◽  
Text Summarization ◽  
Compression Rate ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Automatic Text Summarization ◽  
Document Frequency ◽  
Automatic Text ◽  
F Measure

Perkembangan teknologi yang pesat membuat kita lebih mudah dalam menemukan informasi-informasi yang dibutuhkan. Permasalahan muncul ketika informasi tersebut sangat banyak. Semakin banyak informasi dalam sebuah modul maka akan semakin panjang isi teks dalam modul tersebut. Hal tersebut akan memakan waktu yang cukup lama untuk memahami inti informasi dari modul tersebut. Salah satu solusi untuk mendapatkan inti informasi dari keseluruhan modul dengan cepat dan menghemat waktu adalah dengan membaca ringkasannya. Cara cepat untuk mendapatkan ringkasan sebuah dokumen adalah dengan cara peringkasan teks otomatis. Peringkasan teks otomatis (Automatic Text Summarization) merupakan teks yang dihasilkan dari satu atau lebih dokumen, yang mana hasil teks tersebut memberikan informasi penting dari sumber dokumen asli, serta secara otomatis hasil teks tersebut tidak lebih panjang dari setengah sumber dokumen aslinya. Penelitian ini bertujuan untuk menghasilkan peringkasan teks otomatis pada modul pembelajaran berbahasa Indonesia dan mengetahui hasil akurasi peringkasan teks otomatis yang menerapkan metode Cross Latent Semantic Analysis (CLSA). Jumlah data yang digunakan pada penelitian ini sebanyak 10 file modul pembelajaran yang berasal dari modul para dosen Universitas Mercu Buana, dengan format .docx sebanyak 5 file dan format .pdf sebanyak 5 file. Penelitian ini menerapkan metode Term Frequency-Inverse Document Frequency (TF-IDF) untuk pembobotan kata dan metode Cross Latent Semantic Analysis (CLSA) untuk peringkasan teks. Pengujian akurasi pada peringkasan modul pembelajaran dilakukan dengan cara membandingkan hasil ringkasan manual oleh manusia dan hasil ringkasan sistem. Yang mana pengujian ini menghasilkan rata-rata nilai f-measure, precision, dan recall tertinggi pada compression rate 20% dengan nilai berturut-turut 0.3853, 0.432, dan 0.3715.

scholarly journals System of Information Feedback on Archive Using Term Frequency-Inverse Document Frequency and Vector Space Model Methods

2020 ◽  
Vol 3 (1) ◽  
pp. 36-42
Author(s):  
Didit Suhartono ◽  
Khodirun Khodirun
Keyword(s):  
Information Retrieval ◽  
Vector Space ◽  
Vector Space Model ◽  
Retrieval Performance ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Space Model ◽  
Storage And Retrieval ◽  
Document Frequency ◽  
Speed Up

The archive is one of the examples of documents that important. Archives are stored systematically with a view to helping and simplifying the storage and retrieval of the archive. In the information retrieval (Information retrieval) the process of retrieving relevant documents and not retrieving documents that are not relevant. To retrieve the relevant documents, a method is needed. Using the Term Frequency-Inverse Document and Vector Space Model methods can find relevant documents according to the level of closeness or similarity, in addition to applying the Nazief-Adriani stemming algorithm can improve information retrieval performance by transforming words in a document or text to the basic word form. then the system indexes the document to simplify and speed up the search process. Relevance is determined by calculating the similarity values between existing documents by querying and represented in certain forms. The documents obtained, then the system sort by the level of relevance to the query.

An Improved TFIDF Algorithm in Text Classification

2014 ◽  
Vol 651-653 ◽  
pp. 2258-2261 ◽  
Author(s):  
Dong Dong Xu ◽  
Shao Bo Wu
Keyword(s):  
Information Retrieval ◽  
Text Classification ◽  
Cross Validation ◽  
Improved Method ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency ◽  
Fold Cross Validation

Term frequency/inverse document frequency (TF-IDF) is widely used in text classification at present, which is borrowed from Information Retrieval. Based on this conventional classical TF-IDF formula, we present a new TF-IDF weight schemes named CTF-IDF. The experiment shows that the improved method is feasible and effective. Furthermore, from the subsequent evaluations using 10-fold cross-validation, we can see the CTF-IDF greatly improves the accuracy of text classification.

scholarly journals Seleksi Fitur Bobot Kata dengan Metode TFIDF untuk Ringkasan Bahasa Indonesia

2018 ◽  
pp. 119
Author(s):  
Ni Komang Widyasanti ◽  
I Ketut Gede Darma Putra ◽  
Ni Kadek Dwi Rusjayanthi
Keyword(s):  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency ◽  
Bahasa Indonesia

Penyebaran informasi dalam bentuk teks digital semakin tak terbendung seiring perkembangan waktu. Kebutuhan akan membaca informasi juga tidak pernah berkurang, berdasarkan riset yang dilakukan pada lima kota besar di Indonesia sepanjang tahun 2015 oleh okezone.com menyatakan persentasi konsumsi berita secara online mencapai 96%. Salah satu solusi untuk mempermudah dan mempercepat pencarian informasi yang sesuai adalah dengan meringkas konten tersebut. TFIDF (Term Frequency Inverse Document Frequency) merupakan metode pembobotan dalam bentuk integrasi antar term frequency dengan inverse document frequency. Metode TFIDF digunakan pada penelitian ini untuk memilih fitur sebagai hasil ringkasan, dengan penerapannya pada seleksi fitur bobot kata. Nilai kepuasan pembaca sebesar 61,94%. Durasi ringkasan rata-rata 68,25 detik dengan jumlah kalimat dan kata rata-rata 31,875 dan 387,375. Penelitian dilakukan menggunakan jenis dokumen fiksi dan non-fiksi serta seleksi fitur disetiap paragrafnya, yang membedakannya dengan penelitian terkait sebelumnya. Kata Kunci: Ringkasan Teks Otomatis, Pembobotan TFIDF, Bahasa Indonesia

scholarly journals SMS Spam Message Detection using Term Frequency-Inverse Document Frequency and Random Forest Algorithm

2019 ◽  
Vol 161 ◽  
pp. 509-515 ◽  
Author(s):  
Nilam Nur Amir Sjarif ◽  
Nurulhuda Firdaus Mohd Azmi ◽  
Suriayati Chuprat ◽  
Haslina Md Sarkan ◽  
Yazriwati Yahya ◽  
...  
Keyword(s):  
Random Forest ◽  
Random Forest Algorithm ◽  
Inverse Document Frequency ◽  
Term Frequency ◽  
Document Frequency
Sign in / Sign up

Export Citation Format

Share Document