scholarly journals The use and misuse of bibliometric indices in evaluating scholarly performance

2015 ◽  
Author(s):  
Howard I. Browman
Keyword(s):  
Decision Making ◽  
Impact Factor ◽  
No Value ◽  
Journal Impact Factor ◽  
Performance Metrics ◽  
Research Policy ◽  
H Index ◽  
Promotion And Tenure ◽  
Alternative Approaches ◽  
Journal Impact

See a video of the presentation.Quantifying the relative performance of individual scholars, groups of scholars, departments, institutions,  provinces/states/regions and countries has become an integral part of decision-making over research policy,  funding allocations, awarding of grants, faculty hirings, and claims for promotion and tenure. Bibliometric  indices (based mainly upon citation counts), such as the h-index and the journal impact factor (JIF), are heavily  relied upon in such assessments. There is a growing consensus, and a deep concern, that these indices - moreand-more often used as a replacement for the informed judgment of peers - are misunderstood and are,  therefore, often misinterpreted and misused. Although much has been written about the JIF, some combination  of its biases and limitations will be true of any citation-based metric. While it is not my contention that  bibliometric indices have no value, they should not be applied as performance metrics without a thorough and  insightful understanding of their (few?) strengths and (many?) weaknesses. I will present a range of analyses in  support of this conclusion. Alternative approaches, tools and metrics, that will hopefully lead to a more  balanced role for these instruments, will also be presented.

Who Is Citing Your Work? Journals With Impact Factor and h-Index in Social Work and Related Fields

2020 ◽  
pp. 104973152096377
Author(s):  
Monit Cheung ◽  
Patrick Leung
Keyword(s):  
Social Work ◽  
Impact Factor ◽  
Doctoral Students ◽  
Scientific Knowledge ◽  
Journal Impact Factor ◽  
H Index ◽  
Journal Publishing ◽  
Social Work Faculty ◽  
Journal Citation Reports ◽  
Journal Impact

Purpose: With journal publishing being an important task for academicians, this article aims to help faculty and researchers increase their productivity by identifying journals with influential impacts on producing scientific knowledge. Method: Since 2004, the authors compiled and updated a journal list annually for social work faculty to use. This list aims to help faculty and researchers, including doctoral students, identify journals with significant scholarly impacts in social work and related fields for national and international recognition. Results: A total of 221 journals are included in the study, covering 44 social work journals with two indexes reported in the Journal Citation Reports® with Journal Impact Factor® and the h-index. Discussion: This list aims to help scholars find appropriate journals for article submissions. The criteria for the authors to select journals to be included in the publication list are also discussed.

scholarly journals Complex networks and machine learning in scientometrics

2017 ◽  
Author(s):  
Αντωνία Γώγογλου
Keyword(s):  
Machine Learning ◽  
Complex Networks ◽  
Impact Factor ◽  
Journal Impact Factor ◽  
Matthew Effect ◽  
H Index ◽  
Publish Or Perish ◽  
Journal Impact

Η Επιστημονομετρία αποτελεί ένα πεδίο έρευνας που ασχολείται με τη συστηματική ποσοτικοποίηση και αξιολόγηση της επιστημονικής διαδικασίας και έχει οδηγήσει στην δημιουργία μιας νέας ερευνητικής διόδου, αναφερομένη ως ΄΄η επιστήμη της επιστήμης". Μέχρι τώρα, η επιστημονική διαδικασία έχει μελετηθεί από ποικίλες οπτικές γωνίες τόσο ποιοτικές όσο και ποσοτικές. Στην παρούσα διατριβή, ακολουθούμε την προσέγγιση της εξόρυξης γνώσης από δεδομένα ώστε να αποδομηθεί η πληροφορία των δικτύων που σχηματίζονται γύρω από τις επιστημονικές οντότητες και να αποκαλυφθούν οι υποβόσκουσες συσχετίσεις τους. Τα σύνθετα δίκτυα με τη σειρά τους συνιστούν μια δομή διασυνδεδεμένων οντοτήτων με σημαντικές τοπολογικές ιδιότητες και απεικονίζονται συχνά ως γράφοι. Σε πραγματικές κοινωνικές διαδικασίες, όπως είναι και η επιστημονική δραστηριότητα, πολλαπλά τέτοια δίκτυα σχηματίζονται, των οποίων η πολυπλοκότητα της δυναμικής τους αυξάνεται εκθετικά με τον όγκο των δεδομένων που συγκεντρώνονται γύρω από αυτά. Μάλιστα δίκτυα παραγόμενα από πραγματικά δεδομένα μπορεί να εμπεριέχουν δομή κοινοτήτων, εκθετικές κατανομές βαθμών και εστίες πληροφορίες μεταξύ άλλων δομικών χαρακτηριστικών. Το ίδιο συμβαίνει με την επιστημονική παραγωγικότητα, όπου οι δημοσιεύσεις, οι επιστήμονες, τα ιδρύματα και οι εκδοτικοί οίκοι είναι διασυνδεμένοι με σχέσεις αναφορών και συνεργασίας δημιουργώντας ένα τεράστιο παγκόσμιο σύνθετο δίκτυο.Η αχανής πλούσια πληροφορία που υπάρχει διαθέσιμη στα επιστημονικά δίκτυα ξεπερνά την ανθρώπινη κατανόηση, με αποτέλεσμα να δημιουργείται η ανάγκη για μηχανική μάθηση. Η μάθηση σε αυτή την περίπτωση συνδέεται με την αναγνώριση σύνθετων μοτίβων και την πραγματοποίηση ‘’έξυπνων» αποφάσεων από δεδομένα. Με τον τρόπο αυτό γνώση μπορεί να παραχθεί από καταγραφές της επιστημονικής δραστηριότητας και η ερευνητική διαδικασία μπορεί να βελτιωθεί από παρελθοντική εμπειρία. Μεθοδολογίες μάθησης, τόσο με επίβλεψη όσο και χωρίς, υιοθετούνται ώστε να εξαχθούν εκτιμήσεις για μια ποσότητα σχετιζόμενη με την επιστημονική δραστηριότητα όπως επίσης και να αποκαλυφθεί δομή στα βιβλιογραφικά δεδομένα. Ιδιαίτερο ενδιαφέρον για την ανακάλυψη της δυναμικής της επιστήμης από μεγάλου όγκου δεδομένα παρουσιάζει η διαδικασία εντοπισμού σχετικών παραγόντων υψηλής επιρροής που διαμορφώνουν το μέλλον της επιστημονικής παραγωγής, δηλαδή η μηχανική των χαρακτηριστικών. Από το λαβύρινθο των ερευνητικών θεμάτων που ανακύπτουν στην ‘’επιστήμη της επιστήμης» θέτουμε τα παρακάτω ερευνητικά ερωτήματα: Πώς μπορεί να παραχθεί ένα δίκαιο και προσαρμόσιμο σύστημα ταξινόμησης για ερευνητές που να λαμβάνει υπόψη τις διαφορετικές πτυχές της επιστημονικής απόδοσης; Υπάρχουν διαχωρίσιμα μοτίβα στην επιστημονική δραστηριότητα και, αν ναι, σχετίζεται κάποιο αυτό άμεσα με την επιτυχία; Τέλος, μπορεί η γνώση που εξάγεται από βιβλιογραφικά δεδομένα να αποδειχθεί χρήσιμη σε κριτές περιοδικών, ινστιτούτα χρηματοδότησης, επιτροπές μονιμοποίησης, προαγωγής και απόδοσης βραβείων; Σε αυτό το πλαίσιο, προτείνουμε καινοτόμες τεχνικές ανάλυσης προς ποσοτικοποίηση, αξιολόγηση και πρόβλεψη της επιστημονικής εξέλιξης. Η συνεισφορά της διατριβής είναι τρίπτυχη:Καθώς οι επιστημονομετρικοί δείκτες χρησιμοποιούνται ήδη στη λήψη αποφάσεων, όπως αποδεικνύεται από την ευρεία χρήση του h-index και του Journal Impact Factor, η ανάγκη βελτίωσής τους και διεύρυνσης της συγκέντρωσής τους, είναι εμφανής. Σύγχρονες μετρικές συχνά εστιάζουν σε ένα σύνολο από δημοσιεύσεις με πλήθος αναφορών αντί να καταπιαστούν με ολόκληρη την πορεία των αναφορών και τείνουν να ευνοούν την παραγωγικότητα έναντι της επιρροής, προωθώντας τις πολιτικές «publish or perish». Δεδομένου ότι οι αναφορές επιδεικνύουν μια κατανομή βαθμού ιδιαιτέρως ασύμμετρη, γνωστό και ως «Matthew effect” στην επιστήμη, η πλειοψηφία της επιστημονικής δραστηριότητας περιλαμβάνει λιγότερο επιφανείς εργασίες οι οποίες συχνά αγνοούνται από τις παρούσες μετρικές. Συνεπώς, προτείνουμε νέες μετρικές που να ενσωματώνουν εξελικτικές ιδιότητες του δικτύου αναφορών στην διαδικασία αξιολόγησης προσμετρώντας την ασυμμετρία της επιστημονικής απόδοσης. Με τον ολοένα αυξανόμενο αριθμό βιβλιομετρικών δεικτών, η επιστημονική κοινότητα αντιμετωπίζει την πρόκληση διαχωρισμού των πιο συσχετιζόμενων πτυχών επιστημονικής απόδοσης για την κάθε περίπτωση αξιολόγησης εκμεταλλευόμενη τις συνδέσεις μεταξύ των μετρικών. Στην παρούσα διατριβή, προτείνουμε μια πολύπλευρη διαδικασία αξιολόγησης για επιστήμονες βασιζόμενη σε ανάλυση συσχετίσεων μεταξύ της πληθώρας επιστημονομετρικών δεικτών. Από ένα σύνολο προσαρμόσιμων κριτηρίων, τα οποία αντικατοπτρίζουν διαφορετικές πτυχές της επιστημονικής δραστηριότητας, μέτωπα Pareto παράγονται υπό μορφή ταξινόμησης επιστημόνων ώστε να υποστηρίξουν προαγωγές, διαμοιρασμό χρηματοδοτήσεων, κυβερνητικές και ιδρυματικές πολιτικές και ποικίλα σενάρια λήψης αποφάσεων.Επεκτείνοντας την ποσοτικοποίηση της επιστημονικής αξιολόγησης, επιχειρούμε τον εντοπισμό επιστημονικών προφίλ και τάσεων στην διαδικασία συγκέντρωσης αναφορών. Εκμεταλλευόμενοι την αυτοδιοργανούμενη κατανομή επιστημονικών αναφορών, εισάγουμε την έννοια της μορφοκλασματικής διάστασης για την καμπύλη αναφορών. Η μορφοκλασματική διάσταση αξιοποιείται για να χαρακτηρίσει τα μοτίβα δημοσιεύσεων και να ενσωματώσει ιδιότητες σύνθετων δικτύων (εκθετικότητα, ασυμμετρία, κτλ.) σε μία μετρική. Επιπλέον, πραγματοποιείται εξόρυξη μοτίβων αναφορών προκειμένου να εντοπισθούν τάσεις και μεταβολές στην συγκέντρωση αναφορών εστιάζοντας στα μοτίβα που συνοδεύονται από αυξημένο επιστημονικό βεληνεκές. Από τη στιγμή που η επιστημονική δραστηριότητα δεν είναι μια στατική διαδικασία, οι μέθοδοι για την αξιολόγησή της καλούνται να αντικατοπτρίσουν την εξελικτική πορεία και να προωθήσουν τις συγκρίσεις σε κοινή βάση. Για το σκοπό αυτό, δημιουργήσαμε προφίλ και εξορύξαμε χρονικά μοτίβα, ενώ εντοπίσαμε τη συσχέτισή τους με την συνολική επιστημονική απόδοση ώστε να ανακαλύψουμε αν υπάρχει προφίλ συνδεδεμένο με την επιτυχία. Καταφέραμε να ανακαλύψουμε συστηματικές τάσεις στα πλαίσια συγκεκριμένων εκδόσεων (π.χ. συνεδρίων) όπως επίσης και ουσιαστικές μεταβολές και πιθανές ανωμαλίες στην διαδικασία συγκέντρωσης αναφορών.Για να αντιμετωπίσουμε περαιτέρω το ζήτημα της επιστημονικής εξέλιξης, ασχοληθήκαμε με την εξελικτική πορεία των ερευνητών και αναζητήσαμε ενδείξεις πρώιμων δυνατοτήτων ή στασιμότητας. Συνεχίσαμε με τη δημιουργία ομάδων από ερευνητικούς ομοίους και το χαρακτηρισμό της απόδοσής τους σχετικά με την συνομοταξία του, με σκοπό το διαχωρισμό επιφανών μελών της επιστημονικής κοινότητας (π.χ. βραβευθέντες). Δεν είναι μόνο η αξιολόγηση της παρελθοντικής και παρούσας δραστηριότητας σημαντική, χρειάζονται και εκτιμήσεις της μελλοντικής πορείας της επιστημονικής δραστηριότητας και απόδοσης. Προς αυτή την κατεύθυνση, δημιουργήσαμε μια ταξονομία των υπαρχόντων προσεγγίσεων για πρόβλεψη μελλοντικού κύρους, εντοπίσαμε τις αδυναμίες τους και προτείναμε ένα ενοποιημένο προσαρμόσιμο πλαίσιο προβλέψεων για την βελτίωση των υπαρχόντων προσεγγίσεων. Στην προτεινόμενη προσέγγιση, ενσωματώσαμε τη δυναμική κατηγοριοποίηση των επιστημόνων μεταξύ της συνομοταξίας τους με ανάλογη απόδοση με διαφορετικά μοντέλα πρόβλεψης για κάθε ομάδα ώστε να εκτιμηθεί το μελλοντικό πλήθος αναφορών. Μέσω εκτενούς πειραματισμού σε επίπεδα χρονικά, ηλικίας και βεληνεκούς και με το συνδυασμό της σχετικής τοποθέτησης των επιστημόνων στους επιστημονικούς γράφους, εξάγαμε χρήσιμα συμπεράσματα για το μηχανισμό εξέλιξης της επιστημονικής απόδοσης. Με τον τρόπο αυτό, αξιοποιήσιμη γνώση δημιουργείται για να παρέχει υποστήριξη σε εκδότες, ακαδημαϊκούς, ιδρύματα και λοιπά ενδιαφερόμενα μέλη της επιστημονικής κοινότητας.

scholarly journals Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations

2019 ◽  
Author(s):  
Erin C. McKiernan ◽  
Lesley A. Schimanski ◽  
Carol Muñoz Nieves ◽  
Lisa Matthias ◽  
Meredith T. Niles ◽  
...  
Keyword(s):  
Impact Factor ◽  
Journal Impact Factor ◽  
The United States ◽  
Evaluation Systems ◽  
Academic Evaluation ◽  
Promotion And Tenure ◽  
Doctoral Research ◽  
Academic Units ◽  
Academic Review ◽  
Journal Impact

The Journal Impact Factor (JIF) was originally designed to aid libraries in deciding which journals to index and purchase for their collections. Over the past few decades, however, it has become a relied upon metric used to evaluate research articles based on journal rank. Surveyed faculty often report feeling pressure to publish in journals with high JIFs and mention reliance on the JIF as one problem with current academic evaluation systems. While faculty reports are useful, information is lacking on how often and in what ways the JIF is currently used for review, promotion, and tenure (RPT). We therefore collected and analyzed RPT documents from a representative sample of 129 universities from the United States and Canada and 381 of their academic units. We found that 40% of doctoral, research-intensive (R-type) institutions and 18% of master’s, or comprehensive (M-type) institutions explicitly mentioned the JIF, or closely related terms, in their RPT documents. Undergraduate, or baccalaureate (B-type) institutions did not mention it at all. A detailed reading of these documents suggests that institutions may also be using a variety of terms to indirectly refer to the JIF. Our qualitative analysis shows that 87% of the institutions that mentioned the JIF supported the metric’s use in at least one of their RPT documents, while 13% of institutions expressed caution about the JIF’s use in evaluations. None of the RPT documents we analyzed heavily criticized the JIF or prohibited its use in evaluations. Of the institutions that mentioned the JIF, 63% associated it with quality, 40% with impact, importance, or significance, and 20% with prestige, reputation, or status. In sum, our results show that the use of the JIF is encouraged in RPT evaluations, especially at research-intensive universities, and indicates there is work to be done to improve evaluation processes to avoid the potential misuse of metrics like the JIF.

scholarly journals Comparing the influence of ecology journals using citation-based indices: making sense of a multitude of metrics

2013 ◽  
Author(s):  
Daniel J. Hocking
Keyword(s):  
Impact Factor ◽  
Royal Society ◽  
Journal Impact Factor ◽  
Molecular Ecology ◽  
Systematic Evaluation ◽  
Annual Review ◽  
H Index ◽  
Making Sense ◽  
Journal Impact ◽  
Highly Cited

The links among scholarly citations creates a tremendous network that reveals patterns of influence and flows of ideas. The systematic evaluation of the networks can be used to create aggregate measures of journal influence. To understand the citation patterns and compare influence among ecology journals, I complied 11 popular metrics for 110 ecology journals: Journal Impact Factor (JIF), 5-year Journal Impact Factor (JIF), Eigenfactor, Article Influence (AI), Source-Normalized Impact per Paper (SNIP), SCImago Journal Report (SJR), h-index, hc-index, e-index, g-index, and AR-index. All metrics were positively correlated among ecology journals; however, there was still considerable variation among metrics. Annual Review of Ecology Evolution, and Systematics, Trends in Ecology and Evolution, and Ecology Letters were the top three journals across metrics on a per article basis. Proceedings of the Royal Society B, Ecology, and Molecular Ecology had the greatest overall influence on science, as indicated by the Eigenfactor. There was much greater variability among the other metrics because they focus on the mostly highly cited papers from each journal. Each influence metric has its own strengths and weaknesses, and therefore its own uses. Researchers interested in average influence of articles in a journal would be best served by referring to the AI scores or possibly SJR values.

scholarly journals Author response: Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations

2019 ◽  
Author(s):  
Erin C McKiernan ◽  
Lesley A Schimanski ◽  
Carol Muñoz Nieves ◽  
Lisa Matthias ◽  
Meredith T Niles ◽  
...  
Keyword(s):  
Impact Factor ◽  
Journal Impact Factor ◽  
Author Response ◽  
Promotion And Tenure ◽  
Academic Review ◽  
Journal Impact

scholarly journals Comparing the influence of ecology journals using citation-based indices: making sense of a multitude of metrics

2014 ◽  
Author(s):  
Daniel J. Hocking
Keyword(s):  
Impact Factor ◽  
Royal Society ◽  
Journal Impact Factor ◽  
Molecular Ecology ◽  
Systematic Evaluation ◽  
Annual Review ◽  
H Index ◽  
Making Sense ◽  
Journal Impact ◽  
Highly Cited

The links among scholarly citations creates a tremendous network that reveals patterns of influence and flows of ideas. The systematic evaluation of the networks can be used to create aggregate measures of journal influence. To understand the citation patterns and compare influence among ecology journals, I complied 11 popular metrics for 110 ecology journals: Journal Impact Factor (JIF), 5-year Journal Impact Factor (JIF), Eigenfactor, Article Influence (AI), Source-Normalized Impact per Paper (SNIP), SCImago Journal Report (SJR), h-index, hc-index, e-index, g-index, and AR-index. All metrics were positively correlated among ecology journals; however, there was still considerable variation among metrics. Annual Review of Ecology Evolution, and Systematics, Trends in Ecology and Evolution, and Ecology Letters were the top three journals across metrics on a per article basis. Proceedings of the Royal Society B, Ecology, and Molecular Ecology had the greatest overall influence on science, as indicated by the Eigenfactor. There was much greater variability among the other metrics because they focus on the mostly highly cited papers from each journal. Each influence metric has its own strengths and weaknesses, and therefore its own uses. Researchers interested in average influence of articles in a journal would be best served by referring to the AI scores or possibly SJR values.

scholarly journals Quantitative and Qualitative Analysis of Editor Behavior through maybe Coercive Citations

2017 ◽  
Author(s):  
Claudiu Herteliu ◽  
Marcel Ausloos ◽  
Bogdan Vasile Ileanu ◽  
Giulia Rotundo ◽  
Tudorel Andrei
Keyword(s):  
Qualitative Analysis ◽  
Impact Factor ◽  
Unethical Behavior ◽  
Journal Impact Factor ◽  
Target Group ◽  
Control Group ◽  
H Index ◽  
Number Of Citations ◽  
Journal Impact

How much is the h-index of an editor of a well ranked journal improved due to citations which occur after his/her appointment? Scientific recognition within academia is widely measured nowadays by the number of citations or h-index. Our dataset is based on a sample of four editors from a well ranked journal (impact factor – IF – greater than 2). The target group consists of two editors who seem to benefit by their position through an increased citation number (and subsequently h-index) within journal. The total amount of citations for the target group is bigger than 600. The control group is formed by another set of two editors from the same journal whose relations between their positions and their citation records remain neutral. The total amount of citations for the control group is more than 1200. The timespan for which citations’ pattern has been studied is 1975-2015. Previous coercive citations for a journal benefit (increase its IF) has been signaled. To the best of our knowledge, this is a pioneering work on coercive citations for personal (editors’) benefit. Editorial teams should be aware about this type of potentially unethical behavior and act accordingly.

Using Journal Impact Factor to Assess Scholarly Records: Overcorrecting for the Potter Stewart Approach to Promotion and Tenure

The Forum ◽  
2019 ◽  
Vol 17 (2) ◽  
pp. 257-269
Author(s):  
Elizabeth A. Oldmixon ◽  
J. Tobin Grant
Keyword(s):  
Impact Factor ◽  
Journal Impact Factor ◽  
Promotion And Tenure ◽  
Stewart Approach ◽  
Holistic Review ◽  
Multiple Paths ◽  
Systematic Biases ◽  
Gendered Patterns ◽  
Journal Impact

Abstract Promotion and tenure decisions frequently require an assessment of the quality of a candidate’s research record. Without carefully specifying what constitutes a tenurable and promotable record, departments frequently adopt the Potter Stewart approach – they know it when they see it. The benefit of such a system is that it allows for multiple paths to tenure and promotion and encourages holistic review, but the drawback is that it allows for the promotion and tenure process to be more easily manipulated by favoritism and bias. Incorporating transparent metrics such as journal impact factor (JIF) would seem like a good way to standardize the process. We argue, however, that when JIF becomes determinative, conceptual disadvantages and systematic biases are introduced into the process. JIF indicates the visibility or utility of a journal; it does not and cannot tell us about individual articles published in that journal. Moreover, it creates inequitable paths to tenure on the basis of gender and subfield, given gendered patterns of publications and the variation in journal economies by subfield.

Sign in / Sign up

Export Citation Format

Share Document