scholarly journals Comparing the influence of ecology journals using citation-based indices: making sense of a multitude of metrics

Author(s):  
Daniel J. Hocking

The links among scholarly citations creates a tremendous network that reveals patterns of influence and flows of ideas. The systematic evaluation of the networks can be used to create aggregate measures of journal influence. To understand the citation patterns and compare influence among ecology journals, I complied 11 popular metrics for 110 ecology journals: Journal Impact Factor (JIF), 5-year Journal Impact Factor (JIF), Eigenfactor, Article Influence (AI), Source-Normalized Impact per Paper (SNIP), SCImago Journal Report (SJR), h-index, hc-index, e-index, g-index, and AR-index. All metrics were positively correlated among ecology journals; however, there was still considerable variation among metrics. Annual Review of Ecology Evolution, and Systematics, Trends in Ecology and Evolution, and Ecology Letters were the top three journals across metrics on a per article basis. Proceedings of the Royal Society B, Ecology, and Molecular Ecology had the greatest overall influence on science, as indicated by the Eigenfactor. There was much greater variability among the other metrics because they focus on the mostly highly cited papers from each journal. Each influence metric has its own strengths and weaknesses, and therefore its own uses. Researchers interested in average influence of articles in a journal would be best served by referring to the AI scores or possibly SJR values.

2013 ◽  
Author(s):  
Daniel J. Hocking

The links among scholarly citations creates a tremendous network that reveals patterns of influence and flows of ideas. The systematic evaluation of the networks can be used to create aggregate measures of journal influence. To understand the citation patterns and compare influence among ecology journals, I complied 11 popular metrics for 110 ecology journals: Journal Impact Factor (JIF), 5-year Journal Impact Factor (JIF), Eigenfactor, Article Influence (AI), Source-Normalized Impact per Paper (SNIP), SCImago Journal Report (SJR), h-index, hc-index, e-index, g-index, and AR-index. All metrics were positively correlated among ecology journals; however, there was still considerable variation among metrics. Annual Review of Ecology Evolution, and Systematics, Trends in Ecology and Evolution, and Ecology Letters were the top three journals across metrics on a per article basis. Proceedings of the Royal Society B, Ecology, and Molecular Ecology had the greatest overall influence on science, as indicated by the Eigenfactor. There was much greater variability among the other metrics because they focus on the mostly highly cited papers from each journal. Each influence metric has its own strengths and weaknesses, and therefore its own uses. Researchers interested in average influence of articles in a journal would be best served by referring to the AI scores or possibly SJR values.


2014 ◽  
Author(s):  
Daniel J. Hocking

The links among scholarly citations creates a tremendous network that reveals patterns of influence and flows of ideas. The systematic evaluation of the networks can be used to create aggregate measures of journal influence. To understand the citation patterns and compare influence among ecology journals, I complied 11 popular metrics for 110 ecology journals: Journal Impact Factor (JIF), 5-year Journal Impact Factor (JIF), Eigenfactor, Article Influence (AI), Source-Normalized Impact per Paper (SNIP), SCImago Journal Report (SJR), h-index, hc-index, e-index, g-index, and AR-index. All metrics were positively correlated among ecology journals; however, there was still considerable variation among metrics. Annual Review of Ecology Evolution, and Systematics, Trends in Ecology and Evolution, and Ecology Letters were the top three journals across metrics on a per article basis. Proceedings of the Royal Society B, Ecology, and Molecular Ecology had the greatest overall influence on science, as indicated by the Eigenfactor. There was much greater variability among the other metrics because they focus on the mostly highly cited papers from each journal. Each influence metric has its own strengths and weaknesses, and therefore its own uses. Researchers interested in average influence of articles in a journal would be best served by referring to the AI scores or possibly SJR values.


2020 ◽  
pp. 104973152096377
Author(s):  
Monit Cheung ◽  
Patrick Leung

Purpose: With journal publishing being an important task for academicians, this article aims to help faculty and researchers increase their productivity by identifying journals with influential impacts on producing scientific knowledge. Method: Since 2004, the authors compiled and updated a journal list annually for social work faculty to use. This list aims to help faculty and researchers, including doctoral students, identify journals with significant scholarly impacts in social work and related fields for national and international recognition. Results: A total of 221 journals are included in the study, covering 44 social work journals with two indexes reported in the Journal Citation Reports® with Journal Impact Factor® and the h-index. Discussion: This list aims to help scholars find appropriate journals for article submissions. The criteria for the authors to select journals to be included in the publication list are also discussed.


2017 ◽  
Author(s):  
Αντωνία Γώγογλου

Η Επιστημονομετρία αποτελεί ένα πεδίο έρευνας που ασχολείται με τη συστηματική ποσοτικοποίηση και αξιολόγηση της επιστημονικής διαδικασίας και έχει οδηγήσει στην δημιουργία μιας νέας ερευνητικής διόδου, αναφερομένη ως ΄΄η επιστήμη της επιστήμης". Μέχρι τώρα, η επιστημονική διαδικασία έχει μελετηθεί από ποικίλες οπτικές γωνίες τόσο ποιοτικές όσο και ποσοτικές. Στην παρούσα διατριβή, ακολουθούμε την προσέγγιση της εξόρυξης γνώσης από δεδομένα ώστε να αποδομηθεί η πληροφορία των δικτύων που σχηματίζονται γύρω από τις επιστημονικές οντότητες και να αποκαλυφθούν οι υποβόσκουσες συσχετίσεις τους. Τα σύνθετα δίκτυα με τη σειρά τους συνιστούν μια δομή διασυνδεδεμένων οντοτήτων με σημαντικές τοπολογικές ιδιότητες και απεικονίζονται συχνά ως γράφοι. Σε πραγματικές κοινωνικές διαδικασίες, όπως είναι και η επιστημονική δραστηριότητα, πολλαπλά τέτοια δίκτυα σχηματίζονται, των οποίων η πολυπλοκότητα της δυναμικής τους αυξάνεται εκθετικά με τον όγκο των δεδομένων που συγκεντρώνονται γύρω από αυτά. Μάλιστα δίκτυα παραγόμενα από πραγματικά δεδομένα μπορεί να εμπεριέχουν δομή κοινοτήτων, εκθετικές κατανομές βαθμών και εστίες πληροφορίες μεταξύ άλλων δομικών χαρακτηριστικών. Το ίδιο συμβαίνει με την επιστημονική παραγωγικότητα, όπου οι δημοσιεύσεις, οι επιστήμονες, τα ιδρύματα και οι εκδοτικοί οίκοι είναι διασυνδεμένοι με σχέσεις αναφορών και συνεργασίας δημιουργώντας ένα τεράστιο παγκόσμιο σύνθετο δίκτυο.Η αχανής πλούσια πληροφορία που υπάρχει διαθέσιμη στα επιστημονικά δίκτυα ξεπερνά την ανθρώπινη κατανόηση, με αποτέλεσμα να δημιουργείται η ανάγκη για μηχανική μάθηση. Η μάθηση σε αυτή την περίπτωση συνδέεται με την αναγνώριση σύνθετων μοτίβων και την πραγματοποίηση ‘’έξυπνων» αποφάσεων από δεδομένα. Με τον τρόπο αυτό γνώση μπορεί να παραχθεί από καταγραφές της επιστημονικής δραστηριότητας και η ερευνητική διαδικασία μπορεί να βελτιωθεί από παρελθοντική εμπειρία. Μεθοδολογίες μάθησης, τόσο με επίβλεψη όσο και χωρίς, υιοθετούνται ώστε να εξαχθούν εκτιμήσεις για μια ποσότητα σχετιζόμενη με την επιστημονική δραστηριότητα όπως επίσης και να αποκαλυφθεί δομή στα βιβλιογραφικά δεδομένα. Ιδιαίτερο ενδιαφέρον για την ανακάλυψη της δυναμικής της επιστήμης από μεγάλου όγκου δεδομένα παρουσιάζει η διαδικασία εντοπισμού σχετικών παραγόντων υψηλής επιρροής που διαμορφώνουν το μέλλον της επιστημονικής παραγωγής, δηλαδή η μηχανική των χαρακτηριστικών. Από το λαβύρινθο των ερευνητικών θεμάτων που ανακύπτουν στην ‘’επιστήμη της επιστήμης» θέτουμε τα παρακάτω ερευνητικά ερωτήματα: Πώς μπορεί να παραχθεί ένα δίκαιο και προσαρμόσιμο σύστημα ταξινόμησης για ερευνητές που να λαμβάνει υπόψη τις διαφορετικές πτυχές της επιστημονικής απόδοσης; Υπάρχουν διαχωρίσιμα μοτίβα στην επιστημονική δραστηριότητα και, αν ναι, σχετίζεται κάποιο αυτό άμεσα με την επιτυχία; Τέλος, μπορεί η γνώση που εξάγεται από βιβλιογραφικά δεδομένα να αποδειχθεί χρήσιμη σε κριτές περιοδικών, ινστιτούτα χρηματοδότησης, επιτροπές μονιμοποίησης, προαγωγής και απόδοσης βραβείων; Σε αυτό το πλαίσιο, προτείνουμε καινοτόμες τεχνικές ανάλυσης προς ποσοτικοποίηση, αξιολόγηση και πρόβλεψη της επιστημονικής εξέλιξης. Η συνεισφορά της διατριβής είναι τρίπτυχη:Καθώς οι επιστημονομετρικοί δείκτες χρησιμοποιούνται ήδη στη λήψη αποφάσεων, όπως αποδεικνύεται από την ευρεία χρήση του h-index και του Journal Impact Factor, η ανάγκη βελτίωσής τους και διεύρυνσης της συγκέντρωσής τους, είναι εμφανής. Σύγχρονες μετρικές συχνά εστιάζουν σε ένα σύνολο από δημοσιεύσεις με πλήθος αναφορών αντί να καταπιαστούν με ολόκληρη την πορεία των αναφορών και τείνουν να ευνοούν την παραγωγικότητα έναντι της επιρροής, προωθώντας τις πολιτικές «publish or perish». Δεδομένου ότι οι αναφορές επιδεικνύουν μια κατανομή βαθμού ιδιαιτέρως ασύμμετρη, γνωστό και ως «Matthew effect” στην επιστήμη, η πλειοψηφία της επιστημονικής δραστηριότητας περιλαμβάνει λιγότερο επιφανείς εργασίες οι οποίες συχνά αγνοούνται από τις παρούσες μετρικές. Συνεπώς, προτείνουμε νέες μετρικές που να ενσωματώνουν εξελικτικές ιδιότητες του δικτύου αναφορών στην διαδικασία αξιολόγησης προσμετρώντας την ασυμμετρία της επιστημονικής απόδοσης. Με τον ολοένα αυξανόμενο αριθμό βιβλιομετρικών δεικτών, η επιστημονική κοινότητα αντιμετωπίζει την πρόκληση διαχωρισμού των πιο συσχετιζόμενων πτυχών επιστημονικής απόδοσης για την κάθε περίπτωση αξιολόγησης εκμεταλλευόμενη τις συνδέσεις μεταξύ των μετρικών. Στην παρούσα διατριβή, προτείνουμε μια πολύπλευρη διαδικασία αξιολόγησης για επιστήμονες βασιζόμενη σε ανάλυση συσχετίσεων μεταξύ της πληθώρας επιστημονομετρικών δεικτών. Από ένα σύνολο προσαρμόσιμων κριτηρίων, τα οποία αντικατοπτρίζουν διαφορετικές πτυχές της επιστημονικής δραστηριότητας, μέτωπα Pareto παράγονται υπό μορφή ταξινόμησης επιστημόνων ώστε να υποστηρίξουν προαγωγές, διαμοιρασμό χρηματοδοτήσεων, κυβερνητικές και ιδρυματικές πολιτικές και ποικίλα σενάρια λήψης αποφάσεων.Επεκτείνοντας την ποσοτικοποίηση της επιστημονικής αξιολόγησης, επιχειρούμε τον εντοπισμό επιστημονικών προφίλ και τάσεων στην διαδικασία συγκέντρωσης αναφορών. Εκμεταλλευόμενοι την αυτοδιοργανούμενη κατανομή επιστημονικών αναφορών, εισάγουμε την έννοια της μορφοκλασματικής διάστασης για την καμπύλη αναφορών. Η μορφοκλασματική διάσταση αξιοποιείται για να χαρακτηρίσει τα μοτίβα δημοσιεύσεων και να ενσωματώσει ιδιότητες σύνθετων δικτύων (εκθετικότητα, ασυμμετρία, κτλ.) σε μία μετρική. Επιπλέον, πραγματοποιείται εξόρυξη μοτίβων αναφορών προκειμένου να εντοπισθούν τάσεις και μεταβολές στην συγκέντρωση αναφορών εστιάζοντας στα μοτίβα που συνοδεύονται από αυξημένο επιστημονικό βεληνεκές. Από τη στιγμή που η επιστημονική δραστηριότητα δεν είναι μια στατική διαδικασία, οι μέθοδοι για την αξιολόγησή της καλούνται να αντικατοπτρίσουν την εξελικτική πορεία και να προωθήσουν τις συγκρίσεις σε κοινή βάση. Για το σκοπό αυτό, δημιουργήσαμε προφίλ και εξορύξαμε χρονικά μοτίβα, ενώ εντοπίσαμε τη συσχέτισή τους με την συνολική επιστημονική απόδοση ώστε να ανακαλύψουμε αν υπάρχει προφίλ συνδεδεμένο με την επιτυχία. Καταφέραμε να ανακαλύψουμε συστηματικές τάσεις στα πλαίσια συγκεκριμένων εκδόσεων (π.χ. συνεδρίων) όπως επίσης και ουσιαστικές μεταβολές και πιθανές ανωμαλίες στην διαδικασία συγκέντρωσης αναφορών.Για να αντιμετωπίσουμε περαιτέρω το ζήτημα της επιστημονικής εξέλιξης, ασχοληθήκαμε με την εξελικτική πορεία των ερευνητών και αναζητήσαμε ενδείξεις πρώιμων δυνατοτήτων ή στασιμότητας. Συνεχίσαμε με τη δημιουργία ομάδων από ερευνητικούς ομοίους και το χαρακτηρισμό της απόδοσής τους σχετικά με την συνομοταξία του, με σκοπό το διαχωρισμό επιφανών μελών της επιστημονικής κοινότητας (π.χ. βραβευθέντες). Δεν είναι μόνο η αξιολόγηση της παρελθοντικής και παρούσας δραστηριότητας σημαντική, χρειάζονται και εκτιμήσεις της μελλοντικής πορείας της επιστημονικής δραστηριότητας και απόδοσης. Προς αυτή την κατεύθυνση, δημιουργήσαμε μια ταξονομία των υπαρχόντων προσεγγίσεων για πρόβλεψη μελλοντικού κύρους, εντοπίσαμε τις αδυναμίες τους και προτείναμε ένα ενοποιημένο προσαρμόσιμο πλαίσιο προβλέψεων για την βελτίωση των υπαρχόντων προσεγγίσεων. Στην προτεινόμενη προσέγγιση, ενσωματώσαμε τη δυναμική κατηγοριοποίηση των επιστημόνων μεταξύ της συνομοταξίας τους με ανάλογη απόδοση με διαφορετικά μοντέλα πρόβλεψης για κάθε ομάδα ώστε να εκτιμηθεί το μελλοντικό πλήθος αναφορών. Μέσω εκτενούς πειραματισμού σε επίπεδα χρονικά, ηλικίας και βεληνεκούς και με το συνδυασμό της σχετικής τοποθέτησης των επιστημόνων στους επιστημονικούς γράφους, εξάγαμε χρήσιμα συμπεράσματα για το μηχανισμό εξέλιξης της επιστημονικής απόδοσης. Με τον τρόπο αυτό, αξιοποιήσιμη γνώση δημιουργείται για να παρέχει υποστήριξη σε εκδότες, ακαδημαϊκούς, ιδρύματα και λοιπά ενδιαφερόμενα μέλη της επιστημονικής κοινότητας.


Author(s):  
Claudiu Herteliu ◽  
Marcel Ausloos ◽  
Bogdan Vasile Ileanu ◽  
Giulia Rotundo ◽  
Tudorel Andrei

How much is the h-index of an editor of a well ranked journal improved due to citations which occur after his/her appointment? Scientific recognition within academia is widely measured nowadays by the number of citations or h-index. Our dataset is based on a sample of four editors from a well ranked journal (impact factor – IF – greater than 2). The target group consists of two editors who seem to benefit by their position through an increased citation number (and subsequently h-index) within journal. The total amount of citations for the target group is bigger than 600. The control group is formed by another set of two editors from the same journal whose relations between their positions and their citation records remain neutral. The total amount of citations for the control group is more than 1200. The timespan for which citations’ pattern has been studied is 1975-2015. Previous coercive citations for a journal benefit (increase its IF) has been signaled. To the best of our knowledge, this is a pioneering work on coercive citations for personal (editors’) benefit. Editorial teams should be aware about this type of potentially unethical behavior and act accordingly.


2020 ◽  
Author(s):  
Tobias Kiesslich ◽  
Marlena Beyreis ◽  
Georg Zimmermann ◽  
Andreas Traweger

AbstractSkewed citation distribution is a major limitation of the Journal Impact Factor (JIF) representing an outlier-sensitive mean citation value per journal The present study focuses primarily on this phenomenon in the medical literature by investigating a total of n = 982 journals from two medical categories of the Journal Citation Report (JCR). In addition, the three highest-ranking journals from each JCR category were included in order to extend the analyses to non-medical journals. For the journals in these cohorts, the citation data (2018) of articles published in 2016 and 2017 classified as citable items (CI) were analysed using various descriptive approaches including e.g. the skewness, the Gini coefficient, and, the percentage of CI contributing 50% or 90% of the journal’s citations. All of these measures clearly indicated an unequal, skewed distribution with highly-cited articles as outliers. The %CI contributing 50% or 90% of the journal’s citations was in agreement with previously published studies with median values of 13–18% CI or 44–60% CI generating 50 or 90% of the journal’s citations, respectively. Replacing the mean citation values (corresponding to the JIF) with the median to represent the central tendency of the citation distributions resulted in markedly lower numerical values ranging from − 30 to − 50%. Up to 39% of journals showed a median citation number of zero in one medical journal category. For the two medical cohorts, median-based journal ranking was similar to mean-based ranking although the number of possible rank positions was reduced to 13. Correlation of mean citations with the measures of citation inequality indicated that the unequal distribution of citations per journal is more prominent and, thus, relevant for journals with lower citation rates. By using various indicators in parallel and the hitherto probably largest journal sample, the present study provides comprehensive up-to-date results on the prevalence, extent and consequences of citation inequality across medical and all-category journals listed in the JCR.


Author(s):  
Yuh-Shan Ho ◽  
Andrea Gatto

AbstractAmbio is a leading journal in environmental science and policy, sustainable development, and human-environment interactions. The paper at hand aims to run a bibliometric analysis to inspect the main publications features of Ambio in Science Citation Index Expanded SCI-EXPANDED. For this scope, a bibliometric survey has been carried out to investigate the journal’s historic characteristics in the Web of Science (WoS) categories of environmental sciences and environmental engineering for Ambio from 1980 to 2019. These are the categories for which the journal has been indexed throughout the indexed time frame. The paper proposes technical and methodological innovations, including improvements in the methods and original characteristics analyzed. Documents published in Ambio were searched out from SCI-EXPANDED. Six publication indicators were applied to evaluate the publication performance of countries, institutes, and authors. Three citation indicators were used to compare publications. As a parameter, the journal impact factor contributor was applied to compare the most frequently cited publications. The journal impact factor contributing publications were also discussed. Results show that Sweden ranked top in six publication indicators and that the top three productive institutes were located in Sweden. A low percentage of productive authors emerged as a journal impact factor contributor. Similarly, a low relationship between the IF contributing publications and the highly cited publications was also found. Less than half of the top 100 highly cited publications in Ambio did not lie within the high impact in most the recent year of 2019. Three members of the advisory board in Ambio were the main productive authors. T.V. Callaghan contributed to most of the publications while papers published by J. Rockstrom as first and corresponding author contributed the most to the journal impact factor. An article authored by Steffen et al. (2007) scored the highest total citations in 2019.


Sign in / Sign up

Export Citation Format

Share Document