Ölçütlerin Şiddeti: Bir Bilim Manifestosu İçin Giriş

Bazen bir olay, bir kurumu değil, bir çağın zihniyetini açığa çıkarır.
2014 yılında Imperial College London’da çalışan toksikoloji profesörü Stefan Grimm’in ölümü böyle bir olaydır.

Olayın kendisi trajiktir; fakat trajedinin asıl önemi bireysel değildir. Grimm’in ölümünden sonra ortaya çıkan yazışmalar, modern üniversitenin giderek daha görünür hale gelen bir gerçeğini çıplak biçimde ortaya koymuştur: bilim insanları artık çalışmalarının içeriğiyle değil, ölçütlerle değerlendirilmektedir.

Grimm’e gönderilen e-postalarda beklenti açıktır:
her yıl 200.000 sterlinlik araştırma geliri.

Bilimsel katkı mı?
Yayınların içeriği mi?
Ortaya konan fikirler mi?

Bunlar artık değerlendirme dilinin merkezinde değildir.

Merkezde olan şey sayıdır.

Modern üniversite, yavaş yavaş ama sistematik biçimde, bilimsel muhakemenin yerini metrik muhasebesinin aldığı bir kuruma dönüşmektedir. Bu dönüşüm çoğu zaman “verimlilik”, “hesap verebilirlik” ya da “performans ölçümü” gibi teknik terimlerle sunulur. Oysa mesele teknik değildir; mesele epistemiktir. Çünkü ölçütler yalnızca ölçmezler. Ölçütler aynı zamanda bilimin ne sayılacağını da belirler.

Bugün birçok akademik sistemde —Türkiye’de de dahil olmak üzere— bilimsel değer giderek dar bir sayısal rejime indirgenmektedir:

Bu göstergelerin hiçbirinin tek başına bilimsel değeri temsil etmediği onlarca yıldır bilinmektedir. Buna rağmen, bu göstergeler giderek bilimsel gerçekliğin kendisi gibi muamele görmeye başlamıştır.

Bu durum yalnızca epistemolojik bir sorun değildir. Aynı zamanda kurumsal bir şiddet biçimidir. Çünkü ölçütler yalnızca kariyerleri belirlemez; ölçütler insanların hayatlarını da şekillendirir.

Stefan Grimm’in ölümünden sonra meslektaşlarının dile getirdiği cümle bu yüzden ürperticidir:

“They treat us like sh*t.”

Bu cümle yalnızca bir üniversiteye yönelik bir öfke değildir. Bu cümle, modern akademinin içinde giderek normalleşen bir düzenin ifadesidir.

Bu metin, bu düzeni sorgulamak için yazılmıştır.

Daha doğrusu, yalnızca sorgulamak için değil.

Meydan okumak için.

Çünkü bugün Türkiye’de ve dünyanın birçok yerinde akademik değerlendirme sistemleri, bilimsel değerin sayılarla temsil edilebileceği varsayımını tartışılmaz bir gerçek gibi kabul etmektedir.

Biz bu varsayımı reddediyoruz.

Daha açık söyleyelim:

Eğer bilimsel değerin gerçekten birkaç metrikle ölçülebileceğini düşünen varsa, bunu kanıtlamak zorundadır.

Varsa elinde veri, getirsin.
Varsa elinde yöntem, ortaya koysun.
Varsa elinde bilimsel gerekçe, savunsun.

Ama aksi halde, sayıları bilimin yerine koyan bu düzenin bilimsel bir temeli yoktur.

Bu metin, tam da bu nedenle, yalnızca bir eleştiri değildir.

Bu metin bir itirazdır.
Ve aynı zamanda bir çağrıdır.

Çünkü bilim, ölçütlerin değil, aklın alanıdır.

I. Ölçüt Rejiminin Kuruluşu

Bilimin Sayılarla Yönetilmeye Başlaması

Bugün akademik dünyanın büyük bölümünde bilimsel faaliyetin değerlendirilme biçimi, birkaç sayısal göstergenin etrafında örgütlenmiş durumdadır. Bu göstergeler çoğu zaman teknik araçlar olarak sunulur: etki faktörü, atıf sayısı, h-indeksi, proje bütçesi, araştırma geliri. İlk bakışta bunlar yalnızca ölçme araçları gibi görünür. Fakat zaman içinde bu araçlar ölçmenin ötesine geçmiş, bilimsel değerin kendisini temsil eden göstergeler haline gelmiştir.

Bu dönüşüm bir gecede gerçekleşmedi. Tam tersine, yaklaşık yarım yüzyıla yayılan bir süreç içinde kurumsallaştı.

1960’larda Eugene Garfield tarafından geliştirilen etki faktörü, başlangıçta yalnızca dergiler arası karşılaştırma yapmayı kolaylaştıran teknik bir indeks olarak tasarlanmıştı. Amaç, kütüphanelerin sınırlı bütçelerle hangi dergilere abone olması gerektiğini belirleyebilmesine yardımcı olmaktı. Başka bir deyişle, etki faktörü bilim insanlarını değil, dergi koleksiyonlarını değerlendirmek için tasarlanmıştı.

Ne var ki akademik kurumlar kısa süre içinde bu aracı farklı bir amaç için kullanmaya başladı. Dergileri sıralamak için tasarlanmış bir indeks, giderek bilim insanlarını sıralamak için kullanılmaya başlandı. Böylece araç ile amaç arasındaki ayrım ortadan kalktı.

Bu noktadan sonra süreç hızlandı.

Üniversiteler, araştırma kurumları ve finansman kuruluşları bilimsel faaliyetleri giderek daha fazla yönetilebilir ve karşılaştırılabilir göstergelere indirgemeye başladı. Bu indirgeme, modern yönetim dilinin aşina olduğu kavramlarla meşrulaştırıldı: performans, hesap verebilirlik, verimlilik, rekabet.

Ancak bu kavramların arkasında çok daha derin bir dönüşüm yatıyordu. Bilimsel değerlendirme, yavaş yavaş meslektaş yargısından metrik yönetime doğru kayıyordu.

Bir zamanlar bilim insanlarının çalışmaları esas olarak şu sorular üzerinden değerlendirilirdi:

Bugün ise değerlendirme çoğu zaman şu sorulara indirgenmiş durumdadır:

Bu değişim yalnızca değerlendirme yönteminde bir değişiklik değildir. Bu değişim, bilimin kurumsal mantığının değişmesidir.

Çünkü bir kurum hangi şeyleri ölçüyorsa, zamanla o şeyleri üretmeye başlar.

Etki faktörünü ölçerseniz, yüksek etki faktörlü dergiler için yazılan makaleler çoğalır.
Atıf sayısını ölçerseniz, atıf stratejileri gelişir.
Fon miktarını ölçerseniz, araştırma soruları bile finansman mantığına göre şekillenmeye başlar.

Bu yüzden ölçütler masum değildir. Ölçütler yalnızca performansı ölçmez; davranışı da yönlendirir.

Ekonomide bu durumu anlatan klasik bir ilke vardır: Goodhart Yasası. Bir ölçüt hedef haline geldiği anda, artık iyi bir ölçüt olmaktan çıkar.

Akademide yaşanan tam olarak budur.

Bugün bilimsel göstergeler, bilimsel kalitenin dolaylı işaretleri olmaktan çıkmış, doğrudan hedef haline gelmiştir. Bu noktadan sonra ortaya çıkan şey bilimsel değerlendirme değil, metrik optimizasyonudur.

Bu nedenle modern üniversitenin birçok yerinde bilimsel faaliyet giderek iki farklı düzleme ayrılmaktadır. Bir tarafta bilimin kendi iç mantığı vardır: merak, problem çözme, kavramsal ilerleme. Öte tarafta ise kurumsal değerlendirme mantığı vardır: sayılar, raporlar, göstergeler.

Bu iki mantık çoğu zaman birbiriyle örtüşmez.

Bazen hatta doğrudan çatışır.

Stefan Grimm vakasını bu kadar çarpıcı kılan da tam olarak budur. Grimm’in meslektaşlarına gönderdiği son mesajda dile getirdiği cümle, bu çatışmayı birkaç kelimeyle özetler:

“Here it is not publish or perish. Here it is publish and perish.”

Bu cümle bir metafor değildir. Bu cümle bir rejimin teşhisidir.

Çünkü bilimsel faaliyet, sayılarla yönetilmeye başladığında ortaya çıkan şey yalnızca bürokratik bir dönüşüm değildir. Ortaya çıkan şey, bilimin kendi değer ölçütlerinin yerini alan yeni bir yönetim ideolojisidir.

Bu ideolojinin en tehlikeli yanı ise şudur:
Kendisini teknik bir gereklilik gibi sunar.

Oysa bu metnin iddiası açıktır.

Bu rejim teknik değildir.
Bu rejim bilimsel değildir.
Bu rejim kaçınılmaz değildir.

Bu rejim yalnızca kurulmuştur.

Ve kurulmuş olan her şey gibi, sorgulanabilir.

II. Bilimi Sayılarla Ölçmenin Mantıksal İmkânsızlığı

Bilimsel değerin sayılarla temsil edilebileceği düşüncesi ilk bakışta makul görünebilir. Modern kurumlar ölçülebilir göstergelere dayanarak çalışır. Üniversitelerin de kamusal kaynak kullanan kurumlar olduğu düşünülürse, faaliyetlerinin değerlendirilmesi gerektiği açıktır. Bu nedenle akademik dünyada ölçütlere başvurulması çoğu zaman kaçınılmaz bir gereklilik gibi sunulur.

Fakat bu argüman, dikkatle incelendiğinde, önemli bir varsayımı sessizce kabul eder:
bilimsel değerin nicel bir göstergeye indirgenebileceği varsayımını.

Sorun tam da burada başlar.

Çünkü bilimsel değerin ne olduğunu düşündüğümüzde, bunun doğrudan ölçülebilir bir özellik olmadığını hemen fark ederiz. Bir bilimsel çalışmanın değeri, tek bir değişkenle tanımlanamaz. Bir makalenin önemi, aynı anda birçok farklı boyutta ortaya çıkar: kavramsal yenilik, yöntemsel katkı, deneysel doğruluk, kuramsal açıklayıcılık, literatürle kurduğu ilişki, yeni sorular üretme kapasitesi.

Bu özelliklerin hiçbiri tek başına yeterli değildir; ama hepsi birlikte bir çalışmanın bilimsel değerini oluşturur. Dolayısıyla bilimsel değer, doğası gereği çok boyutlu bir kavramdır.

Buna karşılık bibliyometrik göstergeler —atıf sayısı, etki faktörü, h-indeksi— bu çok boyutlu yapıyı tek bir sayıya indirger. Bu indirgeme teknik bir basitleştirme değildir; epistemolojik bir kayıptır. Çünkü indirgenen şey yalnızca veri değil, anlamdır.

Örneğin atıf sayısı çoğu zaman bilimsel etkinin bir göstergesi olarak kabul edilir. Oysa atıfların anlamı son derece çeşitlidir. Bir makale şu nedenlerle atıf alabilir:

Dolayısıyla bir makalenin aldığı atıf sayısı, onun bilimsel değerinin doğrudan bir ölçüsü değildir. En iyi ihtimalle, bilimsel iletişim içindeki görünürlüğünün kaba bir işaretidir.

Aynı sorun etki faktörü için de geçerlidir. Etki faktörü dergiler arası ortalama atıf sayısını gösterir; fakat tek bir makalenin değeri hakkında hiçbir şey söylemez. Yüksek etki faktörlü bir dergide yayımlanan bir makale tamamen önemsiz olabilir; düşük etki faktörlü bir dergide yayımlanan bir makale ise alanın yönünü değiştirebilir.

Bu nedenle bibliyometrik göstergeler bilimsel değerin ölçüsü değil, en fazla dolaylı ve belirsiz işaretleridir.

Sorun şu ki modern akademik sistem bu işaretleri ölçüt haline getirdiğinde, Goodhart Yasası devreye girer: bir gösterge hedef haline geldiği anda, artık güvenilir bir gösterge olmaktan çıkar.

Bunun sonuçları bugün akademinin hemen her alanında gözlemlenebilir.

Atıf sayıları kariyerleri belirlediğinde, atıf stratejileri gelişir.
Etki faktörü yükseltildiğinde, dergi politikaları değişir.
Fon miktarı ölçüldüğünde, araştırma gündemleri finansman mantığına göre şekillenir.

Bu süreçte bilimsel faaliyet yavaş yavaş başka bir şeye dönüşür: bilgi üretimi değil, göstergelerin optimizasyonu.

Bu noktada ölçütlerin savunucuları genellikle pragmatik bir argüman ileri sürer: elbette göstergeler kusurludur, fakat büyük ölçekli sistemlerde başka bir seçenek yoktur. Sayılar kusurlu olabilir, ama hiç ölçmemekten iyidir.

Bu savunma ilk bakışta makul görünür. Fakat burada da önemli bir karışıklık vardır. Sorun ölçmenin kendisi değildir. Sorun, ölçülebilen şey ile değerli olan şeyin aynı kabul edilmesidir.

Bilimsel değer ölçülmesi zor bir şey olabilir. Bu, onun sayılarla temsil edilmesi gerektiği anlamına gelmez. Tersine, birçok durumda değerli olan şey tam da sayıya indirgenemeyen şeydir.

Bir kavramın açıklayıcı gücü, bir deneyin zekâsı, bir teorinin dönüştürücü etkisi — bunlar sayılarla ifade edilemez. Bilim tarihi bunun sayısız örneğiyle doludur. Pek çok büyük keşif ilk yayımlandığında neredeyse hiç atıf almamıştır. Bazıları ise yıllarca yanlış anlaşılmıştır.

Bu nedenle bilimsel değerlendirme her zaman belirli bir ölçüde yargı gerektirir. Bu yargı mükemmel değildir; ama bilimsel toplulukların yüzyıllar boyunca geliştirdiği temel mekanizma budur.

Metrik rejiminin asıl iddiası ise bu yargının yerini sayılarla doldurabileceğidir.

Bu iddia bilimsel değildir.

Bu iddia teknik değildir.

Bu iddia aslında derin bir epistemolojik yanılsamadır: karmaşık bir entelektüel pratiğin birkaç sayısal göstergeyle temsil edilebileceği yanılsaması.

Stefan Grimm’in ölümünden sonra yazdığı cümle bu yanılsamanın en karanlık sonucunu gösterir:

“Publish and perish.”

Bu cümle yalnızca bireysel bir trajediyi anlatmaz. Bu cümle, bilimsel değerin sayılarla yönetilmeye çalışıldığı bir sistemin mantıksal sonucunu anlatır

II. Ölçütler Bilim Değildir

Türkiye’deki Metrik Rejimine Bir Meydan Okuma

Bugün dünyanın birçok yerinde akademik değerlendirme sistemleri, bilimsel değeri sayısal göstergeler aracılığıyla temsil etme eğilimindedir. Ancak bu eğilimin en katı biçimlerinden biri, bilimsel faaliyetleri belirli indeks listelerine indirgeme anlayışıdır.

Türkiye’de akademik yükseltme ve teşvik mekanizmalarının önemli bir bölümü, bilimsel değeri doğrudan indeks statüsüne bağlayan bir mantık üzerine kuruludur. Bu mantık son derece basittir: bir çalışma belirli bir indeks içinde yer alan bir dergide yayımlanmışsa değerli kabul edilir; bu indeksin dışında kalıyorsa bilimsel değeri ikincil sayılır.

Bu yaklaşımın sorunu yalnızca indirgemeci olması değildir. Sorun, aynı zamanda bilimsel değerlendirmeyi dışsal bir listeye devretmesidir.

Bir makalenin bilimsel değeri artık şu sorularla belirlenmez:

Bunun yerine şu soru sorulur:

Bu soru bilimsel değildir.
Bu soru epistemik değildir.
Bu soru yalnızca bürokratik bir sorudur.

Dahası, bu yaklaşımın akademik literatürde uzun süredir yoğun eleştirilere maruz kaldığı bilinmektedir. Bibliyometrik göstergelerin bilimsel değeri temsil edemeyeceği yalnızca birkaç eleştirel makalenin iddiası değildir. Bu görüş, bugün bilim politikası literatüründe giderek genişleyen bir uzlaşma alanı haline gelmiştir.

Bu nedenle şu noktayı açıkça ifade etmek gerekir:

Bilimsel değeri doğrudan indeks statüsüne bağlayan sistemler yalnızca indirgemeci değildir; aynı zamanda epistemolojik olarak savunulamaz.

Bu noktada mesele yalnızca akademik tercih değildir. Mesele kamusal bir sorumluluktur. Çünkü bilimsel değerlendirme sistemleri yalnızca kariyerleri belirlemez; aynı zamanda araştırma gündemlerini şekillendirir. Eğer bir sistem belirli göstergeleri ödüllendiriyorsa, araştırma faaliyetleri zamanla bu göstergelere göre biçimlenir.

Sonuç olarak ortaya çıkan şey bilimsel ilerleme değil, göstergelere uyum sağlama stratejileridir.

Bu nedenle Türkiye’de akademik değerlendirme politikalarının temel dayanaklarından biri haline gelmiş olan indeks zorunluluğu anlayışı yeniden düşünülmelidir.

Daha açık söylemek gerekirse:

Bilimsel değerin belirli indeks listeleri aracılığıyla ölçülebileceği varsayımının bilimsel bir temeli yoktur.

Bu varsayımı destekleyen güçlü bir teorik model yoktur.
Bu varsayımı doğrulayan sağlam bir ampirik literatür yoktur.
Bu varsayımı savunan ikna edici bir epistemolojik gerekçe yoktur.

Buna rağmen bu yaklaşım Türkiye’de giderek daha katı bir biçimde uygulanmaktadır.

Bu durum sürdürülebilir değildir.

Bu nedenle burada açık bir çağrı yapılmalıdır:

Türkiye’de bilimsel değerlendirme sistemlerinin temel unsurlarından biri haline gelen indeks zorunluluğu anlayışı derhal gözden geçirilmelidir.

Eğer bu uygulamanın bilimsel ilerlemeye katkıda bulunduğunu düşünenler varsa, bu iddialarını açık biçimde ortaya koymalıdırlar.

Bu sistemin bilimsel olarak gerekçelendirildiğini gösteren:

varsa, bunlar kamuoyuna sunulmalıdır.

Çünkü aksi halde şu sonuç kaçınılmazdır:

Bilimsel değerin sayısal göstergelere indirgenmesi yalnızca metodolojik bir tercih değildir. Bu durum, bilimin kendi iç değerlendirme mekanizmalarının yerini bürokratik bir ölçüm rejiminin alması anlamına gelir.

Ve bilim tarihinde bunun iyi sonuç verdiğini gösteren hiçbir örnek yoktur.

V. Bilim Sayılardan Büyüktür

Bu metin bir ölümle başladı.

2014 yılında Imperial College London’da çalışan toksikoloji profesörü Stefan Grimm hayatını kaybettiğinde geride yalnızca bilimsel makaleler değil, aynı zamanda modern akademinin nasıl çalıştığına dair ürkütücü bir belge de bıraktı. Grimm’in meslektaşlarına gönderdiği son mesajda yazdığı cümle, bu belgenin en çarpıcı satırıdır:

“Burada olan şey publish or perish değil.
Burada olan şey publish and perish.”

Bu cümle yalnızca bir öfke ifadesi değildir. Bu cümle bir teşhistir.

Çünkü bilimsel faaliyet, sayılar aracılığıyla yönetilmeye başlandığında ortaya çıkan şey yalnızca bürokratik bir düzen değildir. Ortaya çıkan şey, bilimin kendi değer ölçütlerinin yerini alan bir ölçüm ideolojisidir.

Bu ideoloji bilimsel değerin sayılarla temsil edilebileceğini varsayar.
Oysa bilim tarihinin en basit gerçeği bunun tersini gösterir.

Bilimsel ilerleme hiçbir zaman sayılarla başlamaz.

Bilimsel ilerleme çoğu zaman bir soruyla başlar.
Bazen bir sezgiyle.
Bazen de henüz kimsenin ciddiye almadığı bir fikirle.

Bu fikirlerin değeri çoğu zaman yıllar sonra anlaşılır. Bazen on yıllar sonra. Bazen ise yalnızca birkaç kişinin dikkatli okumasıyla.

Bilimin tarihinde dönüştürücü etkiler yaratan birçok çalışma, yayımlandığı anda ölçülebilir bir başarı göstermemiştir. Bazıları uzun süre görmezden gelinmiştir. Bazıları ise yanlış anlaşılmıştır. Buna rağmen bilim ilerlemiştir.

Çünkü bilim, ölçütlerin değil muhakemenin alanıdır.

Bilimsel değeri sayılarla temsil etme çabası bu nedenle yalnızca teknik bir hata değildir. Bu çaba, bilimin doğasını yanlış anlamaktan kaynaklanan bir hatadır.

Bu metnin iddiası basittir.

Bilimsel değeri sayılarla ölçebileceğimizi düşünüyorsak, bunu kanıtlamak zorundayız.

Eğer bilimsel değerin gerçekten birkaç bibliyometrik göstergeden türetilebileceğini gösteren güçlü bir teori varsa, bu teori ortaya konmalıdır.

Eğer indeks listelerinin bilimsel kaliteyi güvenilir biçimde temsil ettiğini gösteren güçlü ampirik kanıtlar varsa, bunlar paylaşılmalıdır.

Ama böyle bir kanıt yoksa, o zaman sayıları bilimin yerine koyan sistemlerin bilimsel olduğunu iddia etmek mümkün değildir.

Bu nedenle bu metin bir çağrı ile sona ermelidir.

Bilimsel değerin sayılarla temsil edilebileceğini düşünenler varsa, bunu kanıtlasınlar.

Varsa ellerinde veri, getirsinler.
Varsa yöntem, göstersinler.
Varsa teori, savunsunlar.

Ama aksi halde, bilimi sayılarla yönetmeye çalışan bu düzenin bilimsel bir temeli yoktur.

Bilim ölçütlerden büyüktür.

Ve hiçbir indeks listesi, hiçbir etki faktörü, hiçbir performans tablosu bu gerçeği değiştiremez.

© Ek Dergi

visit website