Серкин Александр Владимирович (гбоу впо московский городской педагогический университет)






Скачать 184.78 Kb.
НазваниеСеркин Александр Владимирович (гбоу впо московский городской педагогический университет)
Дата публикации12.02.2015
Размер184.78 Kb.
ТипДокументы
e.120-bal.ru > История > Документы
Серкин Александр Владимирович (ГБОУ ВПО Московский городской педагогический университет)

Динамика результатов международных сравнительных исследований качества образования и исторический контекст развития образовательных систем

Данные международных сравнительных исследований качества образования (в первую очередь – PISA, TIMSS и PIRLS) во многих странах используются для принятия управленческих и политических решений в сфере образования, что повышает ответственность аналитиков, берущихся за интерпретацию этих результатов. Сложившаяся практика анализа взаимосвязи результатов PISA, TIMSS и PIRLS с контекстными данными, на мой взгляд, таит в себе опасность своего рода «ловушек антиисторизма», связанных с неучетом двух принципиальных обстоятельств:

1) Уровень учебных достижений, демонстрируемый в момент проведения оценивания – это накопленный результат. Он образовался не «здесь и сейчас», а был сформирован всей предыдущей историей обучения и развития школьника.

2) Образовательные институты являются системами с высокой степенью инерционности. Происходящие изменения в условиях их функционирования, по-видимому, весьма часто приводят не к моментальным, а к «отложенным» эффектам.

Таким образом, результаты международных тестирований говорят не столько о том, насколько успешны, сколько о том, «насколько были успешны» сравниваемые образовательные системы в период, предшествующий времени самого тестирования. Это означает, что, например, анализ динамики результатов между двумя циклами одного исследования должен строиться с учетом изменчивости контекстных данных не между моментами тестирования, а (по меньшей мере) между циклами формального обучения тестируемых когорт.

Попробуем на конкретных примерах увидеть, как меняется исследовательская перспектива при предлагаемом подходе к отбору контекстных данных для анализа.

Кейс 1. Динамика образовательных достижений и социально-экономического развития РФ.

Россия – одна из немногих стран, принявших с конца прошлого века до нашего времени участие во всех этапах трех крупнейших международных сравнительных исследованиях качества образования – TIMSS, PISA и PIRLS. При этом динамики результатов традиционно представляются как не согласованные друг с другом. Распространенная интерпретация сводится к тому, что российская начальная школа демонстрирует хорошие результаты, вторая ступень выглядит похуже, но потихоньку «подтягивается». Прогресс обеспечен успешными реформами (в первую очередь введением ЕГЭ и ГИА-9), но необходима дальнейшая усиленная модернизация российской школы, в особенности ее среднего звена1.

В табл. 1 результаты российских школьников в TIMSS, PISA и PIRLS отражены в привязке не к году тестирования, а к году поступления тестировавшихся в школу (для PISA взят «средний» год).

Табл. 1: Возрастные когорты российских школьников в программах TIMSS, PISA и PIRLS2


Год поступления в школу*

1987

1991

1994

1995

1997

1999

2000

2002

2003

2007

TIMSS – 4 класс, математика
















532 (2003)







544 (2007)

542 (2011)

TIMSS – 4 класс, естествознание
















526 (2003)







546р (2007)

552 (2011)

TIMSS – 8 класс, математика

524 (1995)

526 (1999)




508с (2003)




512 (2007)







539р (2011)




TIMSS – 8 класс, естествознание

523 (1995)

529 (1999)




514с (2003)




530р (2007)







542р (2011)




PISA, чтение




462 (2000)

442с (2003)




440 (2006)




459р (2009)




475р

(2012)




PISA, математика







468 (2003)




476 (2006)




468 (2009)




482р (2012)




PISA, естествознание













479 (2006)




478 (2009)




486р (2012)




PIRLS













528 (2001)







565р (2006)




568 (2011)

При таком представлении хорошо видно, что динамики всех исследований хорошо согласуются друг с другом: все значимые снижения результатов относятся к одним возрастным когортам, а все значимые повышения – к другим. При этом спад учебных достижений характерен для когорт, обучавшихся в школе в сер. 1990-х – сер. 2000-х гг., а рост – начавших обучение в первой половине 2000-х. Логично предположить, что негативное влияние неких факторов на успешность российской школы проявилось именно в конце 1990-х гг., а позитивное – в первые годы нового века.

Если вспомнить о специфике истории России за последние 25 лет, напрашивается объяснение обнаруженной тенденции факторами социально-экономического порядка. Сравним выявленную динамику образовательных результатов с динамикой экономического развития России (см. рис. 1). Чтобы избежать возможных аберраций, используем, наряду с уровнем ВВП в сопоставимых ценах, также и альтернативную оценку – с поправкой на фактор «естественного развития». Возьмем ее как отношение достигнутого уровня ВВП к «прогнозу», рассчитанному из уровня ВВП 1989 г. с учетом среднемировых темпов роста.

Рис. 1: Динамика ВВП н/д, в сопоставимых ценах и в отношении к среднемировому уровню3

В ценах 2005 г. В процентах к среднемировому уровню
Как видим, результаты начальной школы (как в PIRLS, так и в TIMSS) оказываются хорошо согласованными с текущими показателями экономического развития, скорректированными с учетом среднемировых темпов роста. Результаты же основной школы (как в TIMSS, так и в PISA) с текущими показателями экономического развития не согласуются, но, по-видимому, отражают их динамику с «запаздыванием» в несколько лет. На мой взгляд, обнаруженная связь ставит вопрос о возможном пересмотре всех сложившихся оценок эффективности образовательной политики России последних двух десятилетий.

Кейс 2. Взаимосвязь результатов в PISA (2000-20094) и уровня социально-экономического развития.

Уровень грамотности в PISA значимо коррелирует с уровнем валового внутреннего продукта (ВВП) на душу населения, но эта корреляция обусловлена только «нижней» частью выборки. «Пороговым» оказывается значение около 20 тыс. долларов (2009 г.)5. При этом нельзя увидеть никакой явной связи между динамикой образовательных достижений и динамикой экономического развития, взятой как изменение показателей между годами проведения тестирований. На уровне разработки образовательной политики это делает возможным постановку целей и задач без «излишней» оглядки на длительные социально-экономические тренды. Однако, насколько мне известно, никто не пытался провести сопоставление динамики результатов PISA и социально-экономического развития в странах, не достигших указанного выше «порогового уровня», не между моментами тестирования, а в предшествующие периоды.

Для оценки значимости изменения результатов между циклами PISA я использовал ранжирование по шкале, аналогичной классической шкале стенов, но более чувствительной к изменениям «на краях» распределения (особенно в его нижней части). В нашей шкале среднее значение принимается равным 11, а стандартное отклонение – 4; общее число рангов – 206. В качестве нормирующей выборки использовались результаты 58 стран, включенных в анализ трендов развития в международном отчете PISA-20097. Результаты такого ранжирования для 27 стран в нашем кейсе приведены в табл. 2.

Табл. 2: Ранговая оценка результатов PISA (27 стран с невысоким уровнем экономического развития)

Страна

Ранг результата в PISA

2000

2003

2006

2009

Азербайджан







1

2

Албания

1*







4

Аргентина

7*




3

5

Болгария

8*




5

8

Бразилия

5

5

5

6

Венгрия

12

12

12

13

Индонезия

3*

4

5

5

Иордания







5

6

Киргизия







1

1

Колумбия







4

6

Латвия

10

13

12

12

Литва







11

11

Мексика

7

5

6

7

Перу

1*







3

Польша

12

13

14

13

Россия

10

9

8

10

Румыния

7




5

7

Сербия




6

5

9

Словакия




11

11

11

Таиланд

8*

7

7

7

Тунис




3

4

6

Турция




9

9

10

Уругвай




8

6

7

Хорватия







11

11

Черногория







5

6

Чили

6*




9

9

Эстония







13

13

*В отмеченных странах исследование по тестам PISA-2000 проводилось в 2001-2002 гг.

Для наших целей, будем считать значительными такие изменения в результатах PISA, при которых минимальная и максимальная оценки страны в разных циклах исследования различаются больше, чем на 2 ранга. Стран с такими значительными изменениями оказывается семь.

Для остальных 20 стран ограничимся сравнением результатов в PISA-2009 с уровнем ВВП за 2009 г. и за период, примерно охватывающий все предшествовавшее школьное обучение тестировавшихся. Чтобы избежать вероятных искажений, связанных с разным (по силе и скорости) проявлением результатов мирового экономического кризиса 2008-2009 гг., используем в качестве «контрольных» также данные за 2007 г. Результаты отражены на рис. 2:

Рис. 2: Связь экономического развития8 и уровня учебных достижений в PISA-2009 (20 стран)

1999-2008 (среднегод.)

(0,811)

2009

(0, 768)



2007Х – ВВП на д/н, ППС (в ценах 2005 г.); Y – балл в PISA-2009;

в скобках — значение коэффициента ранговой корреляции Кендалла

Как видим, результаты PISA лучше объясняются при сопоставлении с уровнем экономического развития не за год исследования, а за предшествующий период; но «выигрыш» от применения такой методики в данном случае оказывается слишком малым, чтобы безусловно оправдать связанные с его применением большие трудозатраты.

Среди стран с высоким уровнем колебания результатов Албания, Тунис и Чили демонстрируют последовательный рост в течение всего десятилетия (однако, для Албании имеются данные лишь за первый и последний циклы); Болгария, Сербия и Аргентина показывают сперва спад, а затем рост; Латвия показывает рост результатов в 2003 г. и некоторый спад в 2006 (с сохранением уровня значительно выше 2000 г.)

Сравним эти динамики с динамикой экономического развития указанных стран за период с 1990 по 2008 гг. Чтобы избежать искажений, связанных с «естественным развитием», показатели ВВП на душу населения возьмем не в абсолютных цифрах, а в процентах к среднемировому уровню соответствующего года. Графики на рис. 3 отображают эту динамику.

Рис. 3: Динамика экономического развития – страны с высокой изменчивостью результатов PISA

а) Европа


б) страны вне Европы


X – годы, Y – ВВП на душу населения (по ППС, в ценах 2005 г.) в процентах к среднемировому значению

Сопоставим эти графики с динамикой результатов PISA. Случаи Албании и Туниса – самые очевидные: как уровень экономического развития, так и образовательные достижения в этих странах крайне низкие, и они имеют согласованные тенденции роста. В Тунисе рост результатов PISA сравнительно более выражен; «отставание» Албании, по-видимому, вполне удовлетворительно объясняется тем, что предшествующий период (1980-е – начало 1990-х) был для этой страны периодом острого политического и социально-экономического кризиса.

Результаты Аргентины и Чили очень показательны. В первом цикле исследования Аргентина имела более высокие образовательные достижения, чем Чили; несложно заметить, что ситуация с экономическим развитием двух стран за период 1990-1999 гг. соотносятся точно таким же образом. В течение всего следующего десятилетия экономика Чили демонстрирует сравнительно высокую стабильность, с заметной тенденцией к росту – и в образовательных достижениях также наблюдается уверенный рост. Аргентина же, напротив, переживает два кризиса – менее значительный в середине 1990-х гг., и достаточно глубокий и затяжной с 1998 по 2002 гг. В последующий период экономика страны успешно восстанавливается, но еще и в 2008 г. не достигает докризисного уровня. И точно так же выглядит динамика результатов PISA: в 2006 г. (т.е. у школьников, начавших обучение около 19979 г.) наблюдается резкий спад результатов, в следующем же цикле (школьники, чей период обучения полностью пришелся на 2000-е гг.) происходит частичное восстановление уровня учебных достижений – однако, они по-прежнему остаются существенно более низкими, чем в 2000 г.

Результаты Болгарии и Сербии, при некоторых отличиях, демонстрируют сходную тенденцию – спад сменяется ростом к концу периода. Динамика идентична как в части социально-экономических показателей, так и в части результатов PISA. В Сербии колебания, по-видимому, носят более резкий характер, что так же удовлетворительно объясняется и более выраженным характером кризисного развития в этой стране, пережившей не только социально-политические трансформации, но и затяжной период войн, последовавших за распадом Югославии.

Особняком, на первый взгляд, стоят результаты Латвии. Однако, можно заметить, что и экономическое развитие этой страны, имея сходную с другими восточноевропейскими странами тенденцию, отличается совершенно другими темпами. Глубокий экономический спад пришелся здесь на начало 1990-х гг., и сменился стабилизацией к середине десятилетия; но уже со второй половины последнего десятилетия прошлого века (и вплоть до мирового финансово-экономического кризиса 2008 г.) латвийская экономика росла сравнительно высокими темпами. Можно предположить, что сравнительно низкий результат Латвии в PISA-2000 явился отражением социальных проблем периода трансформации. Но уже школьники, начавшие обучение около 1993 г. (то есть как раз с момента прекращения экономического спада), демонстрируют в PISA-2003 существенно более высокие результаты. Последовавшее же в следующем цикле снижение результатов, по принятым нами выше критериям, следует считать не слишком значительным.

Рассмотрим отдельно также динамику экономического развития Польши, чей рост в PISA вызывал в предыдущее десятилетие всеобщее внимание. На рис. 4 хорошо видно, что приросту образовательных достижений в этой стране предшествовал стабильный и заметный рост экономики.

Рис. 4: Динамика экономического развития – Польша



Таким образом, все значительные изменения в уровне учебных достижений хорошо согласуются с колебаниями экономического развития предшествующего периода, то есть эта взаимосвязь проявляется «отложено».

Интересно, что обратное утверждение будет неверным: не всегда экономические колебания влекут за собой однонаправленные изменения результатов, демонстрируемых в PISA. Рассмотрим случаи Бразилии и Турции (динамика их экономического развития представлена на рис. 5)

Рис. 5: Динамика экономического развития – Бразилия и Турция


Результаты обеих этих стран в PISA стабильны с некоторой тенденцией к повышению. При этом в Бразилии для экономической ситуации характерно последовательное замедление темпов роста, экономика же Турции в предшествующие периоды заметно колебалась.

Полученные данные, на мой взгляд, позволяют поставить вопрос о возможном преувеличении экспертами эффективности образовательной политики в некоторых из стран с невысоким уровнем экономического развития (таких, как Чили или Польша), поскольку успехи этих стран в PISA строго коррелируют со стабильным экономическим ростом в предшествующий период. Напротив, возможно, недооценивается эффективность образовательной политики в ряде других стран, демонстрирующих относительно большую устойчивость учебных достижений школьников к экономическим колебаниям (например, Бразилии и Турции).

Таким образом, наряду со сложившейся практикой анализа, фиксирующей отношения измеренных образовательных результатов с факторами, наблюдаемыми синхронно с проведением тестирований, совершенно необходимо использовать методы, позволяющие выявлять влияние на динамику учебных достижений предшествующих динамик развития связанных факторов. Иначе мы рискуем получать неточные или ошибочные объяснения того, как характеристики социально-экономического и культурного развития и особенности проводимой образовательной политики сказываются на уровне учебных достижений в образовательных системах, что может повлечь ошибочные действия по реформированию (или, напротив, отказу от реформирования) этих систем и привести к негативному влиянию на судьбы целых поколений.

ЛИТЕРАТУРА

  1. Курская А. Итог международных исследований: школьное образование в РФ улучшается // РИА-Новости. – 2012, дек. 11. – url: http://ria.ru/ratings_multimedia/20121211/788759958.html

  2. Результаты международного исследования TIMSS-2011: [Пресс-релиз] / Минобрнауки РФ; Центр оценки качества образования, и др. – [М., 2012] – url: http://centeroko.ru/download/PR_TIMSS-2011_11_12_2012.zip

  3. Чканикова А. PIRLS, TIMSS: российские школьник попали в десятку! // Первое сентября. – 2012. - № 22. – url: http://ps.1september.ru/view_article.php?ID=201202206.

  4. Does money buy strong performance in PISA? // PISA-in-focus. - № 13.– url: http://www.oecd.org/pisa/49685503.pdf

  5. PISA 2009 Results: Learning Trends: Changes in Student Performance since 2000 (Volume V). – OESD, 2010.

(0,758)

1 См., напр.: Результаты международного исследования TIMSS-2011: [Пресс-релиз] / Минобрнауки РФ; Центр оценки качества образования, и др. – [М., 2012] – url: http://centeroko.ru/download/PR_TIMSS-2011_11_12_2012.zip; Курская А. Итог международных исследований: школьное образование в РФ улучшается // РИА-Новости. – 2012, дек. 11. – url: http://ria.ru/ratings_multimedia/20121211/788759958.html; Чканикова А. PIRLS, TIMSS: российские школьник попали в десятку! // Первое сентября. – 2012. - № 22. – url: http://ps.1september.ru/view_article.php?ID=201202206.

2 В скобках указан год проведения исследования. Выделены результаты, отличие которых от предыдущего этапа статистически значимо («с» - результаты статистически значимо снизились, «р» – результаты статистически значимо повысились)

3 Источник данных: Всемирный банк. База данных World development indicators. Индикатор NY.GDP.PCAP.PP.KD (GDP per capita, PPP (constant 2005 international $)).

4При работе над данным докладом я не имел возможности учесть результаты PISA-2012, поэтому данные охватывают лишь первые четыре этапа исследования.

5 Does money buy strong performance in PISA? // PISA-in-focus. - № 13.– url: http://www.oecd.org/pisa/49685503.pdf

6 Формула приведения имеет вид 4*(X-M)/D+11, где X – значение в баллах PISA, M – среднее арифметическое значение в нормирующей выборке, D – стандартное отклонение в нормирующей выборке. Всем значениям ниже 2 присваивается ранг 1, больше 2, но ниже 3 – ранг 2, и т.д.; все значения от 20 и выше принимают ранг 20. Таким образом, средние значения будут относиться к рангам 10 и 11.

7 В этот список попали лишь страны, участвовавшие как минимум в двух циклах PISA; кроме того, некоторые результаты были исключены экспертами из сравнения в связи с различными проблемами методологического характера (см.: PISA 2009 Results: Learning Trends: Changes in Student Performance since 2000 (Volume V). – OESD, 2010. – P.26).

8Источник экономических данных здесь и далее: Всемирный банк. База данных World development indicators. Индикатор NY.GDP.PCAP.PP.KD (GDP per capita, PPP (constant 2005 international $)).

9 В южном полушарии учебный год начинается в марте, а международные сравнительные исследования проводятся, как правило, в октябре. Таким образом, 10-классники, тестировавшиеся в октябре 2006 г., начали обучение в школе в марте 1997.

Добавить документ в свой блог или на сайт

Похожие:

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconМосковский городской педагогический университет
Учебная программа обсуждена и утверждена на заседании ученого совета Самарского филиала гоу впо г. Москвы «Московский городской педагогический...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconПрограмма государственной итоговой аттестации по направлению подготовки...
Министерства образования России от 25. 03. 2003 г. №1155, и Положением об итоговой государственной аттестации выпускников гбоу впо...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconФормирование кластера жилищно-коммунальных услуг в регионе
Работа выполнена на кафедре «Экономика» гоу впо «Московский городской педагогический университет» (Самарский филиал)

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconПедагогический университет актуальные вопросы методики обучения иностранным...
Никитенко Зинаида Николаевна, профессор кафедры методики преподавания иностранных языков гоу впо московский педагогический государственный...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconОсновная образовательная программа 080507. 65 Факультет Менеджмент...
Учебная программа обсуждена и утверждена на заседании ученого совета Самарского филиала гоу впо г. Москвы «Московский городской педагогический...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconЛектор: Анна Вячеславовна Юрко, Юрий Владимирович Автономов
Преподаватели семинарских занятий: Ирина Юрьевна Семенова, Юрий Владимирович Автономов, Армине Вагенаковна Векилян, Яна Алексеевна...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconМосковский городской педагогический университет
Федеральным государственным образовательным стандартом высшего образования по направлению подготовки 05. 06. 01 Науки о земле (уровень...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconМедико-организационные аспекты оптимизации оказания экстренной медицинской...
Работа выполнена в гбоу впо первый Московский государственный медицинский университет им. И. М. Сеченова Министерства здравоохранения...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconПобедители конкурса «Губернаторский резерв – 2010» Александр Шаров
Александр Шаров, закончил моу «сош №10» города Лиски Лискинского муниципального района с золотой медалью и поступил в Московский...

Серкин Александр Владимирович (гбоу впо московский городской педагогический университет) iconИнтегрированное влияние факторов на уровень стоматологической заболеваемости...
Работа выполнена в гбоу впо «Московский государственный медико-стоматологический университет имени А. И. Евдокимова» Министерства...






При копировании материала укажите ссылку © 2016
контакты
e.120-bal.ru
..На главную