Главная » Бесплатные рефераты » Бесплатные рефераты по социологии »

Методы анализа эмпирических данных: группировока, таблицы и графики

Тема: Методы анализа эмпирических данных: группировока, таблицы и графики

Раздел: Бесплатные рефераты по социологии

Вуз: ВЗФЭИ

Год и город: Владимир 2010

СОДЕРЖАНИЕ
ВВЕДЕНИЕ 3
1 Подготовка эмпирических данных к обработке и анализу 4
2 Сущность и виды группировок. Таблицы и графики: их роль в анализе социологических данных 8
3 Структура отчета о социологическом исследовании 15
Заключение 17
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 20

ВВЕДЕНИЕ
Слово «эмпирический» буквально означает «то, что воспринимается органами чувств». Когда это прилагательное употребляется по отношению к методам научного исследования, оно служит для обозначения методик и методов, связанных с сенсорным (чувственным) опытом. Поэтому говорят, что эмпирические методы основываются на т. н. «твердых (неопровержимых) данных» («hard data»). Кроме того, эмпирическое исследование твердо придерживается научного метода в противоположность другим исследовательским методологиям, таким как натуралистическое наблюдение, архивные исследования и др. Важнейшая и необходимая предпосылка, лежащая в основе методологии эмпирического исследования состоит в том, что оно обеспечивает возможность своего воспроизведения и подтверждения/опровержения. Пристрастие эмпирического исследования к «твердым данным» требует высокой внутренней согласованности и устойчивости средств измерения (и мер) тех независимых и зависимых переменных, которые привлекаются с целью научного изучения. Внутренняя согласованность является основным условием устойчивости. Средства измерения не могут быть высоко или хотя бы достаточно надежными, если эти средства, поставляющие сырые данные для последующего анализа, не будут давать высокие интеркорреляции. Неудовлетворение этого требования способствует внесению в систему дисперсии ошибок и приводит к получению неоднозначных или вводящих в заблуждение результатов.
Целью контрольной работы является рассмотрение методов анализа эмпирических данных.
Задачами контрольной работы является рассмотрение и выделение этапов процесса анализа, их роли в социологическом исследовании, а также выделение видов и тип группировок методов анализа и их классификация.

1. Подготовка эмпирических данных к обработке и анализу.
Заключительный этап социологического исследования включает обработку, интерпретацию и анализ данных, построение эмпирически выверенных и обоснованных обобщений, выводов, рекомендаций и проектов. Этап обработки подразделяется на несколько стадий:
• редактирование информации — проверка, унификация и формализация полученной в ходе исследования информации. На стадии предварительной подготовки к обработке осуществляется проверка методического инструментария на точность, полноту и качество заполнения, выбраковываются некачественно заполненные анкеты;
• кодирование — перевод данных на язык формализованной обработки и анализа путем создания переменных. Кодирование представляет собой связующее звено между качественной и количественной информацией, характеризующееся числовыми операциями с информацией, введенной в память ЭВМ. Если во время кодирования произошел сбой, замена или потеря кода, то информация будет неверной;
•статистический анализ — выявление некоторых статистических закономерностей и зависимостей, которые дают социологу возможность сделать определенные обобщения и выводы;
• интерпретация — превращение социологических данных в показатели, которые являются не просто числовыми величинами, а определенными социологическими данными, соотнесенными с целями и задачами исследователя, его знанием, опытом.
Анализ информационного материала различается в зависимости от того, какое исследование проводится — качественное или количественное. В качественном исследовании анализ обычно начинается уже на этапе сбора данных, поскольку ученый делает комментарии в своих полевых записях, отмечает обсуждаемые идеи и т.д. В период анализа исследователю иногда приходится вновь возвращаться к сбору данных, если их оказалось недостаточно или чтобы проверить правильность выдвинутых гипотез. В качественном анализе перед исследователем стоят проблемы соблюдения баланса между описанием и истолкованием (важно дать как можно более полное, максимально приближенное к действительности представление о наблюдаемом явлении, но избежать излишних комментариев), правильного соотношения между его интерпретациями и тем, как ситуацию воспринимают и понимают ее участники (важно максимально полно способствовать передаче восприятия действительности самими действующими лицами и избегать оправданий или диагностирования их поведения, чисто воспроизвести мнения действующих лиц, но и не менее важно сохранить те стороны изучаемого явления, которые подлежат лишь аналитической конструкции).
В количественном анализе оперируют понятиями переменных, влияющих друг на друга. При сборе, обработке, анализе, моделировании и сопоставлении результатов разных исследований используется совокупность методов и моделей прикладной математической статистики. К первой группе относят выборочный метод, описательную статистику, анализ связей и зависимостей, теорию статистических выводов, оценок и критериев, планирование экспериментов, ко второй — ряд методов многопеременной статистики, различные методы шкалирования, таксономические процедуры, корреляционный, факторный, причинный анализ, а также большую группу статистических моделей.
Анализ получаемых в ходе социологического исследования данных начинается с контроля за качеством заполнения инструментария, исправления ошибок и отбраковки (выбраковки) некачественно заполненных анкет, бланков, карточек и т.п. Категории качества заполнения инструментария разнообразны, подходы здесь неоднозначны. Все зависит от условий работы анкетеров, интервьюеров, места опроса и других факторов. Как правило, исследователи всегда стараются «довести» инструментарий до нужного качественного уровня.
Вначале выявляется правильность ответа на каждый вопрос и при необходимости ответ исправляется. Например, на вопрос: «Знаете ли вы основные условия, заложенные в трудовом соглашении вашего коллектива с администрацией предприятия?» чаще всего отвечают: «Да, знаю». Но далее в анкете стоит открытый контрольный вопрос: «Если знаете, назовите их, пожалуйста». Он остается незаполненным. Если с респондентом работал интервьюер, анкетер, то против этого вопроса должна стоять отметка: «Затруднился ответить», «Не знает» и т.п. Тогда становится очевидным, что респондент не осведомлен об условиях трудового соглашения. Но если респондент заполнял анкету самостоятельно, то здесь получение однозначного ответа затруднительно. В этом случае альтернативу «Да, знаю» надо зачеркнуть и отметить другую, скорее всего «Нет ответа», «Затрудняется ответить» и т.п. Затем подсчитываются неправильные ответы. При исправлении каждого третьего ответа в анкете ее лучше не готовить к машинной обработке. В случае если респондент не ответил на 10—15% основных вопросов, против них контролер ставит отметку «Нет ответа», и анкета идет на обработку в ЭВМ.
Более жесткие требования предъявляются к вопросам, касающимся социально-демографических характеристик респондентов (пол, возраст, образование и т.д.). Если нет ответов на эти вопросы, то инструментарий изымается из общего массива. Исключаются из обработки на ЭВМ документы, заполненные неразборчиво, а также записи, которые не поддаются однозначному толкованию.
Допущенные к обработке документы нумеруются, начиная с № 1 в целях контроля за их прохождением. В дальнейшем массив документов передается на кодирование. Но перед тем как передать анкеты в руки операторов, надо закодировать открытые вопросы. На каждый открытый вопрос, как правило, составляют не менее пяти шифров-кодов. Выше уже приводился один из открытых вопросов: «Если знаете, назовите, пожалуйста». Ответы на этот вопрос могут быть самыми разнообразными: от полных, глубоких, обстоятельных до ответов-схем. Шифры-коды должны отражать шкалу интенсивности ответов на открытый вопрос. Обычно кодирование таких ответов проходит в два-три этапа. Сначала варианты ответов выписывают отдельно, подсчитывают число употреблений каждого варианта — частота его повторения. Затем варианты группируются по смысловой близости, совпадению. Таких групп, как показывает практика, набирается четыре-пять, и каждой из них присваивается свой шифр или код.
Кодирование — связующее звено между качественной и количественной информацией. На данной основе и осуществляются числовые операции с информацией, введенной в память ЭВМ. Если во время кодирования произойдет сбой, замена или потеря кода, то информация окажется неправильной.
Сущность обработки первичной информации заключается в ее обобщении. Результаты обобщения называют социологической информацией. Решение о способе обработки инструментария принимается заранее. При опросе 60-70 человек обработку вполне можно провести вручную, на микрокалькуляторе. Если анкета сравнительно невелика (содержит до 20 вопросов), то ручная обработка возможна при наличии 200-350 анкет. Но если в инструментарии более 20 вопросов, тогда предел для ручной обработки – 100-200 анкет. При обработке на ЭВМ результаты отражаются в виде табуляграмм, структура которых зависит от заложенной в ЭВМ программы, поэтому здесь нужна помощь программиста.

2. Сущность и виды группировок. Таблицы и графики: их роль в анализе социологических данных
Статистическая группировка — это процесс образования однородных групп на основе расчленения статистической совокупности на части или объединения изучаемых единиц в частные совокупности по существенным для них признакам, каждая из которых характеризуется системой статистических показателей. Например, группировка промышленных предприятий по формам собственности, группировка населения по размеру среднедушевого дохода, группировка коммерческих банков по сумме активов баланса и т.д.
Задачи и функции метода группировок:
1.     выявить закономерность и взаимосвязь явлений;
2.     проследить взаимоотношения разных факторов и определить силу их влияния на результативные показатели;
3.     дать характеристику структуры и структурных сдвигов в совокупности;
Группировки бывают разных видов. Простая группировка - это классификация или упорядочение данных по одному признаку. Связывание фактов в систему осуществляется здесь в соответствии с описательной гипотезой относительно ведущего признака группировки (или признака классификации). Так, в зависимости от гипотез можно сгруппировать выборочную совокупность по возрасту, полу, роду занятий, образованию, по высказанным суждениям и т.д. Перекрестная (комбинированной) группировка используется, если опрашиваемых необходимо сгруппировать по двум или более признакам (например, по полу, возрасту и образованию), Она может быть структурной, типологической, аналитической — все зависит от решаемых в ходе исследования задач. Структурная группировка применяется при обобщении опрашиваемых по какому-либо признаку, присущему всей изучаемой совокупности, например, при установлении возрастного состава опрашиваемых. Если же необходимо выделить из респондентов группы соответствующие типы, тогда осуществляется типологическая группировка. Аналитическая группировка производится по двум и более признакам и служит для выявления их взаимосвязи. Если нужно проверить, имеется ли связь между интересом к вопросам нравственного воспитания и чтением литературы (газет, журналов, монографий по данной проблеме), то группировку следует сделать по этим двум признакам.

Табличное представление данных.
Рядом распределения называется упорядоченное распределение единиц совокупности на группы по какому-либо признаку.    Виды рядов распределения:
•   атрибутивный;
•   вариационный;
•   дискретный;
•   интервальный.
Позаботиться о том, какие таблицы вы будете строить, следует еще на этапе разработки программы исследования — не только при формулировке вопросов анкеты, но и при кодировке их, и в особенности — при разработке той части методического раздела программы, которая относится к логической схеме обработки и анализа данных. Возможно, следует заранее составить списки таблиц — как простых, так и комбинированных — с указанием расположения переменных по строкам и столбцам.
Таблицы и графики в аналитическом отчете служат не просто иллюстративными материалами, а содержат в себе саму суть, ядро полученной в ходе исследования информации. Без них просто невозможно выразить в словесной форме выводы исследования, и текстовой материал превращается в простую словесную шелуху.
Статистической называется таблица, которая содержит сводную числовую характеристику исследуемой совокупности по одному или нескольким существенным признакам, взаимосвязанным логикой экономического анализа. Социологические таблицы, получаемые после сбора и анализа первичных данных, относятся к числу статистических. Таблица содержит три вида заголовков: общий, верхние и боковые. Общий заголовок отражает содержание всей таблицы (к какому месту и времени она относится), располагается над ее макетом по центру, и является внешним заголовком. Верхние заголовки характеризуют содержание граф (заголовки сказуемого), а боковые (заголовки подлежащего) — срок. Они являются внутренними заголовками.
Основные элементы статистической таблицы, представленные на рис.1, составляют как бы ее основу.
Название таблицы* (общий заголовок)
Содержание строк   Наименование граф (верхние заголовки)
А   1   2   3   4   5
Наименование строк (боковые заголовки)
Основа статистической таблицы<br>

РИС. 1. Основа статистической таблицы
Все группировки значений различных переменных, которые были предусмотрены программой исследования, ложатся в основу статистических таблиц, которые обобщают обработанную первичную социологическую информацию. Таблица — это перечень сведений, обычно числовых данных, приведенных в определенную систему и разнесенных по графам — строкам и столбцам. Цифровой материал может быть представлен абсолютными (численность населения РФ), относительными (индексы цен на продовольственные товары) и средними (среднемесячный доход служащего коммерческого банка) величинами. При необходимости таблица сопровождается примечанием, используемым с целью пояснения заголовков, методики расчета некоторых показателей, источников информации и т.д.
Строго говоря, процедура составления таблиц не представляет собой какой-то особой математической операции. Это скорее определенная форма отображения рядов распределений, полученных в результате расчетов. Хорошо сконструированная таблица позволяет как самому исследователю, так и заказчику более четко представить, описать, и объяснить смысл и сущность изучаемого социального явления. По логическому содержанию таблица представляет собой «статистическое предложение», основными элементами которого являются подлежащее и сказуемое.
Подлежащим таблицы называется объект, характеризующийся цифрами. Это могут быть одна или несколько совокупностей, отдельные единицы совокупностей (фирмы, объединения) в порядке их перечня или сгруппированные по каким-либо признакам (отдельные территориальные единицы или временные периоды в хронологических таблицах и т.д.). Обычно подлежащее таблицы дается в левой части, в наименовании строк. В социологической таблице подлежащим выступает конкретная переменная, которая подвергается анализу (рис. 1).
Сказуемое—   система показателей, которыми характеризуется объект изучения, т.е. подлежащее (или то, что именно говорится в статистическом предложении о подлежащем). Сказуемое формирует верхние заголовки, и составляет содержание граф с логически последовательным расположением показателей слева направо.
Все таблицы можно разделить на три вида: простые (линейные), групповые и комбинационные.
Простые таблицы представляют собою перечень (список) отдельных значений той или иной переменной с количественной или качественной характеристикой каждой из них в отдельности. Поэтому иногда их называют также перечневыми. Примером простой таблицы может служить распределение опрашиваемой совокупности по полу респондентов (табл. 1).
Таблица 1 Распределение респондентов по полу
Пол   Частота   Процент
Мужчины   379   46,1
Женщины   431   52,4
Не указали   13   1,6
Всего   823   100,0
Групповые таблицы обычно содержат группировку единиц совокупности по одному признаку, а комбинационные — по двум и более признакам. В комбинационных таблицах, чтобы избежать излишней нагромажденности данных, затрудняющей их восприятие, иногда опускают абсолютные величины (частоты) тех или иных значений переменных, оставляя лишь пропорции или проценты. Примером комбинационной разработки статистической таблицы может служить табл. 2.
Таблица 2
Распределение рабочей молодежи по возрастам поступления на работу в Москве и Московской области в 20-е гг. (в процентах к общей численности каждой половой группы)
Возраст(лет)   По губернии   По Москве
   юноши   девушки   юноши   девушки
до 12   7,4   3,8   12,0   4,7
13-15   48,1   43,7   59,2   56,5
16-18   44,5   52,5   28,8   38,8
Хорошо сконструированная таблица позволяет исследователю более четко представить, и описать смысл и сущность изучаемого им социального явления.
Графическое представление данных
Графическое представление данных — это наиболее наглядное изображение полученного распределения результатов исследования. При анализе социологической информации наиболее часто используют такие виды графического представления данных, как гистограмма, полигон и кумулята распределения, а также различные виды диаграмм (столбиковые, ленточные, секторные).
Гистограмма — это графическое изображение распределения, построенного чаще всего по интервальной шкале. Гистограмма представляет собою ряд смежных прямоугольников, построенных на одной прямой: площадь каждого из них пропорциональна частоте нахождения данной величины в интервале, на котором построен данный прямоугольник. При равных интервалах плотности распределения пропорциональны частотам, которые и откладываются по оси ординат. Пример гистограммы, отражающей распределение опрошенных респондентов по возрасту, приведен на рис. 2.
Возрастной интервал<br>

Возрастной интервал
На этой гистограмме, построенной в Microsoft Excel в соответствии сданными табл. 3, удельный вес каждой возрастной категории в общем объеме выборочной совокупности выражается площадью прямоугольника, а общая площадь равна 1 (100%). Мы видим, например, что поскольку численность возрастной группы респондентов до 30 лет почти втрое больше численности респондентов в возрастном интервале 50—59 лет, то это выражается и в соответствующем соотношении высот столбцов.
Таблица 3Распределение респондентов по возрастным группам
Возрастная группа   Частота   Процент
до 30 лет   264   32,1
30-39 лет   169   20,5
40-49 лет   195   23,7
50-59 лет   84   10,2
60лети старше   100   12,2
Не указали   11   1,3
Всего   823   100,0
Перевод обычной таблицы в гистограмму сокращает мыслительный процесс, позволяет быстро и точно оценить ситуацию в целом.
Полигон распределения используется преимущественно для графического отображения распределений дискретных рядов.
Кумулята. Это еще один из способов графического изображения вариационных рядов. При построении кумуляты на оси абсцисс откладываются значения дискретных признаков (либо границы интервалов), я на оси ординат — накопленные частоты, соответствующие верхним границам частотных интервалов. Таким образом, отличие кумуляты от гистограммы состоит в том, что на графике кумуляты ординаты, пропорциональные частотам, последовательно накладываются одна на другую, так что высота последней ординаты соответствует сумме высот всех столбцов гистограммы. Ординаты соединяются прямыми линиями.
Диаграмма – это обобщенное название самых разнообразных графических изображений, наглядно показывающих соотношение каких-либо величин. Диаграмма по одним и тем же распределениям и вариационным рядам могут принимать множество различных видов и форм.

3. Какова структура отчета о социологическом исследовании? Сформулируйте основные требования к его составлению
Итоги анализа полученной информации отражаются, как правило, в отчете о проведенном социологическом исследовании, который содержит в себе информацию, интересующую заказчика (исследователя), научные выводы и рекомендации. Структура отчета по итогам исследования чаще всего соответствует логике операционализации основных понятий, но социолог, готовя этот документ, идет путем индукции, постепенно сводя социологические данные в показатели. Число разделов в отчете обычно соответствует числу гипотез, сформулированных в программе исследования. Первоначально дается ответ на главную гипотезу.
Как правило, первый раздел отчета содержит краткое обоснование актуальности изучаемой социальной проблемы, характеристику параметров исследования (выборка, методы сбора информации, количество участников исследования, сроки проведения работы и т. п.). Во втором разделе дается характеристика объекта исследования по социально-демографическим признакам (пол, возраст, образование и др.). Последующие разделы включают поиск ответов на выдвинутые в программе гипотезы.
Разделы (или главы) отчета при необходимости могут быть разбиты на параграфы. Каждый раздел или даже параграф целесообразно завершать выводами. Заключение отчета лучше всего давать в виде практических рекомендаций, базирующихся на общих выводах. Отчет может быть изложен на трех-четырех десятках или на двух-трех сотнях страниц. Это зависит от объема материала, целей и задач исследования.
Приложение к отчету содержит все методологические и методические документы исследования: программу, план, инструментарий, инструкции и т. п. Кроме того, в приложение чаще всего выносят таблицы, графики, индивидуальные мнения, ответы на открытые вопросы, которые не вошли в отчет. Это необходимо делать потому, что данные документы, ответы могут быть использованы при подготовке программы нового исследования.
Основные требования к отчету можно сформулировать следующим образом. Во-первых, в отчете более полно должны быть отражены все взаимосвязанные группы проблем в соответствии с логикой научного поиска. Во-вторых, в каждом разделе отчета должно быть две части, первая содержит проблемы и результаты, вторая – выводы. В–третьих, отчет составляется независимо от последовательности вопросов в анкете. В – четвертых, важное значение имеет правильное оформление отчета.

Заключение
В результате проделанной работы выяснилось, что этап обработки информации делится на несколько самостоятельных стадий:
•   Редактирование информации (проверка, унификация и формализация полученной в ходе исследования информации)
•   Кодирование (перевод данных на язык формализационной обработки и анализа путем создания переменных)
•   Статистический анализ (выявление некоторых статистических закономерностей и зависимостей, которые дают социологу возможность сделать определенные обобщения и выводы)
•   Интерпретация (превращение социологических данных в показатели, которые являются не просто числовыми величинами, а определенными социологическими данными, соотнесенными с целями и задачами исследователя, его знанием, опытом).
Основными методами обобщения полученной информации являются группировка и интерпретация.
Группировка информации, в свою очередь делится на: простую, перекрестную (или комбинированную), структурную, типологическую и аналитическую группировку. Она является наиболее простой формой обобщения и на данном этапе работы выделяются лишь существенные признаки.
Более глубоко проанализировать социологическую информацию позволяют широко применяемые в эмпирических исследованиях статические и математические методы анализа получаемой информации. Общая логика интерпретации состоит в превращении статистических данных в показатели, которые выступают уже не в качестве цифровых величин (процент, среднее арифметическое и т.п.), а как социологические данные.
Характер проверки гипотез определяется видом исследования. Выделяются две группы: пилотажные и описательные.
Таблица сопряженности признаков – форма представления данных об объектах социологического исследования на основе группировки двух или более признаков по принципу сочетаемости.
Существуют два основных класса статистических выводов, которые делаются при анализе таблиц сопряжения: проверка гипотезы о независимости признаков и проверка гипотезы о связи между признаками.
Статистические методы анализа включают в себя:
1.   анализ средних величин;
2.   вариационный или дисперсный анализ;
3.   изучение колебаний признака относительно его среднего значения;
4.   кластерный (таксономический) анализ – классификацию признаков и объектов при отсутствии предварительных или экспертных данных о группировке информации;
5.   логлинейный анализ - поиск и оценку взаимосвязей в таблице, сжатое описание табличных данных;
6.   корреляционный анализ – установление зависимостей между признаками;
7.   факторный анализ – многомерный статистический анализ признаков, установление внутренних взаимосвязей признаков;
8.   регрессионный анализ – изучение изменений значений результатирующего признака в зависимости от изменений признаков-факторов
9.   латентный анализ – выявление скрытых признаков объекта;
10.   дискриминантный анализ - оценка качества экспертной классификации объектов социологического исследования [Татарова, 2003 стр.57]
Итак, можно сказать, что существует огромное количество методов обработки и анализа эмпирических статистических данных. Лишь после их тщательного изучения и выбора оптимального метода, в рамках данного исследования, можно переходить к самой работе.
Можно с уверенностью сказать, что цель данной работы была достигнута, все задачи решены.

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ
1.   Социология: Учебник для вузов/ В.Н. Лавриненко, Н.а. Нартов, О.А. Шабанова, Г.С. Лукашова; Под ред. Проф. В.Н. Лавриненко. – М.: Культура и спорт, ЮНИТИ, 1998. – 349 с.
2.   Статистика: Учебное пособие для вузов/ Гусаров В.М. – М.: ЮНИТИ-ДАНА, 2001. – 463 с.
3.   Методы социологического исследования: Учебник/ Добреньков В.И., Кравченко А.И. – М.: ИНФРА – М, 2004. – 768 с.
4.   Прикладная социология Учебное пособие для вузов/ Горшков М.К., Шереги Ф.Э. М., Центр социологического прогнозирования (ПИК ВИНИТИ), 2003, - 419 с.
5.   Прикладная социология. Учебное пособие/ Зборовский Г.Е., Шуклина Е.А. М., Гардарики, 2004, - 324 с.

Чтобы полностью ознакомиться с контрольной, скачайте файл!

Внимание!

Если вам нужна помощь в написании работы, то рекомендуем обратиться к профессионалам. Более 70 000 авторов готовы помочь вам прямо сейчас. Бесплатные корректировки и доработки. Узнайте стоимость своей работы

Бесплатная оценка

Размер: 48.22K

Скачано: 320

Скачать бесплатно

05.04.11 в 23:11 Автор:

Понравилось? Нажмите на кнопочку ниже. Вам не сложно, а нам приятно).

Чтобы скачать бесплатно Контрольные работы на максимальной скорости, зарегистрируйтесь или авторизуйтесь на сайте.

Важно! Все представленные Контрольные работы для бесплатного скачивания предназначены для составления плана или основы собственных научных трудов.

Друзья! У вас есть уникальная возможность помочь таким же студентам как и вы! Если наш сайт помог вам найти нужную работу, то вы, безусловно, понимаете как добавленная вами работа может облегчить труд другим.

Добавить работу

Если Контрольная работа, по Вашему мнению, плохого качества, или эту работу Вы уже встречали, сообщите об этом нам.

Добавление отзыва к работе

Добавить отзыв могут только зарегистрированные пользователи.

Методы анализа эмпирических данных: группировока, таблицы и графики

Добавление отзыва к работе

Похожие работы