MAP研究会は,宮城県教育公務員弘済会の支援によって活動しています。
■ 日 時: | 2009年 9月12日(土) |
■ 場 所: | 東北電子専門学校 807教室 |
■ 内 容: | 体験しよう! EXCEL統計 MAPの効果測定について考えてみよう |
■ 講 師: | イマ |
■ 担 当: | 研究委員 |
■ 報 告: | Sphinx |
5名 |
定禅寺ストリート・ジャズ・フェスティバルの土曜日,東北電子専門学校でMAP研究会9月研修が行われました。内容は「統計」です。「なんでMAPで統計!?」と思われるかもしれませんが,食わず嫌いをしないで,ぜひこの報告を読んでみてくださいね!
それでも,一応言い訳をしておくと,報告者は統計について何の素養ももっていないので,研修内容をしっかり伝えることができているか,かなり不安があります。間違いがあったら指摘してください。
MAPでなぜ統計の研修をする必要があるのか,まずはカンタン(?)に説明してみます。
一つ例を挙げましょう。2006年に花山青少年自然の家で「中高生リーダー研修会〜USING MAP〜」というものを行いました。生徒会役員や部活の中心となる生徒を集め,2泊3日のMAP体験でリーダーとしての力量を高めてもらおうという企画です。
この研修会では,研修の始まりと終わりに,参加者に同じアンケートを採りました。アンケートは8つのカテゴリーで40項目ありまして,たとえば「協力」というカテゴリーには「あなたは一人で解決できない問題が起こったとき,友達と協力して解決しようとしますか」などの質問が8項目,「信頼」というカテゴリーは「あなたは友達から信頼されていると思いますか」など2項目,「向上心」のカテゴリーでは「あなたは自分にとって難しいと思うことでも,がんばって挑戦しようとする方ですか」などの質問が5項目といったぐあいです。
参加生徒たちには,それぞれの質問に5件法(1〜5の選択)で答えてもらっています。研修の前後で参加生徒たちの回答がどのように変化したかというのが下の表です。これはそれぞれのカテゴリーの回答の平均値です。
カテゴリー | 事前 | 事後 |
---|---|---|
仲間 | 4.13 | 4.42 |
協力 | 3.86 | 4.13 |
信頼 | 3.81 | 3.88 |
思いやり | 3.76 | 4.09 |
向上心 | 3.66 | 4.07 |
自主性 | 3.32 | 3.65 |
課題解決能力 | 3.38 | 3.57 |
その他 | 3.94 | 3.95 |
この表を見ると,どの項目も事後の方が得点が増えています。では,この結果をもって「MAP的手法は生徒たちの協力や信頼感,…,…を高める効果があった」と結論づけてよいのかどうか。
たとえば今回のやり方が「宮城県の中高生に効果がある」というためには,「宮城県の中学校や高校に通うどの生徒を集めてきても効果があがる」ということを明らかにする必要があります。でも,すべての生徒を連れてくることは不可能なので,今回の参加者を「全体からの抽出サンプル」として,彼らの結果から全体を予想するわけです。
ここで,ちょっと架空の数字を使って考えてみます。ある質問に生徒5人がこう答えたとします。
生徒 | 事前 | 事後 |
---|---|---|
Aさん | 3 | 4 |
Bさん | 3 | 4 |
Cさん | 3 | 4 |
Dさん | 3 | 4 |
Eさん | 3 | 4 |
宮城県の全中高生から「抽出されたサンプル」である5名の生徒が,いずれも3点から4点にあがった。これなら,この結果をもって「効果的」と結論づけていいかもしれません。一方,次のような場合はどうでしょう。
生徒 | 事前 | 事後 |
---|---|---|
Aさん | 3 | 5 |
Bさん | 1 | 5 |
Cさん | 2 | 3 |
Dさん | 4 | 4 |
Eさん | 5 | 3 |
事前と事後を平均すると,先ほどと同じ3→4にはなっていますが,中身をよく見ると1から5に上昇した生徒がいる一方で,4→4と変化のない生徒や5→3と下がってしまった生徒もいます。宮城県の全中高生から「抽出されたサンプル」がこのようにばらついてしまうと,「効果がある」とは言いにくいですね。つまり,サンプルが偏ったためにたまたま(偶然)こういう結果になっているのか,それとも県全体の傾向を本当に反映したものなのか,にわかには判断しがたい状況になっています。
実際に,MAPの効果を調べようとすると,その数値はばらつくのが普通です。そうなると,単に平均を取っただけでは,その値が本当に全体の傾向を反映したものなのか分からないということになります。上の中高生リーダー研修会に戻ると,「仲間」の平均得点が4.13→4.42になったとき,それが本当に「MAPの効果」なのか,それとも「サンプルの偏りによる偶然」なのか,この平均得点からだけでは判断できません。
この事前と事後の差が,偶然なのか,それとも意味がある差なのか,それを判断するために「検定」という統計的な操作が必要になるのです。と,ここまでの説明で,MAPの効果を調べるには,平均値ではなく,検定という統計的な処理が必要であることが納得できたでしょうか?
今回は,イマが統計の基礎から丁寧に説明してくれたのですが,なにぶん時間が足りないということで駆け足にならざるを得ませんでした。
帰宅してからインターネットを検索していて,統計の基礎を学べるよいサイトを見つけたので紹介します。このサイトでは,今回の研修で取りあげた多重比較までは載っていませんが,そこにつながる基本的な事項について学ぶことができます。
ハンバーガーショップで学ぶ楽しい統計学──平均から分散分析まで──
http://kogolab.jp/elearn/hamburger/index.html
また,書籍では「マンガでわかる統計学」という本が,初心者向けによく書かれているとイマが推薦していましたので,合わせて紹介します。
では,あらためまして,ここからが本当の「報告」になります。
今日の内容は,「統計をやってみる」です。
学校の校内研究において,その研究の中で取り上げるdataは,従来,生徒,教員,保護者へのアンケート結果等であったり,事前事後のアンケートの平均などを比較して,効果測定をしているでしょう。しかし,学問としての研究の処理の仕方は少し違います——いわゆる『統計処理』がなされるのです。
教育学部系の出身の教員は一部卒論などで触れてはいるものの,あまり学校現場では知られていない(活用されていない)ようです。そこで,今回は簡単な『統計処理』を体験していただこうと思います。通常,統計処理はSPSSというソフトを使うのですが,今回はもっと操作性のよい「エクセル統計」を用意しました。
この体験を通して,本研究会のmotivationの高い先生方の研究を,学会等の様々な場に出せるものにしていただきたいし,また,首都圏の先生方のように学会発表をするきっかけになればいいと考えています。
学会に投稿される論文でよく使われる統計ソフトは「SPSS」(2009年4月に「PASW Statistic」という名称に変更)というものです。このソフトはアカデミック価格で88,200円もします。また,エクセルからSPSSにデータをコピーする必要があるという面倒くささもあります。
一方,エクセル統計は,エクセルのアドインソフトで,エクセルの中で直接検定を実施することができます。お値段もアカデミック価格で20,790円(希望価格)と,SPSSに比べてお手頃です。今日はエクセル統計を使って統計処理を学んでいきます。
母集団について分析者が立てた仮説が正しいかどうかを,標本のデータから推測する分析手法のこと。 |
たとえば,東京都の高校生と大阪府の高校生の「毎月のおこづかい」の額が異なるかどうか(母平均の差の検定)とか,「都市部に住む有権者と農村部に住む有権者の「○○党支持率」が異なるかどうか(母比率の差の検定)について,全員に調査しないで,一部のサンプルを調べることによって,全体を推測していこうという手法。
例として次のような問題に取り組んでみましょう。ちなみに,イマが例としてあげてくれたものは,私の頭では説明するのが難しかったので,内容をちょっと変えています。ご容赦ください。
【例題】ガリガリ県とプクプク県の4年生児童の体重には差があるか? |
それぞれの県から抽出された4年生児童の体重は次のとおりです。
ガリガリ県 | プクプク県 |
---|---|
36.2 | 47.8 |
25.3 | 36.4 |
29.6 | |
40.7 | |
31.5 | 32.4 |
この場合の母集団は,ガリガリ県の全4年生児童とプクプク県の全4年生児童です。
帰無仮説というのは「無に帰する仮説」のことで,本当に言いたいことの逆を言います。対立仮説は,帰無仮説に対立する仮説のこと(つまり本当に言いたいこと)。この場合,
帰無仮説:ガリガリ県とプクプク県の4年生児童の体重には差がない。
対立仮説:ガリガリ県とプクプク県の4年生児童の体重には差がある。
どうして帰無仮説なんていう一見無駄な仮説を立てるかというと,「差がある」ことが正しいと証明するより,「差がない」ことが誤りであると証明する方が楽だからです。
この場合,t検定を選択します。t検定については,前出「ハンバーガーショップで学ぶ楽しい統計学」の「4. t検定(対応なし)」を参照してください。
有意水準というのは,どこまでが「偶然」であり,どこからが「意味のある違い」なのかを区別するための閾値のことです。ふつうは,0.05(5%)か,0.01(1%)のどちらかを使います。有意水準を5%にして「偶然ではない」(つまり違いに意味がある)と結論づけた場合,「本当は偶然なのに,誤って意味があると結論づけている」可能性が多くて5%あるということになります。逆に言うと「意味がある」という結論が正しい可能性が95%はあるということです。
t検定を行うには,表のデータから次のような値を計算をします。
これらの値から,
t=(標本平均の差)/(推定母分散×((1/ガリガリ県の標本人数)+(1/プクプク県の標本人数))の平方根
を計算すると,t=-2.45 という値になりました。
先ほど求めたt=-2.45 という値が重要です。詳しい説明は省くとして,この場合,tが 2.306 より大きいか -2.306 より小さければ,有意水準5%の棄却域に入ります。ということは,t=-2.45 ですから棄却域に入っているということです。
棄却域に入っているということは,[Step 2]で立てた帰無仮説が棄却されるということで,この10人分の標本データから,二つの県の4年生児童の体重には差があると言えそうだという結論になります。
このように,与えられた標本のデータから,言いたいことの裏返しの仮説を棄却することによって,言いたいことにお墨付きを与えようというのが,検定です。もう一度,検定とは…
母集団について分析者が立てた仮説が正しいかどうかを,標本のデータから推測する分析手法のこと。 |
かなり頭の中がグルグルした状態になりましたが,まずはやってみようということで,たくさんの「?」をかかえたままパソコンに向かいました。
エクセルのシートにテキトウに数字の羅列を打ち込んでいきます。一列目には一桁の数字,二列目には二桁の数字。それを選んで,メニューバーの「ノンパラメトリック検定」からサブメニュー「クラスカル・ウォリス検定・多重比較」を選択します。
そうすると,しばらく計算してくれた後,新しいシートに検定の結果が表示されます。いくつかの下位検査項目がありますが「*」がつけば5%優位で,「**」がつけば1%優位で「差がある」と解釈できるのだそうです。
統計の詳しいことを知らなくても,こんなふうに気軽に検定ができると分かって,かなり安心できました。
その一方で,あまりの手軽さに,ちょっとこわい感じもありました。どんな調査をしてどんな検定をすればいいのかは,やはり素人判断ではなく,正しくアドバイスしてくれる人に聞きながらやったほうがいいでしょうね。
ところで,MAPの効果測定をするとして,はじめに考えなければいけないのは,どんなアンケート項目にするかということです。調べたい仮説が証明されるような項目を入れることはもちろんですが,自分で適当につくるのではなく,信頼性や妥当性が確認されている尺度を使うのが望ましいです。
サイエンス社から出されている「心理測定尺度集」(Ⅰ)〜(Ⅳ)がおすすめです。特にその中でも,心理測定尺度集(Ⅱ)のp5~9に掲載されている「特性形容詞尺度」は使いやすいです。
「特性形容詞尺度」は,「積極的な/消極的な」「心の広い/心のせまい」「親しみやすい/親しみにくい」などの対になる形容詞を20項目見せて,それがどのくらい当てはまるかを7件法で答えてもらうものです。たとえば「親しみやすい」が増えたら,楽しかったと言えると考えるのです。
では実際にアクティビティをやってみて,その前後でアンケートをとり,結果を検定してみましょう。アクティビティの内容は,「セルフ・エスティームが上がるもの」ということでお願いします。検定は,特性形容詞尺度からセレクトして行いましょう。
みんなで相談して,次のような項目でアンケートを行うことにしました。
1 人なつこい 7654321 近づきがたい
2 感じのよい 7654321 感じの悪い
3 無気力な 7654321 意欲的な
4 うきうきした 7654321 沈んだ
5 社交的な 7654321 非社交的な
※この中では,3番が逆転項目になっています。
効果測定は次のようなステップで行いました。
○事前アンケート 1)数回し ○事後アンケート(1回目) 3)会社をつくろう(↓写真) ○事後アンケート(2回目) |
アンケートの集計結果と検定の結果は,こちらのファイル(map090912.xls)に掲載していますので,ダウンロードしてご覧ください。
簡単に言うと,事前→事後(1回目)および事前→事後(2回目)は,3番をのぞくそれぞれの項目でよい方向に「変化した」と言えるものでしたが,事後(1回目)→事後(2回目)については,変化は認められませんでした。また,3番の「無気力な/意欲的な」については,どの比較でも変化は認められませんでした。
まずは,みっちぃの修論から。
「先生ばかりが住むマンション」(なんだか聞いたことあるような,ないような…)というアクティビティをして,その前後にアンケートを行い,クラスカル・ウォリス検定をしました。
その結果,
「このグループはまとまっていると思いますか」
「このグループの人たちに自分の気持ちを正直に伝えられますか」
「あなたはこのグループの人たちのよいところも悪いところも尊重することができますか」
「あなたはこのグループの課題を達成するために,協力して活動することができますか」
の4項目について,1%水準での有意差が確認できたとのことです。
なかなか面白いですね!
続いて,イマの研究から。
グループワークを行った後,どのような振り返り(シェアリング)を行うのが効果的か,いくつかのグループで条件を変えながらシェアリングをして比較しました。シェアリングの効果は,特性形容詞尺度から10項目を選び,クラスカル・ウォリス検定を行って検定しました。
その結果,構成的シェアリング(「右の人から順番に話してください」)から非構成的シェアリング(「今のできごとについて話し合ってください」と参加者の自由な発言にまかせる)にやや早めに切り替えたグループが,もっとも高い得点(変容)を記録しました。
この結果は,クラスづくりや,一般的なグループワークを進める際に,非常に参考になるものですね。
最後に,イマ御用達の美味いラーメン屋さん「さわき」に行って,ちょっと遅めの昼食となりました。
「八木山緑町 アパート家賃1万5千円 入居者募集」などと書かれた紙が貼ってあったりして,昭和のムード漂う店内。スタミナラーメンをいただきましたが,本当にスタミナがバッチリ付くおいしいラーメンでしたよ!
このラーメン屋,どうも聞き覚えがあると思ったら,昔は八木山にもあったんですよ。八木山の「さわき」には学生時代にどきどき行ってました。当時住んでいた霽風寮(せいふうりょう)のすぐそばにあったんですよ〜。昨日は思い出さなかったけど…いやー懐かしい!
・ブログの紹介記事あ〜,写真見たら,また食べたくなった…。