「ChatGPTやGeminiに添削してもらうのと、何が違うの?」にお答えします

先日リリースしたライティングアプリ、使っていただいていますか？

その中で、一般のAIに「添削して」とお願いするのとどう違うの？というご質問を頂戴したので、記事にしてみました。

英検3級・準2級のライティング練習アプリをリリースします！

まず、使っているAIは「皆さんが使っているAI」と一緒です
違い① 直しすぎない ―「お子さんの答案」を直す
違い② 英検の採点観点で、点数の出し方をそろえる
違い③ 小学生が一人で読める説明
違い④ 練習を続けるための仕組み
これから

まず、使っているAIは「皆さんが使っているAI」と一緒です

このアプリの中でも、ChatGPTやGeminiと同じ種類の、いわゆる大規模言語モデル（文章を読み書きするAI）を使っています。ですから、英語の文法の間違いを見つける力そのものは、他の有名なAIと大きく変わらない場面もあると思います。

では、何が違うのか。料理にたとえると、使っている「包丁」は同じでも、レシピと味見の仕方がちがう、ということです。たとえば以下の点です。

・AIに「一度にぜんぶ」を頼まない
「内容は質問に合っているか」「文法の間違いはどこか」「どこまで直すか」「子ども向けにどう説明するか」を、別々の係に分けて、順番に仕事をさせています。

・点数はAIに決めさせない
AIには「間違いがいくつあるか」などを数えてもらうだけで、点数はあらかじめ決めた表でプログラムが計算します。だから、同じ答案なら同じ点になります。

・ものさしは英検と教室の先生
採点の基準は英検の公式の観点に合わせ、実際に先生が採点した答案と見比べて調整しています。

違い① 直しすぎない ―「お子さんの答案」を直す

一般的なAIに「この英作文を直して」と頼むと、とても上手な「お手本」に書き換えてくれることがよくあります。読むと立派なのですが、お子さんからすると「自分の文のどこが間違っていたのか」が分からなくなってしまいます。

例（説明のための作例です） 3級の英作文(25〜35語)「夏と冬、どちらが好き?」

お子さんの答案

I like summer better than winter. I have two reason. First, I can swim in sea with my family. Second, summer vacation is long, so I can plays with my friend every day.

一般的なAIによくある返し方（例）

I prefer summer to winter for two main reasons. First, summer offers wonderful opportunities to enjoy outdoor activities such as swimming in the ocean and having barbecues with my family. Second, the long summer vacation allows me to spend quality time with my friends and create unforgettable memories.

英語としてはきれいですが、語数は35語を大きく超え、お子さんが書いていない「バーベキュー」まで入り、小学生には難しい表現ばかりです。

このアプリの返し方（例）

I like summer better than winter. I have two reasons. First, I can swim in the sea with my family. Second, summer vacation is long, so I can play with my friend every day.

直したのは3か所だけで、赤ペンにはこんな説明がつきます。

reason → reasons：「2つ」だから s をつけよう
sea → the sea：「うみ」というときは the をつけるよ
plays → play：can のあとは、うごきのことばをもとのかたちにするよ

アプリの中では、書き直しの担当に
「お子さんの言葉・順番・内容をできるだけ残す」
「書いていない理由や事実を足さない」というルールを与えています。
さらに、直した後の答案に「お子さんが書いていない言葉」が紛れ込んでいないかを機械的にチェックする仕組みも入れています。

違い② 英検の採点観点で、点数の出し方をそろえる

英検3級・準2級のライティングは、公式に「内容・構成・語彙・文法」の観点で採点されます(Eメール問題は構成を除く3つの観点)。アプリは同じ観点・同じ満点(3級Eメール9点、準2級Eメール12点、英作文16点)で点数を出します。

一般的なAIに同じ答案を何度か採点させると、点数が毎回ちがうことがありますが、このアプリでは、AIには「質問に答えているか」「間違いはいくつあるか」といった事実の確認だけをさせ、それを点数に置き換える部分はあらかじめ決めた基準でプログラムが計算します。その基準は、長年ライティングの採点を担当してきたMagic Keyの先生が監修して作りました。そのため、点数のぶれをできるだけ小さくすることができています。