Create JSONL for Fine Tuning

ChatGPTのトレーニングに必要なJSONLファイルを作成するExcelマクロです

製品名	Create JSONL for Fine Tuning
製品概要	ChatGPTのトレーニングに必要なJSONLファイルを作成するExcelマクロ
開発日	令和5年4月29日
最終更新日付	令和5年4月29日
現在バージョン	1.0.0
利用規約	著作権は、五十嵐貴之が保持します。本製品によって生じた損害に対し、著作者は一切責任を負いません。本製品の転載、配布は自由です。
使い方	promptを「A列」に、completionを「B列」に入力します。「JSONL作成」ボタンをクリックすると、このExcelマクロファイルと同じフォルダ上に、入力した内容でJSONLファイルが作成されます。作成されるJSONLファイルの名前は、「qa.jsonl」です。 OneDriveと同期しているフォルダでは動作しませんので、ご注意ください。
本製品に関する問い合わせ先	ＩＫＡＣＨＩ（http://ikachi.org/）五十嵐貴之（takayuki.ikarashi[at]gmail.com） ※[at]を@に置き換えてください

openai tools fine_tunes.prepare_data -f FILE_NAME　で発生するエラー等の対処方法について

OpenAIでは、学習用のjsonlファイルの記述方法について、以下のように記しています。

{"prompt": "prompt text", "completion": "ideal generated text"}
{"prompt": "prompt text", "completion": "ideal generated text"}
{"prompt": "prompt text", "completion": "ideal generated text"}

しかし、このフォーマットのまま入力しても、エラーメッセージや推奨メッセージが表示されてしまいます。そのため、一般的なエラーメッセージや推奨メッセージの対処方法について、記載します。

エラーメッセージについて

ERROR in read_any_format validator: Your file `qa.jsonl` does not appear to be in valid JSONL format. Please ensure your file is formatted as a valid JSONL file.

文字コードが違う可能性があります。文字コードが「UTF-8」になっているかどうか、ご確認ください。
また、BOM付きの場合でも、同様のエラーとなります。 BOMなしで保存してください。

推奨メッセージについて

[Recommended] Lowercase all your data in column/key `prompt` [Y/n]:

英文字に大文字が使われている場合、小文字に変換することが推奨されます。
例えば、"IKACHI"ですとこの推奨メッセージが表示されますが、"ikachi"ですとこの推奨メッセージは表示されません。

[Recommended] Add a suffix ending `\n` to all completions [Y/n]:

"completion"の値の最後は、改行を表す`\n`で終了していることが推奨されます。
例）"これは、テストです。\n"

[Recommended] Add a whitespace character to the beginning of the completion [Y/n]:

"completion"の値の先頭は、空文字で開始していることが推奨されます。
例）" これは、テストです。"

data will be written to a new JSONL file. Proceed [Y/n]:

このメッセージは、推奨どおりのJSONLファイルではなかった場合、かつ推奨メッセージが表示された際に[Y]を選択した場合に表示されるメッセージです。
ここで[Y]を選択すると、JSONLファイルのある同一ディレクトリ内に推奨したフォーマットで記載しなおしたJSONLファイルが、「"最初の名前"_prepared.jsonl」というファイル名で保存されます。