EPISODE 31

AIの「トークン」って何を数えているの?

生成AIの基礎を、具体例と練習問題で学ぶ

登録すると視聴できます

本編(5分27秒)は、ご登録いただいた方向けにお届けしています

下の4章を順番に、具体例と打ち手まで通しで解説します。要点と章立ては、このページで先にご確認いただけます。

  • 費用はかかりません。ご登録後、この画面で続けてご覧いただけます
  • 公開済みの回はすべて全編でご覧いただけます
  • 新しい回を公開したときは、ご登録のメールアドレスへお知らせします
  • すでにご登録のあるアドレスの場合は、お送りするメールのリンクからご視聴ください

費用はかかりません。

すでにご登録済みの方は 視聴用リンクを再送できます。自社に合う型も知りたい方は 30秒のAI判定へ(無料・判定書つき)。

日本語・英語・数字の入力を実測し、文字数とトークン数の違いを学びます。 AIで生成した人物映像とナレーションを使用しています。実演は個別の出力例で、性能や正確性を保証するものではありません。

この回の流れ

  1. 0:28第一章:処理単位の正体モデルは入力されたテキストを、内部で扱う単位に区切って計算します。
  2. 1:19第二章:実測データの比較まず、画面の「明日の会議は午後三時です。
  3. 2:12第三章:文字数との違い今回、文字数の比較にはユニコードの符号位置数を使っています。
  4. 2:57第四章:API利用時の注意では、トークン数は何に役立つのでしょうか。

この回の要点

  • 処理単位の正体
  • 実測データの比較
  • 文字数との違い
  • API利用時の注意