com.unfbx.chatgpt.utils

Class TikTokensUtil

java.lang.Object

com.unfbx.chatgpt.utils.TikTokensUtil

public class TikTokensUtil
extends Object

描述：token计算工具类

Since:

2023-04-04

Author:

https:www.unfbx.com

Constructor Summary

Constructors

Constructor and Description
TikTokensUtil()

Method Summary

Modifier and Type	Method and Description
static String	decode(@NotNull com.knuddels.jtokkit.api.Encoding enc, @NotNull List<Integer> encoded) 通过Encoding和encoded数组反推text信息
static String	decode(@NotNull com.knuddels.jtokkit.api.EncodingType encodingType, @NotNull List<Integer> encoded) 通过EncodingType和encoded编码数组，反推字符串文本
static String	decode(@NotNull String modelName, @NotNull List<Integer> encoded) 通过模型名称和encoded编码数组，反推字符串文本
static List<Integer>	encode(@NotNull com.knuddels.jtokkit.api.Encoding enc, String text) 通过Encoding和text获取编码数组
static List<Integer>	encode(@NotNull com.knuddels.jtokkit.api.EncodingType encodingType, String text) 获取encode的编码数组
static List<Integer>	encode(@NotNull String modelName, String text) 获取encode的编码数组，通过模型名称
static com.knuddels.jtokkit.api.Encoding	getEncoding(@NotNull com.knuddels.jtokkit.api.EncodingType encodingType) 获取一个Encoding对象，通过Encoding类型
static com.knuddels.jtokkit.api.Encoding	getEncoding(@NotNull String modelName) 获取一个Encoding对象，通过模型名称
static com.knuddels.jtokkit.api.ModelType	getModelTypeByName(String name) 获取modelType
static int	tokens(@NotNull com.knuddels.jtokkit.api.Encoding enc, String text) 通过Encoding计算text信息的tokens
static int	tokens(@NotNull com.knuddels.jtokkit.api.EncodingType encodingType, String text) 计算指定字符串的tokens，通过EncodingType
static int	tokens(@NotNull String modelName, @NotNull List<Message> messages) 通过模型名称计算messages获取编码数组 参考官方的处理逻辑： https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb
static int	tokens(@NotNull String modelName, String text) 通过模型名称, 计算指定字符串的tokens

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

TikTokensUtil

public TikTokensUtil()

Method Detail

encode

public static List<Integer> encode(@NotNull
                                   @NotNull com.knuddels.jtokkit.api.Encoding enc,
                                   String text)

通过Encoding和text获取编码数组

Parameters:

enc -

text -

Returns:

tokens

public static int tokens(@NotNull
                         @NotNull com.knuddels.jtokkit.api.Encoding enc,
                         String text)

通过Encoding计算text信息的tokens

Parameters:

enc -

text -

Returns:

decode

public static String decode(@NotNull
                            @NotNull com.knuddels.jtokkit.api.Encoding enc,
                            @NotNull
                            @NotNull List<Integer> encoded)

通过Encoding和encoded数组反推text信息

Parameters:

enc -

encoded -

Returns:

getEncoding

public static com.knuddels.jtokkit.api.Encoding getEncoding(@NotNull
                                                            @NotNull com.knuddels.jtokkit.api.EncodingType encodingType)

获取一个Encoding对象，通过Encoding类型

Parameters:

encodingType -

Returns:

encode

public static List<Integer> encode(@NotNull
                                   @NotNull com.knuddels.jtokkit.api.EncodingType encodingType,
                                   String text)

获取encode的编码数组

Parameters:

text -

Returns:

tokens

public static int tokens(@NotNull
                         @NotNull com.knuddels.jtokkit.api.EncodingType encodingType,
                         String text)

计算指定字符串的tokens，通过EncodingType

Parameters:

encodingType -

text -

Returns:

decode

public static String decode(@NotNull
                            @NotNull com.knuddels.jtokkit.api.EncodingType encodingType,
                            @NotNull
                            @NotNull List<Integer> encoded)

通过EncodingType和encoded编码数组，反推字符串文本

Parameters:

encodingType -

encoded -

Returns:

getEncoding

public static com.knuddels.jtokkit.api.Encoding getEncoding(@NotNull
                                                            @NotNull String modelName)

获取一个Encoding对象，通过模型名称

Parameters:

modelName -

Returns:

encode

public static List<Integer> encode(@NotNull
                                   @NotNull String modelName,
                                   String text)

获取encode的编码数组，通过模型名称

Parameters:

text -

Returns:

tokens

public static int tokens(@NotNull
                         @NotNull String modelName,
                         String text)

通过模型名称, 计算指定字符串的tokens

Parameters:

modelName -

text -

Returns:

tokens

public static int tokens(@NotNull
                         @NotNull String modelName,
                         @NotNull
                         @NotNull List<Message> messages)

通过模型名称计算messages获取编码数组 参考官方的处理逻辑： https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb

Parameters:

modelName - 模型名称

messages - 消息体

Returns:

decode

public static String decode(@NotNull
                            @NotNull String modelName,
                            @NotNull
                            @NotNull List<Integer> encoded)

通过模型名称和encoded编码数组，反推字符串文本

Parameters:

modelName -

encoded -

Returns:

getModelTypeByName

public static com.knuddels.jtokkit.api.ModelType getModelTypeByName(String name)

获取modelType

Parameters:

name -

Returns: