hlwy-ai-checker 是通过比较大语言模型随机数输出分布来辅助判断第三方 API 模型一致性的开源项目。
简介
hlwy-ai-checker 是一个用于辅助检查第三方 AI API 模型一致性的开源项目，核心思路是统计不同模型在指定范围内选择随机数字时表现出的概率分布差异。
关键贡献
- 先建立可信模型的分布基准，再与待测 API 的多次采样结果比较。
- 单次提示的 Token 消耗较低，适合做轻量渠道一致性检查。
- 项目提供可直接打开的 HTML 使用界面，降低测试门槛。
- 官方仓库采用 LGPL-2.1 许可证。
相关概念/实体
当前结论
该方法适合作为辅助信号，不能单独证明 API 背后的模型身份；采样数量、服务端参数、模型版本和供应商处理链路都可能影响分布。