claude-3-tokenizer / prompt_test.txt.tokens
leafspark's picture
model: add test files and support command line arguments
a52e760 verified
[
{
"token": "/*",
"id": 32125
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " Copyright",
"id": 3800
},
{
"token": " 2000",
"id": 1453
},
{
"token": "-",
"id": 31893
},
{
"token": "2009",
"id": 32787
},
{
"token": " Jet",
"id": 6203
},
{
"token": "Brain",
"id": 35944
},
{
"token": "s",
"id": 58607
},
{
"token": " s",
"id": 25844
},
{
"token": ".",
"id": 31979
},
{
"token": "r",
"id": 57555
},
{
"token": ".",
"id": 31979
},
{
"token": "o",
"id": 55302
},
{
"token": ".",
"id": 31979
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " Licensed",
"id": 6684
},
{
"token": " under",
"id": 28977
},
{
"token": " the",
"id": 28194
},
{
"token": " Apache",
"id": 2347
},
{
"token": " License",
"id": 6683
},
{
"token": ",",
"id": 31833
},
{
"token": " Version",
"id": 10644
},
{
"token": " 2",
"id": 1450
},
{
"token": ".",
"id": 31979
},
{
"token": "0",
"id": 32168
},
{
"token": " ",
"id": 411
},
{
"token": "(",
"id": 31193
},
{
"token": "the",
"id": 60198
},
{
"token": " ",
"id": 411
},
{
"token": "\"",
"id": 30684
},
{
"token": "License",
"id": 39610
},
{
"token": "\");",
"id": 30727
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " you",
"id": 30159
},
{
"token": " may",
"id": 21448
},
{
"token": " not",
"id": 22440
},
{
"token": " use",
"id": 29209
},
{
"token": " this",
"id": 28263
},
{
"token": " file",
"id": 17775
},
{
"token": " except",
"id": 17281
},
{
"token": " in",
"id": 19621
},
{
"token": " compliance",
"id": 14422
},
{
"token": " with",
"id": 29944
},
{
"token": " the",
"id": 28194
},
{
"token": " License",
"id": 6683
},
{
"token": ".",
"id": 31979
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " You",
"id": 11050
},
{
"token": " may",
"id": 21448
},
{
"token": " obtain",
"id": 22612
},
{
"token": " a",
"id": 11238
},
{
"token": " copy",
"id": 14878
},
{
"token": " of",
"id": 22656
},
{
"token": " the",
"id": 28194
},
{
"token": " License",
"id": 6683
},
{
"token": " at",
"id": 12373
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " http",
"id": 19315
},
{
"token": "://",
"id": 33845
},
{
"token": "www",
"id": 62180
},
{
"token": ".",
"id": 31979
},
{
"token": "apache",
"id": 45677
},
{
"token": ".",
"id": 31979
},
{
"token": "org",
"id": 56034
},
{
"token": "/",
"id": 32099
},
{
"token": "licenses",
"id": 53796
},
{
"token": "/",
"id": 32099
},
{
"token": "LICENSE",
"id": 39458
},
{
"token": "-",
"id": 31893
},
{
"token": "2",
"id": 32769
},
{
"token": ".",
"id": 31979
},
{
"token": "0",
"id": 32168
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " Unless",
"id": 10498
},
{
"token": " required",
"id": 25350
},
{
"token": " by",
"id": 13397
},
{
"token": " applicable",
"id": 12089
},
{
"token": " law",
"id": 20697
},
{
"token": " or",
"id": 22820
},
{
"token": " agreed",
"id": 11648
},
{
"token": " to",
"id": 28411
},
{
"token": " in",
"id": 19621
},
{
"token": " writing",
"id": 30057
},
{
"token": ",",
"id": 31833
},
{
"token": " software",
"id": 26849
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " distributed",
"id": 16197
},
{
"token": " under",
"id": 28977
},
{
"token": " the",
"id": 28194
},
{
"token": " License",
"id": 6683
},
{
"token": " is",
"id": 20239
},
{
"token": " distributed",
"id": 16197
},
{
"token": " on",
"id": 22716
},
{
"token": " an",
"id": 11871
},
{
"token": " ",
"id": 411
},
{
"token": "\"",
"id": 30684
},
{
"token": "AS",
"id": 35173
},
{
"token": " IS",
"id": 5883
},
{
"token": "\"",
"id": 30684
},
{
"token": " BASIS",
"id": 2583
},
{
"token": ",",
"id": 31833
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " WITHOUT",
"id": 10757
},
{
"token": " WARRANTIES",
"id": 10735
},
{
"token": " OR",
"id": 7753
},
{
"token": " CONDITIONS",
"id": 3187
},
{
"token": " OF",
"id": 7733
},
{
"token": " ANY",
"id": 2014
},
{
"token": " KIND",
"id": 6288
},
{
"token": ",",
"id": 31833
},
{
"token": " either",
"id": 16672
},
{
"token": " express",
"id": 17456
},
{
"token": " or",
"id": 22820
},
{
"token": " implied",
"id": 19580
},
{
"token": ".",
"id": 31979
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " See",
"id": 9386
},
{
"token": " the",
"id": 28194
},
{
"token": " License",
"id": 6683
},
{
"token": " for",
"id": 18039
},
{
"token": " the",
"id": 28194
},
{
"token": " specific",
"id": 26985
},
{
"token": " language",
"id": 20643
},
{
"token": " governing",
"id": 18631
},
{
"token": " permissions",
"id": 23414
},
{
"token": " and",
"id": 11913
},
{
"token": "\n",
"id": 38
},
{
"token": " *",
"id": 1020
},
{
"token": " limitations",
"id": 20911
},
{
"token": " under",
"id": 28977
},
{
"token": " the",
"id": 28194
},
{
"token": " License",
"id": 6683
},
{
"token": ".",
"id": 31979
},
{
"token": "\n",
"id": 38
},
{
"token": " */",
"id": 1036
},
{
"token": "\n",
"id": 38
},
{
"token": " Expl",
"id": 4745
},
{
"token": "ain",
"id": 45149
},
{
"token": " this",
"id": 28263
},
{
"token": " copyright",
"id": 14880
},
{
"token": " license",
"id": 20861
},
{
"token": ".",
"id": 31979
},
{
"total": 158
}
]