标签：tokenizer
共 2 篇文章
-
JavaScript 格式化与压缩原理：从词法分析到智能缩进
深入解析 JavaScript 格式化与压缩背后的原理：JS 词法结构、手写 tokenizer 逐字符扫描、正则字面量与除法区分、模板字符串与注释处理、基于括号深度的智能缩进算法、压缩 minify 与 ASI 陷阱、校验未闭合括号。涵盖箭头函数、类、多字符运算符、纯原生 TypeScript 实现要点、与 HTML/CSS 格式化工具的联动方案。
-
SQL 格式化与 SQL 解析器设计：词法分析器、token 类型与缩进策略
系统讲解 SQL 格式化工具的实现原理：词法分析器（tokenizer）的状态机设计、9 种 token 类型（空白/注释/字符串/数字/标识符/关键字/标点/参数）、关键字分类策略（主子句/JOIN/AND-OR/函数/数据类型）、缩进引擎（depth 计数器 + 主子句归零 + 子查询递增）、CASE/WHEN 块状缩进、压缩算法、基础语法校验、关键字分色高亮。对比 6 种主流 SQL 美化器（sql-formatter/prettier-plugin-sql/DBeaver/DataGrip/Navicat/Azure Data Studio）的实现差异与功能边界。配套可交互 SQL 工具，帮你彻底搞懂 SQL 解析器设计。