Lexers

렉서는 원시 소스 코드를 토큰으로 변환하는 컴포넌트입니다.

렉서(lexer)는 원시 소스 코드의 문자를 토큰으로 변환하는 컴포넌트입니다. 컴파일러는 코드의 문자 스트림을 해석하기 위해 먼저 이를 분류해야 합니다. 이를 통해 후속 처리 단계에서 각 문자를 개별적으로 처리할 필요가 없게 됩니다. 토큰은 프로그램의 가장 작은 개별 요소로, 프로그래밍 언어의 의미 있는 단어를 나타냅니다.

A lexer is a component that converts raw source code characters into tokens.

A lexer is a component that converts raw source code characters into tokens for the parser. The compiler interprets the stream of characters by classifying them, avoiding tedious handling in later steps. Tokens are the smallest individual elements of a program, representing meaningful words in a programming language. This classification process is essential for further stages of code interpretation and execution.