LLMを活用するためのデータのテキストへの変換方法

“データをLLMに入力しやすい形に変換する方法。例えばリポジトリ全体を読ませようとすると面倒ですね。以下記事参考にリポジトリの構成含めて全体をテキスト化する。パワポやPDFをテキスト化する方法です。”

略すと、LLM入力用の、ファイルからテキスト変化は“MarkItDownというPythonツールが便利”。

プレーンテキストはともかく、PDF、Excel、Word、図、表などレイアウトがあるものは全て、画像にしてLLMで認識させるのが王道になる気がする。