LAMP

Open research paper in PDF

Author

Donggyu Lee

Abstract

This is a new method that LLM came up with to solve the problem of losing some content because it cannot receive too much data at once. Inspired by the structure of the human brain, it uses a graph DB like the structure of neurons and synapses, so that each piece of information is stored and connected to each other, and when the information is retrieved, the nearby contents can be retrieved continuously, just like a human. Thus, a memory assistance algorithm was developed that allows the language model to retrieve long and complex information, as well as past conversations, at any time.

요약

위 연구를 진행하면서, 평균 40분 이상 분량의 강의를 챗봇이 학습하고, 참고할 때 그 내용이 너무 길어서 전부 입력받지 못하여 일부 내용이 유실된다는 점을 해결하기 위해 생각한 새로운 방법이다. 사람의 뇌 구조에서 영감을 받아 뉴런과 시냅스 구조처럼 그래프 DB를 사용하여 각 정보가 저장되고, 서로 연결되어 사람처럼 해당 정보를 불러오면 주변 내용까지 연속적으로 불러올 수 있게 했다. 이를 통해 길고 복잡한 정보와 더불어 과거 내용까지 언어모델이 언제든지 불러올 수 있도록 하는 메모리 보조 알고리듬을 개발하였다.