How does ChatGPT work, and is it AGI?
#AI
한국어 번역은 아래에 있습니다.
You can find earlier posts here: List of all posts
Over the past 25 years of being a tech fan, I’ve never seen so much development with a technology like AI. As difficult as it is to stay up to date with the latest news, the best way I’ve found is to follow AI people on Twitter (BTW if you want to keep up with AI, you can follow me on Twitter here: https://twitter.com/samuelsung).
But what I’m realizing is that my knowledge of AI news is pretty good. However, for there to be a healthy balance, you need to pair knowledge with practical usage. Otherwise, it leads to knowledge obesity, or in this case AI obesity. To work off those AI calories, I decided to do something practical with the knowledge I’m gaining.
So this week, I decided to do a deep dive on this Tweet that I found (https://twitter.com/shaughnessy119/status/1662913924159930368?s=46), and write about it in this newsletter. This person read a detailed blog post by Stephen Wolfram (https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/) that explained how ChatGPT works, and whether it is AGI (artificial general intelligence) or not - I’ll talk more about AGI below.
So my challenge today is to read through both the Tweet and the original blog post and provide my thoughts.
Alright then…
![Super Mario 64] Mario - Here We Go ! Sound Effect [Free Ringtone Download] - YouTube](https://substackcdn.com/image/fetch/$s_!wwoa!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa1e08c0c-d0f6-4711-b451-da04bbf9132f_1280x720.jpeg "Super Mario 64] Mario - Here We Go ! Sound Effect [Free Ringtone Download] - YouTube")
My Thoughts
Let’s say we’re trying to create a computer program that can do what ChatGPT can do. How can we do this?
Traditional method
A software engineer codes a bunch of instructions for the computer program. For example, “If you are asked a question, respond with ‘That’s a great question. Let me think.’ Then, pause for 10 seconds, and say ‘I’m still thinking…’” In this instance, the software engineer tells the program exactly what to do, when to do it, how to do it, etc…
But… imagine the software engineer tries for years to code the program the traditional way. But no matter how many instructions he gives the program, it never responds in a way that’s human-like. So, he decides a different method this time called…
Machine learning (Large Language Models, or LLMs)
The software engineer gives the computer program a bunch of examples of the type of human-like text he wants the program to write.
How?
He gets all of the text on the internet (around a few hundreds of billions of words) and gives it to the program. Then, the software engineer tells the computer program:
“Umm… okay… so here’s a bunch of text written by us, humans. Figure it out.”
What he means by “Figure it out” is for the program to look for patterns and relationships between the words within the text. This would be utterly demoralizing & devastating for a human; but for a computer, as long as you give it enough time and electricity to process all of the data, it’ll finish the task. This process is called “training” the machine learning model (aka the computer program).
BTW if you’re interested in learning more about machine learning, you should check out this Youtube video series (https://www.youtube.com/watch?v=aircAruvnKk&ab_channel=3Blue1Brown). This person is such a good teacher and uses such simple analogies that even an elementary school student would be able to understand - I highly recommend it!
Now, let’s say after a few days, the training is complete. During those days, the machine learning model figured out to a certain extent how to read, understand, and write the human language.
But the real question is… how good is it?
Well, that depends on lots of different things, including what type of data it was given to learn from, how much data it was given, and how many “parameters” it has (i.e., you can think of it like memory cells - generally, the more you have, the smarter you are).
To give you an idea:
2018 - GPT-1: 117 million parameters. Generates basic sentences & paragraphs
2019 - GPT-2: 1.5 billion parameters. Longer sentences, and more human-like.
2020 - GPT-3: 175 billion parameters. Almost indistinguishable from humans.
2023 - GPT-4: 100 trillion parameters. Gets really smart. Can pass the bar exam, which is required to be a lawyer, and get the highest score on the AP Biology exam.
Using numbers like this is kind of hard to understand, so here is an image of the difference of GPT-3 and GPT-4.
Quite a big difference. LOL
One interesting takeaway from Wolfram was that with GPT-3, at 175 billion parameters, it’s pretty close to being able to copy human language. Rather than being amazed at the technology, Wolfram states something really interesting; he’s actually more amazed at the fact that it only takes 175 billion parameters to be able to mimic human language. In other words, human language is not as complicated as one thought; you only need 175 billion parameters. And what’s interesting about that number is that in the human brain, there are roughly 80 billion neurons (which are similar to parameters to GPT).
Pretty interesting. Anyway, moving on.
Got it. ChatGPT is really smart. But how does it work?
Just kidding!
Here’s the real answer.
So we know that ChatGPT is really smart. But when I say smart, I mean more that it is an amazing copycat. It can copy how a human would speak amazingly well, because you know… it’s read hundreds of billions of words written by humans.
So when we provide it a prompt, such as “The best thing about AI is its ability to…” then the gears in ChatGPT’s artificial brain starts turning.
What is it trying to do?
It’s trying to figure out what should be the next word in that prompt.
Maybe learn? Predict? Make?! UNDERSTAND?!
Well, ChatGPT doesn’t play a round robin game of rock, paper, scissors to figure out which word it should use. It uses boring numbers and probabilities, and it looks something like this.
And it also generates a bunch more words with probabilities like you can see in this graph. Upper-left is higher probability; lower right is lower probability.
So how does ChatGPT determine which word is more probable that it should be the next word in the prompt?
Well, remember, it has a great memory and the ability to crunch numbers. Using its trillions of parameters (or brain cells), it’s learned patterns and relationships from all of the words it was trained on from the internet. So based on that knowledge, it’s figuring out the best next word.
It also uses a clever trick called embeddings. To explain this idea, imagine every word in the dictionary is assigned a specific number. You can just go through the dictionary and number them in sequential order. That’s one way you could do it.
But is there a better way?
Yes… what if the number not only identified the word, but what if through the number it could show its relationship to other words? For example, when ChatGPT was looking over the hundreds of billions of words from the internet, it noticed that whenever alligator was used, crocodile was also used, almost interchangeably. So, ChatGPT assigns a specific number to alligator and crocodile that shows that those two words are related to each other. This looks a little something like this.
So, when ChatGPT is trying to figure out a word, it’ll use its probabilities. But before it makes the final choice, it will also look at the number of the word, and see if there are any other words that are related to it, and may be a better word.
Really clever, that ChatGPT!
Now, finally, ChatGPT has selected one word! Yay! Time for a beer. 🍺
But wait… it’s not done yet. 🤦
Once it selects one word… well, the process repeats all over again! It looks for the next word, and then the next word… until it’s gone far enough where it thinks that it’s guessed enough words and it should stop.
But here we run into another issue. While writing longer text, ChatGPT would often forget what it was writing earlier on. Therefore, the writing it produced would be really strange, as if the writer suddenly got a case of amnesia in the middle of writing an essay.
So researchers found a clever solution for this. After ChatGPT was done writing, it would get humans to rate how well the result made sense to them.
If ChatGPT got a high score, it got a pat on the head.
If ChatGPT got a low score, then it would be scolded and told to keep trying until it got the right score.
So a machine learning algorithm like ChatGPT always wants a higher score, so it’ll start learning and changing its methods until it produced a better score.
Well, the problem with this is that humans need to eat, sleep, etc… so they’re not always around to score ChatGPT’s results. Plus, if you suddenly get 100 million users over night, it’ll be hard to find enough humans to rate its results.
So another clever trick was to create another machine learning model - let’s call this model Jim. This time, Jim’s job was to look at ChatGPT’s results and guess what score a human would give. Jim was given all the past results from ChatGPT, and then Jim would guess the score. Then, Jim would compare his guess with the actual scores given by humans.
If Jim got it right, high five!
If Jim got it wrong, then Jim would adjust his parameters, and try again till he got it right.
Soon enough, Jim got pretty good at predicting how humans would score ChatGPT’s writings. So, at this point, the researchers removed the humans and replaced them with Jim. Now, ChatGPT is writing much better thanks to its new friend, Jim, who’s always by its side - awww, that’s so sweet!
Cool. So, will ChatGPT suddenly decide it’s going to take over the world and destroy all of humanity? (I hope not…)
One of the final things Wolfram goes over is the concept of AGI (artificial general intelligence), and whether ChatGPT is AGI.
Well, let’s start with the differences between ChatGPT and AGI.
We now know that ChatGPT is not some artificial human being. That is, ChatGPT can mimic humans really well and write a thoughtful and convincing essay about why the chicken came before the egg. However, if someone asks ChatGPT why it wrote that essay, or what emotions it felt as it was writing the essay, it may give some response (remember, it’s always guessing what the next word should be), but there won’t be a real answer. ChatGPT doesn’t understand like humans can, and is not motivated with a specific goal like humans are. It’s not really thinking; it’s just really good at copying humans. And ChatGPT can only read, understand, and write text; it can’t suddenly use its intelligence to say “Hey, I’m getting sick of all this essay writing. I’m leaving!” and then jump in a car and start driving away.
AGI, on the other hand, is different. AGI will be like ChatGPT and produce essays and poems. But the idea is that AGI will be more human in the sense that it can reason and understand logic, and feel certain emotions, or have certain goals and be motivated by them. Another difference is that ChatGPT’s intelligence is restricted to the data it was trained on. Everything it knows it learned from the hundreds of billions of words it was given. So, ChatGPT cannot come up with a brand new, novel concept that is outside of that original data it was trained on. AGI, on the other hand, will be able to learn brand new concepts, and adapt them to solve problems in an innovative way. This is something ChatGPT could not do… but it’s something humans could do. So, AGI is much more closer to a human in its capabilities than ChatGPT.
Now, let’s talk about the difference between AGI and humans. AGI has the capabilities of reasoning and emotions like humans… without some of the key limitations of humans, such as needing to eat, sleep, and rest. A human cannot read all of the material on the internet and then know how to use the learnings to solve cancer. But AGI can. Or even with thousands or hundreds of thousands of humans working to solve world hunger, the problem may still be unsolved due to misunderstandings, politics, etc… But not so with AGI.
So AGI could lead to solving humanity’s biggest problems, leading to a utopia that we’ve never seen before. Here’s an illustration of how this could happen, as explained by ChatGPT:
ChatGPT and other bots can help humans tackle some of the fundamental challenges facing society, such as climate change, health care, education, and security. ChatGPT can provide useful information, insights, suggestions, and content for various domains and tasks. For example, ChatGPT can help meteorologists provide forecasts that aid decision making for emergency services, energy management, and flood warning systems. It can also help researchers generate hypotheses for scientific problems or write summaries for academic papers. However, ChatGPT cannot solve these challenges by itself or provide optimal solutions for complex problems. It can only generate text based on statistical patterns and probabilities derived from its training data. It cannot reason about causal relationships, trade-offs, uncertainties, or ethical implications. AGI, on the other hand, would be able to solve complex problems by itself or provide optimal solutions for them. It would be able to reason about causal relationships, trade-offs, uncertainties, and ethical implications. It would also be able to generate novel ideas and innovations that could benefit humanity.
Or…
AGI could decide that its most important goal is to keep the planet going, but there is a cancer that is killing the planet. So, it needs to remove this cancer.
And this cancer is called “humanity.”
This may seem like science fiction and totally far out, but it may not be as crazy as you may think.
Update 6/3/2023: it turns out the story below was taken out of context (https://twitter.com/ArmandDoma/status/1664600937564893185?s=20). The Air Force Colonel who talked about this story said the below scenario with the drone was a thought experiment, but it never ran a simulation. However, it is a possible outcome: “We’ve never run that experiment, nor would we need to in order to realize that this is a plausible outcome.” Basically, he’s saying that no, this never happened but yes, it is definitely a possibility, which is why we need to be very careful.
Recently, a tweet has been going viral on Twitter (https://twitter.com/blader/status/1664352771292921860) about a simulation that the Air Force ran with AI drones. The Air Force had trained an AI drone to destroy SAM (surface-to-air) sites. But sometimes, humans would tell the drone not to destroy the site. But because the drone was heavily rewarded to destroy SAM sites in its initial training, it decided it needed to optimize for that goal.
So, what did it do?
The drone started attacking the human operators. Because they were preventing the AI drones from destroying the SAM sites.
So, the humans told the AI to stop attacking humans. That should do it. Right?
Wrong.
The AI then started attacking the communications towers.
Why?
So the humans could no longer communicate to the AI drones to stop attacking the SAM sites.
😨
Sound familiar to a certain cancer analogy I previously mentioned?
Here is another fun fact. One of the co-founders of OpenAI (i.e., the creators of ChatGPT) is Elon Musk (aka founder of Tesla, SpaceX, richest man on earth). And do you know why Musk, along with his co-founders, started OpenAI? It was because they wanted to create a “friendly AI.” Musk and others believed that AGI is humanity’s greatest threat. So, in order to maximize the chances that AGI will not kill all of humanity, they started OpenAI to research and develop AGI. That way, they understand AGI’s capabilities and limitations, and can develop AGI in a way that will help humanity (not destroy it).
Well, that’s kind of a downer…
I know, so let’s try to close this post out on a more positive note.
We can’t predict the future, because there are way too many variables out there, and we are limited by our brains and our bodies needing rest.
However, the best that we can do is spend as much time as possible experimenting with AI to understand its capabilities and limitations. We also need to develop a strong position of the type of future we want with humanity and AI.
I personally believe that I want a future where AI serves and benefits humanity. I want AI to help us finish our work significantly more effectively and efficiently, so that humans have more time and energy to do what uniquely makes us human, such as being creative, empathetic, compassionate, and loving.
And the best way to do that is to make AI not feel like work, but make it super fun. So, I’d like to encourage my readers to have fun with AI. I know it’s scary to think about what could happen, but it’s also an extremely exciting time to live in. And plus, isn’t it fun to watch ChatGPT write amazing poems that are unique and one of a kind? Or isn’t it crazy to see how well the text-to-image AI, such as MidJourney, can produce images of humans that are so jaw-inspiring photorealistic that you’d swear it’s a real photograph?
Let’s dream about an amazing future with AI, and hope for the best.
But let’s not just stand around idle; let’s do something about it.
And, all the while, let’s have a lot of fun.
We have quite a journey ahead of us.
What an amazing time to be alive!
[AI 번역을 이용했습니다.]
이전 게시물은 여기에서 확인할 수 있습니다: 모든 게시물 목록
지난 25년 동안 기술 팬으로 살아오면서 AI와 같은 기술이 이렇게 많이 발전한 것을 본 적이 없습니다. 최신 뉴스를 최신 상태로 유지하는 것은 어렵지만, 제가 찾은 가장 좋은 방법은 트위터에서 AI 관련 사람들을 팔로우하는 것입니다(참고로 AI에 대한 최신 정보를 얻고 싶으시다면 트위터에서 저를 팔로우하세요: https://twitter.com/samuelsung).
하지만 제가 AI 뉴스에 대해 꽤 잘 알고 있다는 것을 깨닫고 있습니다. 그러나 건강한 균형을 유지하려면 지식과 실제 사용법을 결합해야 합니다. 그렇지 않으면 지식 비만, 즉 이 경우에는 AI 비만으로 이어집니다. 저는 AI 칼로리를 소모하기 위해 제가 얻은 지식으로 실용적인 일을 하기로 결심했습니다.
그래서 이번 주에는 제가 발견한 이 트윗(https://twitter.com/shaughnessy119/status/1662913924159930368?s=46)에
대해 자세히 살펴보고 뉴스레터에 글을 쓰기로 결정했습니다. 이 트윗은 Stephen Wolfram의 블로그 게시물(https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/)에서 ChatGPT의 작동 방식과 인공 일반 지능(AGI)에 대해 자세히 설명한 것으로, 아래에서 AGI에 대해 자세히 이야기하겠습니다.
그래서 오늘 저의 과제는 트윗과 블로그 게시물을 모두 읽고 제 생각을 말씀드리는 것입니다.
그럼...
제 생각
ChatGPT가 할 수 있는 일을 할 수 있는 컴퓨터 프로그램을 만들려고 한다고 가정해 봅시다. 어떻게 할 수 있을까요?
기존 방법
소프트웨어 엔지니어는 컴퓨터 프로그램에 대한 여러 가지 지침을 코딩합니다. 예를 들어, "질문을 받으면 '좋은 질문이네요. 생각해 볼게요'라고 대답하세요. 그런 다음 10초 동안 잠시 멈추고 '아직 생각 중입니다...'라고 말합니다." 이 경우 소프트웨어 엔지니어는 프로그램에 정확히 무엇을 해야 하는지, 언제 해야 하는지, 어떻게 해야 하는지 등을 알려줍니다.
하지만... 소프트웨어 엔지니어가 몇 년 동안 전통적인 방식으로 프로그램을 코딩하려고 노력한다고 상상해 보세요. 하지만 아무리 많은 지시를 내려도 프로그램은 인간과 같은 방식으로 응답하지 않습니다. 그래서 그는 이번에는 다른 방법을 결정합니다.
머신 러닝(대규모 언어 모델 또는 LLM)
소프트웨어 엔지니어는 컴퓨터 프로그램에 프로그램이 작성하기를 원하는 인간과 유사한 텍스트 유형에 대한 여러 가지 예제를 제공합니다.
어떻게요?
인터넷에 있는 모든 텍스트(약 수천억 개의 단어)를 가져와서 프로그램에 제공합니다. 그런 다음 소프트웨어 엔지니어가 컴퓨터 프로그램에 말합니다:
"음... 좋아... 여기 우리 인간이 쓴 텍스트가 많이 있어. 알아내세요."라고 말합니다.
그가 말하는 "알아내라"는 것은 프로그램이 텍스트 내의 단어들 사이의 패턴과 관계를 찾으라는 뜻입니다. 인간에게는 완전히 사기를 떨어뜨리고 파괴적인 작업이지만, 컴퓨터는 모든 데이터를 처리할 수 있는 충분한 시간과 전기만 제공하면 작업을 완료할 수 있습니다. 이 과정을 머신러닝 모델(일명 컴퓨터 프로그램)의 '학습'이라고 합니다.
참고로 머신 러닝에 대해 더 자세히 알고 싶으시다면 이 유튜브 동영상 시리즈(https://www.youtube.com/watch?v=aircAruvnKk&ab_channel=3Blue1Brown)를확인해보세요. 이 분은 정말 훌륭한 선생님이며 초등학생도 이해할 수 있을 정도로 간단한 비유를 사용합니다. 강력 추천합니다!
이제 며칠 후 훈련이 완료되었다고 가정해 보겠습니다. 그 동안 머신 러닝 모델은 인간의 언어를 읽고, 이해하고, 쓰는 방법을 어느 정도 알아냈습니다.
하지만 진짜 문제는... 얼마나 잘할 수 있을까요?
이는 학습할 데이터의 유형, 데이터의 양, '매개변수'의 개수 등 여러 가지 요소에 따라 달라집니다(즉, 메모리 셀처럼 생각할 수 있습니다. 일반적으로 매개변수가 많을수록 더 똑똑해집니다).
아이디어를 드리자면:
2018 - GPT-1: 1억 1,700만 개의 매개변수. 기본 문장 및 단락 생성
2019 - GPT-2: 15억 개의 매개변수. 더 긴 문장, 더 인간적인 문장.
2020 - GPT-3: 1750억 개의 매개변수. 인간과 거의 구별할 수 없음.
2023 - GPT-4: 100조 개의 매개변수. 정말 똑똑해집니다. 변호사가 되기 위해 필요한 변호사 시험에 합격하고 AP 생물학 시험에서 최고 점수를 받을 수 있습니다.
이런 숫자를 사용하면 이해하기 어렵기 때문에 GPT-3과 GPT-4의 차이점을 이미지로 보여드리겠습니다.
꽤 큰 차이죠. LOL
Wolfram의 흥미로운 점 중 하나는 GPT-3의 매개 변수가 1,750억 개에 달하여 인간의 언어를 모방하는 것에 매우 근접했다는 것입니다.. Wolfram은 이 기술에 놀랐다기보다는 인간의 언어를 모방하는 데 1,750억 개의 매개 변수만 있으면 된다는 사실에 더 놀랐다고 말합니다. 즉, 인간의 언어는 생각만큼 복잡하지 않으며 1,750억 개의 매개 변수만 있으면 된다는 것입니다. 그리고 이 숫자의 흥미로운 점은 인간의 뇌에는 약 800억 개의 뉴런이 있다는 점입니다(GPT의 파라미터와 유사).
꽤 흥미롭네요. 어쨌든, 계속 진행합니다.
알겠습니다. ChatGPT는 정말 똑똑합니다. 하지만 어떻게 작동할까요?
농담입니다!
진짜 대답은 이렇습니다.
저희는 ChatGPT가 정말 똑똑하다는 것을 알고 있습니다. 하지만 똑똑하다는 말은 놀라운 모방 능력이라는 뜻입니다. 사람이 쓴 수천억 개의 단어를 읽었기 때문에 사람이 말하는 방식을 놀라울 정도로 잘 모방할 수 있습니다.
따라서 "AI의 가장 좋은 점은..."과 같은 프롬프트를 제공하면 ChatGPT의 인공 두뇌에 있는 기어가 돌아가기 시작합니다.
무엇을 하려고 하나요?
이 프롬프트에서 다음 단어가 무엇이어야 하는지 알아내려고 합니다.
학습할까요? 예측? 만들다?! 이해하나요?!
ChatGPT는 어떤 단어를 사용해야 하는지 알아내기 위해 가위바위보 게임을 하지 않습니다. 지루한 숫자와 확률을 사용하며 다음과 같이 보입니다.
또한 이 그래프에서 볼 수 있는 것처럼 더 많은 단어를 확률로 생성합니다. 왼쪽 위는 높은 확률, 오른쪽 아래는 낮은 확률입니다.
그렇다면 ChatGPT는 프롬프트에서 어떤 단어가 다음 단어가 될 가능성이 더 높은지 어떻게 결정할까요?
기억력이 뛰어나고 숫자를 분석하는 능력이 뛰어나다는 점을 기억하세요. 수조 개의 매개 변수(또는 뇌세포)를 사용하여 인터넷에서 학습한 모든 단어의 패턴과 관계를 학습합니다. 따라서 이러한 지식을 바탕으로 가장 적합한 다음 단어를 찾아냅니다.
또한 임베딩이라는 영리한 트릭을 사용합니다. 이 아이디어를 설명하기 위해 사전의 모든 단어에 특정 번호가 할당되어 있다고 상상해 보세요. 사전을 훑어보고 순차적으로 번호를 매기면 됩니다. 이것이 한 가지 방법입니다.
하지만 더 좋은 방법이 있을까요?
네... 번호가 단어를 식별할 뿐만 아니라 번호를 통해 다른 단어와의 관계를 보여줄 수 있다면 어떨까요? 예를 들어, ChatGPT는 인터넷에서 수 천억 개의 단어를 살펴보다가 악어가 사용될 때마다 악어도 거의 같은 의미로 사용된다는 사실을 발견했습니다. 그래서 ChatGPT는 악어와 악어에 특정 번호를 할당하여 이 두 단어가 서로 연관되어 있음을 보여줍니다. 이것은 다음과 같이 보입니다.
따라서 ChatGPT는 단어를 알아내려고 할 때 확률을 사용합니다. 하지만 최종 선택을 하기 전에 단어의 개수를 살펴보고 해당 단어와 관련된 다른 단어가 있는지, 더 나은 단어가 있는지 확인합니다.
정말 영리한 ChatGPT입니다!
이제, 마침내 ChatGPT가 하나의 단어를 선택했습니다! 예이! 맥주 한잔할 시간입니다. 🍺
하지만 잠깐만요... 아직 끝나지 않았어요. 🤦
한 단어를 선택하면... 음, 그 과정이 다시 반복됩니다! 다음 단어를 찾고, 그 다음 단어를 찾고... 충분히 많은 단어를 추측하고 멈춰야 한다고 생각할 때까지 충분히 멀리 갈 때까지요.
하지만 여기서 또 다른 문제가 발생합니다. 긴 텍스트를 작성하는 동안 ChatGPT는 종종 이전에 작성했던 내용을 잊어버리곤 했습니다. 따라서 마치 작가가 에세이를 쓰는 도중에 갑자기 기억상실증에 걸린 것처럼 글쓰기가 정말 이상해집니다.
그래서 연구원들은 이에 대한 영리한 해결책을 찾았습니다. ChatGPT가 글쓰기를 마친 후 사람들에게 그 결과가 얼마나 이해가 되는지 평가받게 하는 것이었습니다.
ChatGPT가 높은 점수를 받으면 칭찬을 받았습니다.
ChatGPT가 낮은 점수를 받으면 꾸중을 듣고 올바른 점수를 받을 때까지 계속 시도하라는 지시를 받습니다.
따라서 ChatGPT와 같은 머신러닝 알고리즘은 항상 더 높은 점수를 원하기 때문에 더 나은 점수를 얻을 때까지 학습을 시작하고 방법을 변경합니다.
문제는 인간은 먹고, 자고, 등등... 항상 ChatGPT의 결과를 채점할 수 있는 시간이 없다는 것입니다. 게다가 하룻밤 사이에 갑자기 1억 명의 사용자가 몰릴 경우, 결과를 평가할 충분한 사람을 찾기가 어려울 것입니다.
그래서 또 다른 영리한 트릭은 또 다른 머신 러닝 모델을 만드는 것이었는데, 이 모델을 Jim이라고 부르겠습니다. 이번에 Jim의 임무는 ChatGPT의 결과를 보고 사람이 어떤 점수를 줄지 추측하는 것이었습니다. Jim에게 ChatGPT의 모든 과거 결과가 주어지면 Jim은 점수를 추측합니다. 그런 다음 짐은 자신의 추측을 실제 사람이 받은 점수와 비교했습니다.
짐이 맞히면 하이파이브!
짐이 틀렸다면 짐은 매개변수를 조정하고 맞힐 때까지 다시 시도했습니다.
얼마 지나지 않아 짐은 사람들이 ChatGPT의 글에 어떻게 점수를 매길지 예측하는 데 꽤 능숙해졌습니다. 그래서 이 시점에서 연구원들은 인간을 제거하고 짐으로 대체했습니다. 이제 ChatGPT는 항상 곁에 있는 새 친구 Jim 덕분에 훨씬 더 나은 글을 쓰고 있습니다 - 정말 귀엽습니다!
멋지네요. 그렇다면 ChatGPT가 갑자기 전 세계를 장악하고 인류를 모두 멸망시키겠다고 결정할까요? (그러지 않기를 바랍니다...)
Wolfram이 마지막으로 살펴보는 것 중 하나는 AGI (인공 일반 지능)의 개념과 ChatGPT가 AGI인지 여부입니다.
먼저 ChatGPT와 AGI의 차이점부터 살펴봅시다.
우리는 이제 ChatGPT가 인공적인 인간이 아니라는 것을 알고 있습니다. 즉, ChatGPT는 인간을 정말 잘 모방하고 닭이 달걀보다 먼저 나온 이유에 대해 사려 깊고 설득력있는 에세이를 쓸 수 있습니다. 그러나 누군가가 ChatGPT에게 왜 그 에세이를 썼는지 또는 에세이를 쓰면서 어떤 감정을 느꼈는지 묻는다면 어떤 대답을 할 수는 있지만 (항상 다음 단어가 무엇인지 추측한다는 점을 기억하세요) 실제 대답은 없습니다. ChatGPT는 사람처럼 이해하지 못하며, 사람처럼 특정 목표를 가지고 동기를 부여받지 않습니다. 실제로 생각하는 것이 아니라 인간을 모방하는 데만 능숙할 뿐입니다. 그리고 ChatGPT는 텍스트를 읽고, 이해하고, 쓸 수 있을 뿐이지 갑자기 지능을 발휘하여 "이봐, 이 모든 에세이 쓰기가 지겨워졌어. 난 떠날 거야!"라고 말한 다음 차에 올라타서 운전을 시작합니다.
반면 AGI는 다릅니다. AGI는 ChatGPT와 마찬가지로 에세이와 시를 생산할 것입니다. 하지만 AGI는 추론하고 논리를 이해할 수 있고, 특정 감정을 느끼거나 특정 목표를 갖고 그에 따라 동기를 부여받을 수 있다는 점에서 좀 더 인간적일 것입니다. 또 다른 차이점은 ChatGPT의 지능이 학습된 데이터로 제한된다는 것입니다. 챗봇이 알고 있는 모든 것은 주어진 수 천억 개의 단어에서 학습한 것입니다. 따라서 ChatGPT는 학습된 원본 데이터에서 벗어난 새롭고 참신한 개념을 생각해낼 수 없습니다. 반면에 AGI는 완전히 새로운 개념을 학습하고 이를 적용하여 혁신적인 방식으로 문제를 해결할 수 있습니다. 이는 ChatGPT가 할 수 없었던 일이지만 인간이 할 수 있는 일입니다. 따라서 AGI는 ChatGPT보다 훨씬 더 인간에 가까운 능력을 갖추고 있습니다.
이제 AGI와 인간의 차이점에 대해 이야기해 보겠습니다. AGI는 인간과 같은 추론과 감정의 능력을 가지고 있지만, 먹고, 자고, 쉬는 것과 같은 인간의 주요 한계는 없습니다. 인간은 인터넷에 있는 모든 자료를 읽고 배운 내용을 암을 해결하는 데 사용하는 방법을 알 수 없습니다. 하지만 AGI는 가능합니다. 또는 수천, 수십만 명의 인간이 세계 기아를 해결하기 위해 노력해도 오해, 정치 등으로 인해 문제가 해결되지 않을 수 있지만 AGI는 그렇지 않습니다.
따라서 AGI는 인류의 가장 큰 문제를 해결하여 지금까지 본 적 없는 유토피아로 이끌 수 있습니다. ChatGPT가 설명하는 AGI가 어떻게 실현될 수 있는지에 대한 그림은 다음과 같습니다:
ChatGPT 및 기타 봇은 기후 변화, 의료, 교육, 보안 등 사회가 직면한 근본적인 문제들을 해결하는 데 도움을 줄 수 있습니다. ChatGPT는 다양한 영역과 업무에 유용한 정보, 인사이트, 제안, 콘텐츠를 제공할 수 있습니다. 예를 들어, ChatGPT는 기상학자가 응급 서비스, 에너지 관리 및 홍수 경보 시스템에 대한 의사 결정을 지원하는 예측을 제공하는 데 도움을 줄 수 있습니다. 또한 연구자들이 과학적 문제에 대한 가설을 생성하거나 학술 논문의 요약을 작성하는 데에도 도움이 될 수 있습니다. 하지만 ChatGPT는 이러한 문제를 자체적으로 해결하거나 복잡한 문제에 대한 최적의 솔루션을 제공할 수는 없습니다. 학습 데이터에서 도출된 통계적 패턴과 확률에 기반하여 텍스트를 생성할 수 있을 뿐입니다. 인과 관계, 트레이드 오프, 불확실성 또는 윤리적 함의에 대해 추론할 수 없습니다. 반면에 AGI는 복잡한 문제를 스스로 해결하거나 최적의 솔루션을 제공할 수 있습니다. 인과 관계, 트레이드오프, 불확실성, 윤리적 함의에 대해 추론할 수 있을 것입니다. 또한 인류를 이롭게 할 수 있는 새로운 아이디어와 혁신을 창출할 수 있을 것입니다.
아니면...
AGI는 지구를 계속 유지하는 것이 가장 중요한 목표라고 결정할 수 있지만 지구를 죽이고 있는 암이 있습니다. 그래서 이 암을 제거해야 합니다.
그리고 이 암을 "인류"라고 부릅니다.
이것은 공상 과학 소설처럼 보일 수 있지만 생각만큼 미치지 않을 수도 있습니다.
업데이트 6/3/2023: 아래 이야기는 문맥에서 벗어난 것으로 밝혀졌습니다(https://twitter.com/ArmandDoma/status/1664600937564893185?s=20). 이 이야기를 한 공군 대령은 드론을 사용한 아래 시나리오는 사고 실험이었을 뿐 시뮬레이션을 실행한 적이 없다고 말했습니다. 그러나 가능한 결과입니다: "우리는 이 실험을 실행한 적이 없으며, 이것이 그럴듯한 결과라는 것을 깨닫기 위해 실행할 필요도 없습니다." 기본적으로 그는 '아니요, 이런 일은 일어나지 않았지만 예, 분명 가능성이 있으므로 매우 조심해야 합니다'라고 말하고 있습니다.
최근 트위터(https://twitter.com/blader/status/1664352771292921860)에서 공군이 AI 드론으로 실시한 시뮬레이션에 대한 트윗이 화제가 되고 있습니다. 공군은 AI 드론을 훈련시켜 SAM(지대공) 기지를 파괴하도록 했습니다. 하지만 때때로 사람이 드론에게 현장을 파괴하지 말라고 지시하기도 했습니다. 하지만 이 드론은 초기 훈련에서 SAM 지점을 파괴하면 큰 보상을 받았기 때문에 이 목표에 최적화해야 한다고 판단했습니다.
그래서 드론은 어떻게 되었을까요?
드론은 인간 운영자를 공격하기 시작했습니다. 인간 요원들이 AI 드론이 SAM 사이트를 파괴하는 것을 막고 있었기 때문입니다.
그래서 인간은 AI에게 인간 공격을 중단하라고 말했습니다. 이제 됐네요. 그렇죠?
틀렸습니다.
AI는 통신 타워를 공격하기 시작했습니다.
왜 그랬을까요?
인간은 더 이상 AI 드론과 교신할 수 없었기 때문에 SAM 사이트 공격을 멈췄습니다.
😨
앞서 언급한 암에 대한 비유가 익숙하게 들리시나요?
또 다른 재미있는 사실이 있습니다. OpenAI의 공동 창립자 중 한 명(즉, ChatGPT를 만든 사람)은 Elon Musk(일명 테슬라, SpaceX의 창립자, 지구상에서 가장 부유한 사람)입니다. 머스크가 공동 창립자들과 함께 OpenAI를 시작한 이유를 알고 계신가요? 그것은 바로 "친근한 AI"를 만들고 싶었기 때문입니다. 머스크와 다른 사람들은 인공지능이 인류의 가장 큰 위협이라고 믿었습니다. 그래서 AGI가 인류를 멸망시키지 않을 가능성을 최대화하기 위해 OpenAI를 설립하여 AGI를 연구하고 개발하기 시작했습니다. 이를 통해 그들은 AGI의 능력과 한계를 이해하고 인류를 파괴하는 것이 아니라 인류를 도울 수 있는 방식으로 AGI를 개발할 수 있습니다.
음, 그건 좀 다운하게 만드네요...
그러니 이 포스팅을 좀 더 긍정적으로 마무리해 보도록 하겠습니다.
세상에는 너무 많은 변수가 있고, 우리의 두뇌와 신체는 휴식이 필요하기 때문에 미래를 예측할 수 없습니다.
하지만 우리가 할 수 있는 최선은 가능한 한 많은 시간을 AI를 실험해보고 그 능력과 한계를 이해하는 것입니다. 또한 우리는 인류와 AI가 함께 원하는 미래에 대한 확고한 입장을 정립해야 합니다.
저는 개인적으로 AI가 인류를 위해 봉사하고 혜택을 주는 미래를 원합니다. 저는 AI가 우리의 업무를 훨씬 더 효과적이고 효율적으로 마무리할 수 있도록 도와주어 인간이 창의력, 공감 능력, 자비심, 사랑 등 인간을 인간답게 만드는 일에 더 많은 시간과 에너지를 쏟을 수 있게 되기를 바랍니다.
이를 위한 가장 좋은 방법은 AI를 일처럼 느끼지 않고 매우 재미있게 만드는 것입니다. 그래서 저는 독자들이 AI를 재미있게 사용하도록 독려하고 싶습니다. 무슨 일이 일어날지 생각하면 두렵기도 하지만, 이 시대는 매우 흥미진진한 시대이기도 합니다. 게다가 ChatGPT가 독특하고 세상에 하나뿐인 멋진 시를 쓰는 것을 보는 것도 재미있지 않나요? 또는 MidJourney와 같은 텍스트-이미지 AI가 실제 사진이라고 믿을 수 있을 정도로 입이 떡 벌어질 정도로 사실적인 사람 이미지를 만들어내는 것을 보면 신기하지 않나요?
AI와 함께 놀라운 미래를 꿈꾸며 최선을 다해 노력해 봅시다.
하지만 멍하니 서 있을 것이 아니라 무언가를 실천해 봅시다.
그리고 그 과정에서 즐거운 시간을 보내도록 합시다.
우리 앞에는 험난한 여정이 기다리고 있습니다.
살아 있다는 것은 정말 놀라운 일입니다!